Az alkotó arra volt kíváncsi, hogy egy nyílt forrású mesterséges intelligencia modell képes-e átvenni egy kezdő jogász helyét egy NDA szerződés elsődleges átvizsgálásánál. Ennek kipróbálására egy kifejezetten erre kialakított tesztet állított össze: hét szándékosan elrejtett problémát – például egyoldalú felelősségvállalási klauzulát vagy globális versenytilalmat – rejtett el egy példadokumentumban. Meglepő módon az MI nemcsak mindet felismerte, hanem egy plusz problémát is talált a szerződés szövegében.
A videóban részletesen bemutatják, hogy a Thomson Reuters – a Westlaw és számos jogi adatbázis mögött álló cég – miként fejlesztette ki saját mesterséges intelligencia alapú „jogi asszisztensét”, a Thomson 1 Small modellt. A modell alapját a Cohere 35 milliárd paraméteres „mixture of experts” architektúrája adja, amelyet folyamatos tanulási módszerekkel, saját jogi, adózási és híranyagaival, valamint gyakorló jogászok és könyvelők munkamódszereivel fejlesztettek tovább.
Felmerül a kérdés, hogy egy ilyen modell valóban meg tudja-e különböztetni, mikor lehet teljes bizonyossággal válaszolni valamire, és mikor szükséges további információkat kérni. A videó készítője különböző próbákat végez: például homályos, szinte semmilyen háttérinformációt nem tartalmazó kérés beadásakor azt vizsgálja, hogy a modell feltárja-e a hiányzó részleteket, vagy inkább általános, nem megalapozott tanácsot ad.
A bemutató során a technikai háttérre is kitér: a rendszer otthoni gépen fut, jelentős VRAM-igénnyel, és bemutatásra kerül a VLLM keretrendszer is, amely megkönnyíti az ilyen nagyméretű modellek helyi futtatását. További tesztek során azt is vizsgálják, a modell hogyan kezeli az adatbázisaiban található információkat, mennyire pontosak a forrásmegjelölései, és mennyire képes önreflexióra saját tudásának korlátaival kapcsolatban.
