Az utóbbi években rengeteg kutató és technológiai vállalat próbálkozott valódi, teljesen egybites nagy nyelvi modell megalkotásával. Az elképzelés lényege, hogy a modell neurális hálózatának minden egyes súlya, rétege és eleme csupán egyetlen biten alapuljon. Eddig több kezdeményezés is született, például a Microsoft Bitnet projektje, ám ezekből egyik sem jutott el valódi, termékekben használható megoldásig.
Most egy feltörekvő startup, a Prism ML jelent meg a színen a Bonsai nevű modellcsaláddal, amelyet többféle méretben (1,7M; 4M; 8M paraméterrel) publikáltak. Ezek a modellek képesek minden számítást, réteget és beágyazást egyetlen biten futtatni, ami jelentős adatméret- és energiafogyasztás-csökkenést hoz. A videó részletesen bemutatja a Bonsai 8B modellt, letöltési és telepítési folyamatát, valamint helyi gépen történő futtatását az ismert llama.cpp eszközzel.
A kommentátor különböző teszteknek veti alá a modellt: matematikai-logikai feladatokat, biztonsági és együttműködési próbatételeket, valamint egy komplex kódgenerálási feladatot is végrehajtat vele. Miközben a modell működését elemzi, kitér a teljesítményre, VRAM-fogyasztásra és a gyorsaságra is, illetve összehasonlítja más hasonló méretű modellekkel. Felmerülnek kérdések a modell tréningjével, adatával, információmegosztásával és tömörítési technológiájával kapcsolatban is.
Több helyen szó esik a helyi futtatás előnyeiről, illetve példákon keresztül kerül bemutatásra, hogyan boldogul az egybites architektúra a nyelvi, kódolási és biztonsági kihívásokkal. A videó végig nyitva hagyja azokat a kérdéseket, hogy mekkora potenciál van az új megközelítésben, mennyire terjedhet el, és milyen alkalmazásokban bukkanhat majd fel.
