Az anyag egy új, 27 milliárd paraméteres mesterséges intelligencia-modellet, a Bonsai 27B működését mutatja be, amelyet különlegesen takarékos, ternáris súlyozással optimalizáltak. Ez lehetővé teszi, hogy egy óriási, eredetileg 54 GB méretű modell mindössze 7 GB memóriában is elférjen, így akár telefonon vagy laptopon is futtatható.
A részletes bemutató során szó esik a ternáris súlyok elvéről — minden súly értéke csak -1, 0 vagy +1 lehet, egy-egy 128-as blokk pedig közös mérőszámmal méretezve ad vissza közel pontos eredményt az eredeti modellel szemben. Az előadó arra fókuszál, hogyan sikerült ilyen mértékű méretcsökkentés mellett is megtartani az intelligencia kb. 95%-át.
Az installáció lépéseiről bemutatásra kerül, hogyan lehet Ubuntu szerveren vagy NVIDIA RTX A6000 GPU-val futtatni a modellt, és milyen erőforrásokat igényel. Az is kiderül, melyek a legfontosabb szoftveres komponensek, mint például a llama.cpp és a Hermes agent, illetve milyen teszteket végeznek el a rendszerrel.
Különféle feladatokon próbálják ki a modellt: hibás webalkalmazás javításán, önálló HTML állomány generálásán (vízicsúszda-szimuláció), többnyelvű fordításon és az etikai/guardrail funkciók kipróbálásán. Érdekes kérdésként merül fel, hogy egy ilyen tömörített modell milyen mértékben képes komplex programozási vagy nyelvi feladatokat ellátni, illetve mennyire marad stabil a különféle helyzetekben.
