Az új Bonsai 2 27B modellt különös figyelemmel mutatja be a videó, amelyet a Quen 3.8 – egy 27 milliárd paraméteres nyelvi modell – alapjaira építettek. Kiemelkedő érdekessége, hogy mindössze 6 GB-on képes futni – ez kilencszer kisebb, mint az eredeti modellméret –, miközben elvileg megtartja a teljesítmény 98%-át.
Technikai részletekbe is betekintést kapunk: hogyan lesz az összes modell súly három értékre – -1, 0, vagy 1 – összenyomva, mit jelent a hibrid figyelemmechanizmus, és miként támogatja a széles, 262 ezer tokenes kontextusablakot. Látványos példákon keresztül kerül szóba, hogyan tudja mindezt valódi környezetben (Ubuntu, GPU) rövid idő alatt beüzemelni és tesztelni a készítő.
A bemutatott tesztek során gyakorlati problémákat próbálnak orvosolni a modellel. Többek között egy élő vadállat-migrációfigyelő alkalmazásban rejtőző, időzónával kapcsolatos hibát próbál megtaláltatni a Bonsai 2-vel, valamint HTML-generálási és képfeliratozási képességeit is vizsgálja.
Különös hangsúlyt kap a modell valódi hatékonysága: mennyire képes felismerni és javítani bonyolultabb szoftverhibákat, hogyan teljesít a kódgenerálásban, vagy miként birkózik meg a többnyelvűség kihívásával. Több helyen merülnek fel kételyek is azzal kapcsolatban, hogy vajon a tömörített változat tényleg tudja-e hozni a teljes modell minőségét. Felvetődik, hogy a benchmark-eredmények mennyit árulnak el a gyakorlati használhatóságról, és számos kérdést vet fel a tesztek tapasztalata.
