A
A
Ternary Bonsai 2 9B in GGUF: A 2.4 GB Model Locally

Ternary Bonsai 2 9B in GGUF: A 2.4 GB Model Locally

Lejátszás
  • Angol
  • Magyar
  • 10 perc

Bonsai modell: kisebb méret, nagyobb kihívások a nyelvi trendek világában

Egy 2,4 GB méretű nyelvi modell teljesítményét vizsgálva, változatos feladatokon keresztül derülnek ki erősségei és gyengeségei, a képfeldolgozástól a kreatív írásig.

Egy donor kebab animáció látható a böngészőben, amelyet egy mindössze 2,4 GB méretű nyelvi modell programozott. A modell képpel és szöveggel dolgozott, és képes volt a felhasználó által megadott kép alapján teljes mértékben létrehozni az animáció kódját.

A bemutató során terítékre kerül, hogy ezek a ternáris modellek, mint a Bonsai 2 9B GGUF, hogyan működnek, és milyen előnyökkel jár a háromértékű súlyok (–1, 0, 1) használata. A modell mérete így jelentősen lecsökkent az eredetihez képest anélkül, hogy elveszítette volna képességeit, például a 262 ezres szövegkörnyezeti ablakot.

Tesztelésképpen olyan feladatokat kapott, mint a történelmi események újramesélése speciális szlengben, többnyelvű szövegalkotás 28 nyelven, valamint tudományos infografika értelmezése és elemzése. Ezeken keresztül felmerül a kérdés: meddig tart egy tömörített modell tudása, hol helyezkedik el a kreativitás vagy a pontosság határa?

Interaktív próba során kulturális helyzetkomikumot is generált, ahol a vizuális értelmezés és az idegen nyelvek kezelése erősebbnek bizonyult, mint a történetbeli logikai összetartás. Ez számos felhasználási lehetőséget, de egyben hiányosságokat is felfed a kis méretű modelleknél.