Ebben a bemutatóban megismerhetjük, hogyan sikerült a DASH Lab kutatóinak a Deepseek V4.1 flash modellt egy extrém hatékony, 1 bites verzióra tömöríteniük, amely lényegesen kevesebb memóriát igényel, miközben megőrzi teljesítményének nagy részét. Kiderül, milyen technikai lépésekre és stratégiákra volt szükség ahhoz, hogy a modell 763 milliárd paraméterét egy GPU-ra összepréseljék.
A kvantálás mögötti elmélet, az RCO és a GSQ eljárások működése érdekfeszítően tárul fel: hogyan dönti el a rendszer, mely rétegek igényelnek nagyobb pontosságot, és hogyan kerekíti a súlyokat a lehető legoptimálisabb értékekre. Mindehhez gyakorlati példákon keresztül is betekintést nyerhetünk, például egy teljes stack alkalmazás helyi telepítésével vagy egy vendéglátóipari dashboard hibáinak önálló javításával.
Tesztelés közben felmerülnek olyan kérdések, mint: mik a fő kockázatok egy ennyire erősen kvantált modell esetén – hallucináció, véletlenszerű adatgenerálás – illetve hol lehetnek a modell valós teljesítményének korlátai. A bemutató végén az algoritmus SQL hibakeresése és grafikai képességei is fókuszba kerülnek, tovább gondolkodásra ösztönözve, hogy meddig vihetők ezek a tömörítési megoldások a gyakorlati használatban.
