Bécs, a világhírű tudományos gondolkodók városa, most ismét a középpontba került, hiszen egy osztrák kutatólaboratórium forradalmi AI-modell tömörítési módszert fejlesztett ki. A Das Lab csapata, akik már a GPTQ-t is bemutatták a szakmai közösségnek, most két új technológiával, a GSQ-val és az RCO-val teszik lehetővé nagy gépi tanulási modellek hatékonyabb tömörítését.
A bemutatott gyakorlat során a mesterséges intelligencia modell letöltése, futtatása és tesztelése lépésről lépésre történik helyi gépen, demonstrálva, hogy mekkora ugrás érhető el a memóriahasználatban az új módszerekkel. Az adatkvantálás részletesen magyarázatra kerül: hogyan lehet a súlyokat (weights) különböző pontosságú bitekkel tárolni úgy, hogy az eredeti modell teljesítménye a lehető legkevésbé csökkenjen.
A GSQ módszer súlyonként optimális bitmélységet választ, míg az RCO globálisan optimalizálja a bitkiosztást a modell egészében, elosztva az erőforrásokat az érzékenyebb és kevésbé érzékeny paraméterek között. Érdekes kérdés, hogy ezekkel a trükkökkel mennyire őrizhető meg a modell eredeti tudása, például a nyelvi sokszínűség vagy összetett hibák feltárása területén.
A tesztek között szerepelnek különböző programozási, nyelvi és tudományos feladatok: HTML-generálás, hibás SQL-lekérdezések felismerése, fordítás több tucat nyelvre – köztük ritka és mesterséges nyelvekre is –, illetve összetett kémiai egyenlet megoldása. Ezek során számos érdekes meglátás fogalmazódik meg arról, hogyan viselkedik a tömörített modell a különböző kihívásokkal szemben, különösen a minőség, gyorsaság és memóriahasználat szempontjából.
Felmerül a kérdés, hogy a GSQ+RCO módszerek mennyire hozzák közelebb a nagyméretű AI modelleket a hétköznapi felhasználókhoz, és milyen kompromisszumokat kell elfogadni a minőség terén annak érdekében, hogy ezek a modellek olcsóbb, szerényebb hardveren is futtathatók legyenek.
