A Google által fejlesztett, legújabb Gemma 4 12B Q80 modell bemutatásával kezdődik az anyag, amelynek célja, hogy hatékonyan, kompromisszumok nélkül működjön fogyasztói GPU-kon is, így versenyképes nyílt forráskódú alternatívát kínáljon.
A teszt során részletesen megvizsgálják, hogyan telepíthető a Q80 verzió Ollama-val Ubuntu rendszeren, és milyen előnyökkel jár a kvantizáció – különös figyelmet fordítva arra, hogy a QAT (Quantization-Aware Training) miként javítja a modell tömörítése utáni minőséget a szokványos kvantizációval szemben.
Kísérleti pontokban azt is elemezzük, mekkora helytakarékosság érhető el (a modell mérete több mint 26GB-ról alig 7GB-ra csökken), miközben a minőségi kompromisszumokat minimalizálják, különösen a modellel generált felhasználói interfészek és kód példákon keresztül.
A bemutató kiterjed különböző országok és nyelvek kezelésére, demonstrálva a modell többnyelvűségi képességeit, valamint kreatív feladatokat is kap a modell különböző filozófiai, emberi és valós élethelyzetek szimulálása során.
Felmerül a kérdés, hogy ilyen típusú tömörítéssel a modellek meddig őrizhetik meg teljesítményüket, különösen komplex, érzékeny szituációkban vagy alacsony erőforrású nyelveken – miközben betekintést kapunk a kvantizációs módszerek technikai különbségeibe és azok hatásaira.
