Egyre bővül a Gemma 4 modellek bemutatása; ezúttal a 26B A4B + vLLM változat kerül fókuszba. Megismerhetjük, hogyan működik a 26 milliárd paraméteres, de mindössze 4 milliárdot aktívan használó MoE (mixture of experts – szakértői keverék) architektúra. Felmerül a kérdés: hogyan kombinálható a nagy tudásbázis a gyors, helyi futtatással?
A szerző lépésről lépésre végigvezet a modell helyi telepítésén Ubuntu rendszeren, bemutatva a szükséges GPU-követelményeket és kiegészítő szoftvereket (pl. vLLM, Hugging Face Hub), valamint kitér praktikus részletekre, mint a VRAM-felhasználás optimalizálása és a különböző cache-ek szerepe.
Dinamikus teszteken keresztül látható, mire képes a modell: megválaszol bonyolult, országonként eltérő pénzügyi kérdéseket, összetett, architekturált JavaScript szimulációt generál egy ragadozó-préda játékon, illetve többnyelvű feladatokat old meg, például ételleírásokat, fordításokat és vizuális feladatokat képekkel.
Felvetődik, hogyan teljesít a Gemma 4 MoE modell a képfeldolgozásban és szövegértésben, miként birkózik meg kézzel írt egyenletek felismerésével, OCR-rel vagy különböző nyelvek szerkezetével. A különféle teszteken keresztül izgalmas kérdések nyílnak meg a modell sokoldalúságáról, hatékonyságáról és használhatóságáról.
