Ebben az összehasonlító videóban két népszerű, helyben futtatható nyelvi modellcsalád, a Google Gemma 4 és a Qwen 3.5/3.6 kerül tesztelésre különböző hardveres konfigurációkon. Az elemzés fókuszában a sebesség, a memóriahasználat, valamint a modellek által megoldott logikai feladatok állnak.
A műsorvezető többféle eszközt – mini PC-t, i5-ös PC-t (RTX 5090 GPU-val), Raspberry Pi 5-öt, valamint Nvidia Jetson Thor-t – vesz górcső alá. Minden hardveren különböző méretű modelleket próbál ki: kis és nagy variánsokat, amelyek eltérő számú paraméterrel és eltérő memóriakövetelménnyel rendelkeznek.
Az egyes tesztek során egyszerűbb (például az „Alice kérdés”) és bonyolultabb (például a homokóra feladat) logikai kérdésekkel is próbára teszi a modelleket. Különös figyelmet fordít arra, hogy melyik modell mennyi idő alatt, milyen memóriamennyiséget használva és milyen megbízhatósággal válaszol ezekre.
Változatos sebességet és pontosságot tapasztal a tesztelő, attól függően, hogy dedikált GPU-val vagy integrált grafikus rendszerrel futtatja a modelleket. A tesztelés eredményeként érdekes következtetések vonhatók le arra vonatkozóan, hogy milyen hardveren, melyik modell lehet optimális a konkrét felhasználási igényekre.
Felmerülnek fontos kérdések a helyi futtatású nagy nyelvi modellek praktikumával, memóriaigényével és sebességével kapcsolatban. Ezek a szempontok minden felhasználó számára relevánsak lehetnek, aki saját gépen szeretne mesterséges intelligenciát futtatni.
