A bemutatott modell, a Qwen3.6 (REAP 90pct GGUF), első ránézésre meglepő eredményeket produkál: egyszerű aritmetikai műveletekre vagy alapvető kérdésekre sem képes választ adni, mégis tökéletesen teljesít a hivatalos tesztek szerint. Az ellentmondás felveti a kérdést, hogy mit is jelent valójában egy mesterséges intelligenciamodell sikeres tesztelése, és hogyan értelmezhetjük ezeket a teszteredményeket.
A videó további részében a szerző részletesen bemutatja, milyen módosításokat hajtottak végre a Qwen3.6 modellen a REAP nevű módszerrel. Ez a technika a modell paramétereinek nagy részét ‘eltávolítja’, így jelentősen csökken a paraméterszám, azonban ez együtt jár a képességek drasztikus visszaesésével is. Felmerül a kérdés: meddig érdemes egyszerűsítésen alapuló finomításokat végrehajtani egy gépi modellen?
Az elkészült, jelentősen csökkentett tudású modellt a szerző egy NVIDIA RTX 6000 GPU-n futtatja, kiemelve, mennyire kis erőforrásigényűvé vált. Ezzel párhuzamosan azonban rámutat arra a problémára is, hogy a tesztelések során gyakran nem a válasz helyességét, csupán a válaszadás tényét ellenőrzik, ami komoly félrevezetéshez vezethet az AI iparágban.
Az epizód során további technikai magyarázatok hangzanak el a REAP módszer működéséről, és arról, hogy ez a történet miért tanulságos mindenki számára, aki bármilyen mesterséges intelligenciamodellt szeretne értékelni vagy összehasonlítani.
