Az elmúlt időszakban jelentősen bővült a Qwen 3.8 modellek családja, köztük a legújabb, mindössze 4 milliárd paraméteres, mégis rendkívül kompakt disztillációs modell, amely kevesebb mint 3 GB-os mérettel kínál szinte teljes funkcionalitást.
A bemutató során részletesen szó esik arról, miként készült ez a változat: egy hatalmas méretű tanármodellt használtak, amelyhez több tízezer gondosan kiválogatott példán keresztül tanították meg a kisebb modellt a tanár érvelési mintáinak lekövetésére. Megismerhetjük, hogyan segíti ez a disztillációs eljárás a minta alapú következtetések átvitelét a kisebb modellekre.
A fókuszban három különböző kvantálási szint összehasonlítása áll: Q4, Q6 és Q8. Mennyiben befolyásolja a válaszok hosszát, minőségét és mélységét a nagyobb pontosság? Milyen kompromisszumokat kell kötni sebesség és minőség között?
Különösen érdekes az etikai dilemmát bemutató tesztfeladat, amelyen keresztül kiderül, hogyan tudják a modellek összetett, morális helyzetekben érvelni döntésüket. Felmerül a kérdés: vajon a kvantálási szint növelése képes-e eredetibb, árnyaltabb gondolatmenetekre ösztökélni a modellt, vagy csak a válaszok részletességét növeli?
