Az Nvidia új Puzzle 75B modelljének bemutatójában a szerző betekintést ad, miként sikerült a cégnek egy 120 milliárd paraméteres mesterséges intelligencia modellt 75 milliárdra tömöríteni anélkül, hogy jelentős veszteséget okoztak volna a pontosságban vagy a funkcionalitásban. Részletesen ismerteti a puzzle kompressziós eljárás egyes lépéseit – például az iteratív metszést, a tudásátadást, a hosszú kontextus visszaállítását és a különféle finomhangolási stratégiákat.
Az installáció és a tesztek során szó esik a hibrid architektúráról, amely a Mamba, a mixture of experts (MoE) és az attention rétegek ötvözete, így jelentősen növeli az áteresztőképességet, míg a pontosság megmarad. A szerző kipróbálja a modellt egy Nvidia H100 GPU-n, valamint bemutatja, mennyire gyorsan és erőforrás-takarékosan működik a tömörítés eredményeként.
Külön fókusz kerül az MTP (Multi-Token Prediction) technológiára, amely lehetővé teszi, hogy a modell egy előrejelzéssel egyszerre több token generálására legyen képes, mintegy 20%-kal növelve a sebességet. A bemutatott példák között szerepel egyszerű programkód generálása, teljes HTML-animáció összeállítása és többnyelvű kérdésekre adott válaszok minőségének elemzése.
Felmerülnek kérdések, mennyire képes az ilyen mértékben tömörített modell komplex feladatokat megoldani, hogyan tartja meg a teljesítményt és a precizitást, valamint mennyire rugalmas a különböző nyelvek vagy programozói kihívások feldolgozásában. Hogyan válik az MTP és a puzzle kompressziós technológia az AI-modellek hatékonyságának kulcsává? Mely pontokon mutatnak kompromisszumokat a fejlesztések?
