Jelenleg az open source mesterséges intelligencia kutatóintézetek aktivitása visszaesett, így egyre több független fejlesztő és csapat próbálja betölteni a keletkezett űrt. Naponta új modellek jelennek meg, amelyek között most a Deep Grove által fejlesztett Maple-preview is feltűnik – egy MIT licencű, 20 milliárd paraméteres, de valós időben csak 1,5 milliárd aktív paraméterrel működő modell.
Különlegessége, hogy a súlyok ternárisak, tehát minden egyes súly kizárólag -1, 0 vagy +1 értéket vehet fel; ez jelentősen csökkenti a memóriahasználatot és egyszerűsíti a számításokat. Érdekes kérdés merül fel: milyen sebességgel működik ez a modell különböző hardvereken, például CPU-n és GPU-n, főként, hogy a Deep Grove csak Apple gépeken mért benchmark-adatokat közölt, de nincs hozzá technikai dokumentáció.
A videó egyéni teszteken keresztül igyekszik választ találni arra, hogy valójában hogyan teljesít a Maple-preview, és mennyire megbízhatóak az elérhető eredmények. Különösen izgalmas, hogy a modell CPU-n gyorsabbnak bizonyult, mint csúcskategóriás GPU-n, mégpedig meglepő mértékben. A videó során többféle teszt és benchmark fut le, próbálkozva kódgenerálással, többnyelvű fordítási feladattal és részletes elemzéssel, hogy képet alkossunk a modell minőségéről és alkalmazhatóságáról.
Miközben a videó nem fedi fel végső konklúzióját, folyamatosan kérdéseket vet fel: elegendő-e a súlyok tömörítése a valódi teljesítményhez? Milyen buktatók rejlenek a dokumentáció hiányában, a nem publikált technikai részletekben? És vajon mennyire állja meg a helyét egy ilyen újszerű technológia a jelenlegi AI versenyben?
