Izgalmas mérföldkőhöz érkezett a mesterséges intelligencia kutatása: a MiniMax M2.7 modellt hivatalosan is nyílt forráskódúvá tették, így mostantól bárki tanulmányozhatja és kipróbálhatja a működését. A fejlesztők közzétették a kódot egy módosított MIT licenc alatt, ami új lehetőségeket nyit a közösség számára.
Az M2.7 modell 229 milliárd paraméteres kevert szakértői architektúrával dolgozik, amely lehetővé teszi, hogy bizonyos feladatokat különböző szakértői rétegek kezeljenek, miközben a számítási terhelés nem nő arányosan. Az elemzésben nagy hangsúlyt kap a memória- és hardverigény; példaként három H1 180 GB-os GPU-t vagy többkártyás NVLink rendszert említenek, hiszen a modell mérete eléri a 230 GB-ot.
A videó részletezi az architektúra belső működését: 62 transzformer réteg, 48 attention head, a top 8 aktív szakértő, csoportos lekérdezési mechanizmus, memóriakezelési technikák – ezek mind hozzájárulnak ahhoz, hogy a modell képes legyen hosszú szövegeket is hatékonyan kezelni. Kiemelten bemutatja az M2 iterációs rendszerét is, ahol emberek által meghatározott célok mentén a modell önállóan javítja saját teljesítményét, tanul és hoz döntéseket, minimális emberi beavatkozás mellett.
Olyan fontos kérdéseket vet fel a videó, mint: Hogyan képes egy nagy nyelvi modell saját magát optimalizálni? Milyen új iterációs és fejlesztési módszerek jelennek meg az önfejlesztő neurális hálózatokban? Hogyan lehet ekkora modelleket hatékonyan futtatni helyben vagy felhőben, és milyen új szoftveres és hardveres megoldások szükségesek ehhez? A részletes technikai bemutató arra hivatott, hogy minden érdeklődő a lehető legfelkészültebben vághasson bele a modell tesztelésébe és használatába.
