A
A
  • Angol
  • Magyar
  • 10 perc

GLM-5.2 futtatása otthon: óriás MI modell GPU nélkül a Colibrì segítségével

A videó bemutatja, hogyan lehet egy óriási mesterséges intelligencia modellt, a GLM-5.2-t futtatni egyetlen gépen GPU nélkül, a Colibrì nevű, lemezről dolgozó motor segítségével.

A videó egy rendkívül nagy, 744 milliárd paraméteres MI modellt, a GLM-5.2-t mutat be, kiemelve, hogy most először nyílik lehetőség arra, hogy ez a modell akár egyetlen, GPU nélküli gépen is fusson, köszönhetően a Colibrì nevű, C nyelven írt kicsi motor alkalmazásának. Az eszközt úgy tervezték, hogy a klasszikus, hatalmas erőforrásokat igénylő futtatás helyett elég csak a modell egy kis részét tárolni memóriában, a többit igény szerint a lemezről beolvasni.

Az elhangzó magyarázat arra fókuszál, hogyan működik a „mixture of experts” architektúra, amely lehetővé teszi, hogy minden token feldolgozásakor csak néhány szakértő (expert) aktiválódjon. Az előadó bemutatja, miként gyorsul a tesztfuttatás: minél többet használják a modellt, annál gyakrabban találhatók meg a szükséges szakértők a RAM-ban, csökkentve ezzel a lassabb lemezes hozzáférések számát.

Felmerül az a kérdés, hogy vajon ez a módszer milyen más modelleknél lehet alkalmazható, és mennyire általánosítható a technika. A bemutató kitér arra is, hogy bár elméletileg minden hardveren működhet a megközelítés, a megvalósítás mindig igényel egy előzetes konvertálást és adaptációt a modellek specifikus szerkezetéhez.