A videó egy rendkívül nagy, 744 milliárd paraméteres MI modellt, a GLM-5.2-t mutat be, kiemelve, hogy most először nyílik lehetőség arra, hogy ez a modell akár egyetlen, GPU nélküli gépen is fusson, köszönhetően a Colibrì nevű, C nyelven írt kicsi motor alkalmazásának. Az eszközt úgy tervezték, hogy a klasszikus, hatalmas erőforrásokat igénylő futtatás helyett elég csak a modell egy kis részét tárolni memóriában, a többit igény szerint a lemezről beolvasni.
Az elhangzó magyarázat arra fókuszál, hogyan működik a „mixture of experts” architektúra, amely lehetővé teszi, hogy minden token feldolgozásakor csak néhány szakértő (expert) aktiválódjon. Az előadó bemutatja, miként gyorsul a tesztfuttatás: minél többet használják a modellt, annál gyakrabban találhatók meg a szükséges szakértők a RAM-ban, csökkentve ezzel a lassabb lemezes hozzáférések számát.
Felmerül az a kérdés, hogy vajon ez a módszer milyen más modelleknél lehet alkalmazható, és mennyire általánosítható a technika. A bemutató kitér arra is, hogy bár elméletileg minden hardveren működhet a megközelítés, a megvalósítás mindig igényel egy előzetes konvertálást és adaptációt a modellek specifikus szerkezetéhez.









