Több hónapos várakozás után végre elérhetővé vált a GLM 5.1, az egyik legújabb és legnagyobb nyílt forráskódú AI modell. Az alkotók korábban API-n keresztül tették elérhetővé a modellt, ám most bárki számára lehetőséget kínálnak a tesztelésére – ezzel új szintre lép az open-source AI mozgalom.
A bemutató során bepillantást nyerhetünk a GLM 5.1 egyedi architektúrájába is: kevert szakértői modellt építettek ki, dinamikusan aktiválható rétegekkel és innovatív, 200 000 tokenes kontextusablakkal. A technikai magyarázatok mellett izgalmas kérdések merülnek fel, például hogyan futtatható egy ilyen hatalmas modell egyetlen Nvidia H100 GPU-val, és mekkora tárhely és RAM szükséges a különböző kvantizált változatokhoz.
A gyakorlati lépésekben részletesen követhetjük, hogy miként lehet letölteni, telepíteni és kiszolgálni a modellt llama.cpp segítségével, valamint szó esik arról, hogyan optimalizálható a memóriahasználat swap területtel. Külön érdekesség, hogy a több száz GB-os kvantizált modell hogyan futtatható kompromisszumokkal, de helyi szerveren, OpenAI-kompatibilis szkripttel tesztelve.
Egy kis mellékszálon a videó készítője saját home setupját, és azon belül két Uperfect hordozható monitort is bemutat, kitérve arra, hogy mire érdemes figyelni mobil kijelző választásánál, illetve milyen praktikus kiegészítők segíthetnek a mindennapi munkában.
