Képessé válunk futtatni napjaink egyik legerősebb képfeldolgozó mesterségesintelligencia-modelljét, a Qwen3-VL 30B-t, kizárólag CPU-n, GPU nélkül. Mindez azok számára lehet izgalmas, akik eddig a hardveres követelmények miatt nem próbálhatták ki a nagy nyelvi, illetve multimodális modellek képességeit.
A bemutató részletesen, lépésről lépésre halad, betekintést enged a szükséges telepítési folyamatokba, a llamacpp keretrendszer frissítésébe és javításába, valamint a modellhez kapcsolódó fájlok letöltésének és elhelyezésének módjába. Olyan témák kerülnek terítékre, mint a kvantálás, a modellek különböző formátumai (GGUF, Q4KS), vagy éppen az MM projekt fájlok szerepe, amelyek a képi információkat szöveges feldolgozásra képes térbe helyezik át.
Felmerül a kérdés, miként változik a mesterséges intelligenciánk teljesítménye és pontossága, ha kompromisszumokat kötünk – például kvantált, spórolós verziókat futtatunk CPU-n. Az is szóba kerül, milyen gyorsaságra lehet számítani ilyen körülmények között, és hogyan befolyásolja mindezt a saját gépünk konfigurációja.
A videó azt boncolgatja, hogyan lesz a legfrissebb modellek otthoni, kísérleti futtatása bárki számára elérhető, anélkül, hogy drága GPU-s rendszereket bérelne vagy építene, és milyen rejtett buktatókkal kell számolni a folyamat során.