Az utóbbi időben sokan várják, hogy piacra kerüljön egy kedvező árú, nagy VRAM-mal rendelkező GPU, különösen Kínából vagy más gyártótól. De vajon lehetséges-e, hogy egy új fejlesztés lehetővé tegye óriási mesterséges intelligencia modellek futtatását pusztán CPU-n?
A videó bemutat egy projektet, amely az SG lang nevű nagy teljesítményű LLM szolgáltató keretrendszert használja, amelyet eredetileg GPU-gyorsításra terveztek. Ebbe a fejlesztésbe az Intel PyTorch csapata is bekapcsolódott, speciális CPU-támogatással a Xeon 6 processzorok számára, amelyek így képesek hatalmas modelleket futtatni, például a DeepCar 1-et, teljes egészében CPU-n.
Ezzel a megközelítéssel új lehetőségek nyílhatnak meg azok előtt, akik nem engedhetik meg maguknak a drága GPU-kat. A sebességjavulás jelentős: akár 6-14-szer gyorsabb lehet az első token generálása, és 2-4-szeres növekedés érhető el a tokenek feldolgozásában más CPU-alapú megoldásokhoz képest.
Természetesen a technikai követelmények igen szigorúak, főként Intel platformokra koncentrálnak, és elengedhetetlen a modern, nagy memória-sávszélességgel és támogatott utasításkészletekkel rendelkező architektúra. Felmerül a kérdés: vajon ezek a fejlesztések más platformokon és CPU-kon is elérhetőek lesznek? Mit jelenthet ez a gépi tanulás piaca számára?
