Egy izgalmas technológiai kísérlet során két AMD Ryzen AI Halo gépet kötöttek össze annak érdekében, hogy megtudják, képesek-e együtt futtatni egy közel 400 milliárd paraméterrel rendelkező mesterséges intelligencia modellt. A kompakt, mégis nagy teljesítményű APU-k 128 GB-os közös memóriával rendelkeznek, amelyeket összevonva jelentős kapacitást biztosítanak nagy nyelvi modellek helyi futtatásához.
A videó során különböző szoftveres megoldások – például Llama CPP RPC és Rickle (RCCL) – kerülnek részletesen bemutatásra, amelyek lehetővé teszik a rendszer klaszteresítését. Felmerül a kérdés, hogy az Ethernet hálózaton keresztüli adatkapcsolat mennyire bizonyul gyorsnak és stabilnak egy ilyen összetett AI rendszer felállításához, illetve mennyire használható mindez a gyakorlatban.
A beállítás során több hardveres és szoftveres akadállyal is szembe kell nézni: Linux és Windows közötti különbségek, a memória kiosztásának beállítása, hálózati switchek kiválasztása – mind olyan feladat, amelyek befolyásolják az AI klaszter végső működését. Számos gyakorlati tanács elhangzik, amelyeket érdemes megfontolni azoknak, akik hasonló klasztert szeretnének otthoni vagy irodai környezetben felépíteni.
Foglalkoznak azzal is, hogyan lehet optimalizálni a nagy nyelvi modellek futtatását (például GLM 4.7 vagy Quen 3.5 397B) különböző kvantizációs eljárásokkal, illetve hogy milyen teljesítményre képes a rendszer különböző felhasználási módok – például többfelhasználós üzemmód, különböző párhuzamossági beállítások – mellett. Több kérdést is megfontolásra ajánlanak: hogyan érdemes skálázni a rendszert, mely szoftveres munkafolyamat jobb egy adott felhasználási szcenárióban, és milyen kompromisszumokat kíván a kvantizáció és a klaszteresítés.
