Hihetetlen mennyiségű, 224 GB grafikus memóriát zsúfoltak egyetlen asztalra, hogy új szintekre emeljék a mesterséges intelligencia modellek tesztelését. A bemutatott kísérlet lényege, hogy két teljesen eltérő platform – Nvidia GPU és AMD Strix Halo APU – együtt futtat egy hatalmas, 122 milliárd paraméteres modellt, megkerülve a két cég közötti szokásos kompatibilitási korlátokat.
Az AMD Strix Halo APU-k beépített GPU-jának sajátosságai lehetővé teszik, hogy akár 128 GB memóriát is hozzárendeljenek a grafikus feladatokhoz. Ezt egészíti ki az Oculink port, amely új horizontokat nyitott, hiszen most már teljes értékű asztali Nvidia kártyát is lehet a kompakt géphez csatlakoztatni, jelentősen megnövelve a felhasználható GPU memóriát és teljesítményt.
Felvetődik a kérdés, hogyan lehet két, eltérő fejlesztői környezettel rendelkező GPU-t – az egyik CUDA-t, a másik ROCm-et használ – ugyanazt a nagy modellméretet futtatni. A válasz a Vulkan keresztplatformos technológia alkalmazása, amely közvetítő szerepet tölt be, hogy mindkét kártya együtt dolgozhasson.
A bemutató során többféle MI-modell, valamint különböző kvantizációs beállítások is szóba kerülnek. Az is kiderül, miként viszonyul egymáshoz a komolyabb Nvidia RTX 5080 és az Nvidia RTX 6000 Pro teljesítménye, különösen, amikor a modellek már nem férnek el kizárólag az egyik kártyán. Fény derül arra is, milyen kihívásokkal jár az eGPU forró csatlakoztatása és a BIOS memóriaelosztásának manuális hangolása.
Fizikai stabilitás, bővíthetőség, portkiosztás, régi és új hardverek összevetése, valamint a feltett kérdés: vajon megéri-e a régi vagy az új modell, ha az ipari szintű MI-alkalmazás a cél? A bemutatott eszközök és trükkök egyaránt lenyűgözőek, izgalmas kísérletezési terepet teremtenek a technológia határainak feszegetéséhez.
