Sokáig a helyi nagy nyelvi modellek futtatása csak drága munkaállomásokkal vagy felhőszolgáltatások használatával volt lehetséges, amelyek rejtett költségekkel jártak. A legújabb fejlesztések azonban új alternatívákat hoztak: az AMD Ryzen AI Max Plus chipek, különösen a Strix Halo változat, immár megfizethető mini PC-ben is elérhetővé tették a 120 milliárd paraméteres modellek futtatását, bőven a nagyobb rivális Nvidia hardverek ára alatt.
Egyes tesztek rámutattak, hogy az AMD újdonsága egy adott feladaton képes betölteni olyan modelleket is, amelyeket a hasonló árú, vagy akár jóval drágább Nvidia gépek a VRAM-kapacitás korlátai miatt nem tudnak kezelni. Ez felveti a kérdést: ha egy viszonylag olcsó mini PC elvégzi ugyanazt a feladatot, amit korábban csak a high-end munkaállomások, milyen tényezők döntik el, hogy kinek melyik megoldás lesz megfelelő?
A memóriakapacitás és a memória sávszélessége most új szerepet kap az AI-hardver választásban. Míg az AMD-nél az egyes modelleket nagy mennyiségű egységes memória támogatja, addig az Apple extrém memória-sávszélességgel tűnik ki. A tesztekből az is kiderül, bizonyos munkafolyamatok esetén – például hosszú szöveges inputok előfeldolgozásánál – továbbra is az Nvidia rendszerei teljesítenek jobban.
A szoftveres ökoszisztéma fejlettségében jelentős különbségek mutatkoznak, ami összetett döntési szemponttá teszi a hardverválasztást. Az AMD új, „lemonade” nevű SDK-ja és az ökoszisztéma gyors fejlődése ellenére, az Nvidia CUDA-platformja több mint egy évtizedes előnnyel bír. Ugyanakkor az AMD olcsóbb gigabájt/memória aránya, a helyileg futtatható agent pipeline-ok bővülő lehetőségei, sőt, a közeljövőben érkező hardverfrissítések mind indokolttá teszik a kérdést: egyensúlyban tartja-e a piacot továbbra is néhány nagy szereplő, vagy valóban forradalmi átrendeződés előtt állunk?
Felmerül az is, mennyiben fog változni a munkaállomások szerepe, ha az AI-ügynökök egyre nagyobb részt vállalnak az éjszakai, automatizált munkafolyamatokból, illetve hogy a szoftverbe integrált AI-platformok, mint az AI Master, hogyan alakítják át a fejlesztők és tartalomkészítők mindennapi munkáját. Az ökoszisztéma vitái, az új technológiák és a közeljövőben érkező generációváltások mind izgalmas kérdéseket vetnek fel a lokális AI-használat jövőjével kapcsolatban.
