Képzeld el, hogy a mesterséges intelligenciához szükséges nagy modelleket nem egy felhőből béreled előfizetéssel, hanem egy kompakt asztali gépen futtatod helyben – ez a kiindulópontja a videónak. A HP Z2 Mini G1A gép lényeges újítása, hogy 128 GB egyesített memóriát kínál alig háromliteres házban, így képes kezelni olyan AI modelleket is, amiket korábban csak nagy szerverparkok tudtak futtatni.
Az előadás rávilágít, hogy a memória kapacitása dönti el, milyen AI modelleket lehet valós időben vagy gyorsan futtatni. A fogyasztói eszközök (pl. gamer laptopok, asztali grafikai kártyák) tipikusan messze elmaradnak e tekintetben: 8 GB VRAM elegendő kisebb modellekhez, de a komolyabb, 70 milliárd paraméteres nyelvi modellekhez már legalább 40 GB-re lenne szükség.
Az összehasonlítások során szóba kerül az Apple Mac Studio, az Nvidia RTX 490 és 590 gépek, illetve olcsóbb, de hasonló AMD-s platformokat kínáló cégek is. Felvetődik a kérdés, mit jelent a valós teljesítmény, mi korlátozza a gyorsaságot, és milyen kompromisszumokat kell kötni szoftveres oldalon (Rockm vs. CUDA).
Külön részt kap az AI Master platform, amely több AI modellt, képgenerátort és automatizált workflow eszközt egyesít egy felületen, valamint a különféle felhasználási esetek, amelyek indokolttá tehetik egy ilyen gép beszerzését: szoftverfejlesztők, tartalomkészítők és adatvédelmet igénylő szakértők példái kerülnek elő.
A bemutató során sorra veszik a felmerülő kérdéseket: mire elég ténylegesen ez a memória, milyen modelleket érdemes futtatni, miért nem mindenre optimális, és hogyan néz ki a szoftveres támogatás. Mindez azon alapvető dilemma köré rendeződik, hogy előfizessünk, vagy egyszeri nagyobb hardver beruházással önállóvá váljunk-e az AI felhasználásban.
