Ebben a projektben a készítő azt a célt tűzte ki maga elé, hogy létrehozza a lehető legkisebb, de mégis rendkívül erős gépet, amely képes hatalmas nyelvi modellek (LLM-ek) futtatására. A teljesítményértékelésnél nemcsak a nyers sebesség, hanem a számítógép fizikai mérete is hangsúlyt kap — a hatékonyságot így a másodpercenként generált tokenek számát a térfogat alapján mérik.
A gép fő eleme egy 96 GB VRAM-mal rendelkező RTX Pro 6000 videokártya, amelyet egy ASUS Strix X870i alaplappal és Ryzen 9 9900X processzorral kombinálnak. Külön hangsúlyt kap a hűtés, a zajszint, valamint a kábelezés megoldása egy kisméretű Cooler Master NR200P V3 házban.
Felmerül néhány érdekes kérdés: Vajon megéri lecserélni egy memóriában bivalyerős M3 Ultra Mac Studiót erre a mini PC-re? Miként viszonyul a teljesítmény/térfogat arány a rivális, gyárilag kompakt rendszerekhez képest? Mennyit ad hozzá a különbségekhez a legújabb kvantizációs technikák és támogatott formátumok (FP8, INT8) szintje?
Praktikus eszközök és tippek (például elektromos precíziós csavarhúzó) is bemutatásra kerülnek, amelyek megkönnyítik az ilyen bonyolult szereléssel járó gépépítési projekteket. Rövid kitérő erejéig felbukkan egy Mac Studio és különböző kvantizált LLM-ek összehasonlító tesztje is, külön figyelve a számítási pontosságra, a fogyasztásra és a hőtermelésre.
