Közelebbről megismerkedhetünk a Framework Desktop számítógéppel, amely AMD Ryzen Max Plus 395 processzorával és 128 GB RAM-mal kifejezetten hatékonynak bizonyul a helyi mesterséges intelligencia feladatokhoz, különösen nagy nyelvi modellek és kép-, illetve videógenerálás terén.
A gépben alkalmazott hűtési megoldást különösen kiemelik, összevetve olyan versenytársakkal, mint az Asus Flow Z13 vagy a GMK Tech Evo X2, ahol a zajszint és a teljesítmény is összehasonlításra kerül. Megtudhatjuk, hogyan viselkedik a memória kiosztása négy azonos Framework Desktop párhuzamos futtatása alatt, és hogy mennyire befolyásolja a különböző RAM-beállítások a helyi AI modellek futtatását.
Felmerül a kérdés, hogy a dinamikus vagy fix GPU memóriakiosztás a jobb választás, és hogy miért kiemelten fontos a memória sebessége és sávszélessége ezeknél a feladatoknál. A videó külön kitér az Apple M4, M4 Pro és M4 Max chipekkel, illetve az Nvidia és GMK Tech rivális konfigurációival végzett összehasonlításokra.
A szerző részletesen kísérletezik különféle AI modellekkel, például a Quen 3 coder, a GPTOSS vagy a Llama 3 modellekkel, és megvizsgálja, milyen optimalizációk és üzemmódok (pl. Vulcan, Rockom) vezetnek a leggyorsabb eredményekhez. Szó esik arról is, hogy a RAM a Framework Desktopban, hasonlóan az Apple gépekhez, forrasztott, ami felvet bizonyos szerelhetőségi dilemmákat.
További érdekességként szóba kerül a nagy AI modellekkel való kísérletezés a klaszter-felépítéssel, és az is, hogy az egyes szoftverek és driverek milyen hatással vannak a teljesítményre, valamint felvetődik a modularitás és fejleszthetőség kérdése is.
