Három modern mini PC közösen futtat egy óriási, 70 milliárd paraméteres mesterséges intelligencia modellt, amelyet egyikük sem tudna egyedül kezelni. Vajon hogyan lehetséges ez? A hardverek között szerepelnek Intel legújabb chipjei, erős GPU-k, dedikált NPU-k (neurális feldolgozó egységek), és tágas memória, így a gépek fejlesztésre, szerveres és mesterséges intelligencia feladatokra is alkalmasak.
A bemutató összehasonlítja a CPU, GPU és NPU sebességét, energiahatékonyságát, valamint különböző AI modellekhez való alkalmazhatóságát. Kiderül, hogy mindegyik másban igazán erős vagy éppen gyenge: például a GPU ugyan gyors, de a memóriasebesség gátat szab a fejlődésnek, míg az NPU fő előnye a rendkívül alacsony fogyasztásban rejlik.
A videó kitér arra is, miként lehet a modellek futtatásakor összekapcsolni több mini PC-t, hogy elosztva fussanak a nagyobb feladatok. Azonban meglepetések és új problémák is adódnak, például a hálózati forgalom és a memóriakezelés, amelyek teljesítményromlást okozhatnak.
Felmerül a kérdés, mikor és hogyan éri meg ténylegesen klasztert építeni: ha a sebességet akarjuk növelni, vagy ha a méretben meg kell haladni az egy gépnyi korlátokat. Megjelenik a privát, titkosított felhőhasználat dilemmája is a fejlesztői munkákban, valamint szó esik arról is, hogy a szoftveres környezet gyakran lassabban fejlődik, mint maga a hardver.
