Ebben a bemutatóban egy elszánt technológiai rajongó azt vizsgálja, hogy miként lehet több Nvidia DJX Spark egységet összekapcsolni egy nagy teljesítményű, gépi tanuláshoz és nagy nyelvi modellek futtatásához alkalmas klaszterbe. Külön hangsúlyt kap, hogyan lehet a Sparkok memóriáját kombinálni, hogy együttesen akár 512 GB vagy akár 1 TB memóriát is ki lehessen használni, ezzel nagyméretű modelleket futtatva, amelyeket egyetlen gépen nem lehetne elindítani.
A hálózati gyorsítás, kábeltípusok, kapcsolási problémák és az RDMA, vagyis a közvetlen memória-hozzáférésű kapcsolatok témaköre mélyebben is kibontásra kerül. A készítő többféle kábelt és kapcsolót próbál ki, hogy elérje a kívánt sávszélességet, miközben számos váratlan akadállyal néz szembe, például kábel-kompatibilitási gondokkal és a kapcsoló konfigurációs nehézségeivel.
Sokan talán magától értetődőnek gondolják, hogy a kábelek és a hardverek csak egyszerűen összedughatók, de a videóban világossá válik: az ilyen klaszterek építése számos technikai kihívással és jelentős költségekkel jár, főként vállalati szintű alkatrészek, valamint fejlett funkciók használatakor.
Különféle LLM modelleket, például a Quen 34B, Quen 3 VL32B, Quen 3.5 397B, valamint a Kim K2 modelleket tesztelnek, különböző csomópontszámokkal, és kiemelik, hogy bizonyos feladatokban a klaszter növelése nem mindig jár a várt gyorsulással. Felmerül az a kérdés, hogy mikor és milyen modelleknél éri meg valóban skálázni a rendszert.
Érdekes kérdéseket feszeget a bemutató: miként lehet maximalizálni egy ilyen rendszerek teljesítményét, hol vannak a szűk keresztmetszetek és technikai buktatók, továbbá mekkora extra bonyodalmat okoz a hálózat és az összetett konfiguráció. Végül bemutatják, hogy milyen előnyökkel és kompromisszumokkal jár az, ha valaki maga építi meg a saját LLM-klaszterét a legújabb hardverekkel.
