Az utóbbi időben, amikor a mesterséges intelligencia (AI) fejlődéséről beszélünk, szinte minden fókusz a GPU-król és a speciális AI-gyorsítókról szól. Ezek az eszközök forradalmasították a számítási teljesítményt, azonban kevesen beszélnek arról, hogy ezeknek a modern hardvereknek jelentős része üresjáratban várakozik, gyakran akár az idő 70–80%-ában is.
A háttérben meghúzódó probléma, hogy az adatokat a megfelelő formátumban, a megfelelő helyen és időben kellene eljuttatni a processzorokhoz. A szerverekben a CPU-k továbbra is nélkülözhetetlenek az általános vezérlési és szervezési feladatokhoz, de nincsenek optimalizálva kifejezetten az AI-inferencia munkafolyamatokra. Így gyakran szűk keresztmetszet keletkezik: a gyors GPU-k az adatátvitelre és vezérlésre várnak.
A beszélgetés kiemel egy újfajta megközelítést is, amelyben dedikált chipek (mint például az NR1 és NR2) veszik át a teljes adat- és munkafolyamat-szervezést az AI-gyorsítók körül. Ez hasonló ahhoz, mint amikor egy karmester hangolja össze a zenekar tagjait: mindenki a saját területén profi, de csak összehangolva lesz igazán hatékony a teljesítmény.
A videó konkrét példákat tárgyal nagyvállalati és felhőszolgáltatói környezetekből, ahol egyre kritikusabb a hálózati hatékonyság, a késleltetés csökkentése és az infrastrukturális optimalizáció. Szó esik arról is, hogyan alakítja át a chiplet-architektúra, a hálózati megoldások fejlődése, valamint az AI-szuperszerverek megjelenése a piacot és a fejlesztési folyamatokat.
Felvetődik többek között, hogyan tudják a vállalatok a legjobban kihasználni a rendelkezésre álló hardvert, milyen szerepet játszik ebben az adat-előkészítés és -mozgatás, valamint hogy a jövőben mennyire tolódik el az egyensúly a specializált vezérlőchipek irányába – késleltetésre, hatékonyságra és integrációra optimalizálva.
