A videó több, egymást követő előadást foglal magában, amelyek a modern mesterségesintelligencia-rendszerek futtatásához szükséges hardveres és szoftveres specializáció irányait járják körül. Az előadók a több-GPU-s feldolgozás, az energiahatékony intelligencia, a speciális gyorsítók és az inferencia-architektúrák fejlődését, valamint a szerverfarmok és felhasználói eszközök közötti feladatmegosztás dilemmáit érintik.
Felmerül a kérdés, hogyan csökkenthető a hardveres és hálózati szűk keresztmetszet, illetve miként lehet egyszerűbbé és gyorsabbá tenni a több-GPU-s kernelprogramozást. Szóba kerül, hogy a jelenlegi inferencia-munkafolyamatok mennyire heterogének – a rendszer különböző fázisai (pl. prefill, dekódolás, spekulatív dekód) eltérő architektúrát és optimalizálást igényelnek. Részletesen bemutatják a Parallel Kittens keretrendszert, amely új programozási primitívekkel könnyíti meg az optimális több-GPU-s kihasználtság elérését.
Az energiahatékony MI előadásokban azt feszegetik, hogy a felhőalapú rendszerekről mennyiben lenne érdemes a számítási igényeket a végfelhasználói gépek (pl. laptop, munkaállomás) felé terelni, különösen, ahol a feladatok nem igényelnek csúcsteljesítményű modelleket. Áttekintik, hogy a kis, nyílt forráskódú modellek mennyiben képesek már helyben is elvégezni hasznos feladatokat, jelentős energia-, költség- és infrastruktúra-megtakarítással.
Szintén terítékre kerülnek az MI-vel generált GPU-programozási kódok, azok automatizált ellenőrzési problémái, valamint a csalásokat kiszűrő módszerek. Végül előkerülnek játékszimulációkra és robotikára kifejlesztett, magas áteresztőképességű GPU-szimulátorok, programozási absztrakciókkal és irányelvekkel, amelyek jelentősen leegyszerűsítik a bonyolult, dinamikus környezetek leírását és nagy sebességű betanítását.
