Az MI-robbanás hatalmas számítási igényeket szül, amelyek a jelenlegi hardverarchitektúrákat óriási kihívások elé állítják. Ezt a problémát élesebben mutatja meg, ahogy a mindennapi használatban lévő MI-alkalmazások sebesség- és energiahatékonysági akadályokba ütköznek.
Az elmúlt évtizedben az Nvidia gyakorlatilag monopóliumot szerzett az MI-t futtató GPU-k terén, ám a piac mozgásba lendült, amint új szereplők és startupok, köztük a SambaNova Systems, megjelentek a színen. Ezek a cégek új chiparchitektúrákkal, például az újrakonfigurálható adatfolyam-alapú egységekkel próbálnak kitörni a hagyományos processzorok és GPU-k korlátai alól.
Különös hangsúlyt kap az inferencia, vagyis amikor az MI-modellek valós időben dolgoznak fel adatokat, nem pedig tanulnak – ehhez szükség van a hatalmas adatmennyiség áramoltatásának gyorsítására és a memória szűk keresztmetszetének felszámolására. A videó részletesen bemutatja, mennyire különböző sebességgel képesek dolgozni ugyanazok a modellek eltérő hardveren.
Az energetikai és adatközponti infrastruktúra is kiemelt téma: az MI-boom miatt az elektromos hálózatok terhelése nő, míg az új, hatékonyabb chipek akár lég- vagy folyadékhűtéssel is üzemeltethetők, ami nagy előnyt jelent az ipari alkalmazásban. Ennek fényében felmerülnek üzleti és iparági kérdések a fenntarthatóságról, a piaci szereplők túlélési esélyeiről, illetve a siker és értékelés mértékéről.
