Az adás középpontjában az adatközponti nagy nyelvi modellek (LLM-ek) gépi inferenciájához tervezett új, speciális hardvermegoldások állnak. Az iparágban egyre több szereplő tűnik fel, akik egyedi megközelítésekkel és merész innovációkkal próbálnak megragadni egy kiélezett és ígéretes piaci szegmenst.
A Groq egy olyan lapkát fejlesztett, amelynél minden az előre kiszámítható válaszidőt szolgálja a prediktív és konstans teljesítmény érdekében – ehhez egy saját fejlesztésű LPU-t (language processing unit) alkalmaznak, amelyből hiányoznak a cache-ek és a külső memóriák. Ez a döntés komoly műszaki vitát szül a hatékonyság, a skálázhatóság és a rugalmasság között.
Az Etched nevű startup a robbanásszerűen terjedő, transformer alapú modelleket célozza meg egy kizárólag erre a célra dedikált, minden mást elvető Sohoo chip architektúrával. Ez a radikális specializáció igen komoly kockázattal jár: ha az iparág elmozdul, a technológia könnyen elavulttá válhat, viszont cserébe lényegesen nagyobb számítási kapacitást kínál.
Az új belépők közül a New Chips és a SambaNova Systems is egyedi megoldásokat kínál. A Raptor N3000 chip például az ajánlórendszerekből indult, majd az LLM-inferencia felé bővítették, így egy kompromisszumos, de rugalmas alternatíva született. A SambaNova egy olyan rendszerrel jelentkezett, amely a memória- és modellváltás rugalmasságára helyezi a hangsúlyt, mindezt egy vertikálisan integrált ökoszisztémában biztosítva.
További érdekesség a feltörekvő Talas startup, amely az AI modelleket közvetlenül szilíciumra fordító, rendkívül specifikus chipekkel kísérletezik, valamint a Posetron, amely FPGA-alapú PCIe kártyájával jelentkezik, még a végleges, dedikált AI chip megjelenése előtt. Ezek az újító stratégiák számos kérdést vetnek fel a jövő teljesítményéről, iparági trendjeiről, valamint a rugalmasság és a hatékonyság viszonyáról.
