Az összeállítás bemutat egy új technológiai fejlesztést, amelynek középpontjában egy chipgyártó startup, a Tales áll. A vállalat azt állítja, képes bármilyen mesterséges intelligenciamodellt közvetlenül egyedi szilíciumlapkára integrálni, és ezzel az eddigieknél tízszer gyorsabb működést és jelentősen alacsonyabb energiafogyasztást elérni.
Kiemelésre kerül, hogy jelenlegi rendszereik egy nyílt forráskódú, viszonylag kisebb, 3,18 milliárdos Llama-modellt futtatnak villámgyorsan. Az így elért, akár 17 000 token/másodperc sebesség több mint tízszerese a jelenlegi csúcskategóriás GPU-klaszterek tempójának.
Ugyanilyen hangsúlyt kapnak a technológia vitatott pontjai is: felvetődik, hogy a modellek gyorsan elavulnak, a hardver mindig adott modellspecifikus, valamint a minőséget részben a minták kvantálásával érték el – ami szükségszerűen kompromisszumokkal jár. Arra is kitér, hogy a prototípus fejlesztése több mint két évbe telt, a vállalt két hónapos átfutási idő pedig egyelőre nem bizonyított ipari méretekben.
A beszámoló kérdéseket vet fel az üzleti modellről, a technológia fenntarthatóságáról és a piaci igényekről. Érdekes dilemmák jelennek meg az AI hardverfrontierjének kockázatairól, a minőségi és sebességi kompromisszumokról, valamint arról, hogy ténylegesen van-e piaca egy extrém gyors, de nem naprakész modelleket használó rendszernek.
