Elképesztő technológiai újítás jelent meg: a Google bemutatta a Turbo Quant algoritmust, amely mesterséges intelligencia modellek futtatásánál drasztikusan csökkenti a memóriaigényt, és jelentősen gyorsítja az adatfeldolgozást — mindezt állítólag anélkül, hogy a pontosság csökkenne.
A bemutatott módszer lényege, hogy a modellek „emlékeztető jegyzeteit” (azaz a KV cache-t) új, hatékonyabb módon tárolja. Ez a többszörös gyorsulás és memóriaigény szűkösségének megoldása masszív költségcsökkentést jelent a nagy AI-üzemeltetők számára, különösen akkor, amikor hosszú szövegekkel vagy folyamatokkal dolgoznak.
Felmerül azonban a kérdés, hogy mennyire tartós a piaci hatás, hiszen a memóriachipek gyártóinak részvényei a bejelentésre jelentős mértékben estek. Vajon tényleg kevesebb hardverre lesz szükség a jövőben, vagy inkább új, eddig elképzelhetetlen alkalmazások születnek a felszabaduló kapacitásnak köszönhetően?
A videó kitér arra is, hogy a Turbo Quant két fő részből áll (Polar Quant, valamint egy speciális hibajavító algoritmus), és bemutatja, miként alakítja át a kapcsolatok és jelentések tárolását a modellekben. Emellett elmagyarázza, hogy a technológiát különféle AI-modeleken és NVIDIA H100 GPU-n tesztelték. Érdekes párhuzamok merülnek fel a szoftverfejlesztések és a hardverpiac várható jövője között is.
