Az új kutatási eredmény a mesterséges intelligencia világában komoly változásokat ígér: a Moonshot AI által bemutatott tanulmány egy égető problémát kezel a hosszú kontextusú modellek esetében. Amikor óriási szövegmennyiséget vagy összetett kérdést adunk meg egy chatbotnak, két eltérő feladatot kell megoldania a háttérben: értelmezni a teljes bemenetet és fokozatosan generálni a választ.
Jelenleg ezeket a feladatokat egyazon, rendkívül nagy teljesítményű és drága adatközpontban végzik, ami jelentős kapacitáspazarláshoz és magas költségekhez vezet. A két részmunka összekapcsolása megnehezíti a külön optimalizált, olcsóbb, dedikált hardverek használatát, így hosszú beszélgetések során a költségek és a válaszidők is magasak lehetnek.
A tanulmányban bemutatott újítás lényege, hogy sikerül elválasztani a súlyos előfeldolgozási és a gyors válaszgenerálási részt, ráadásul akár földrajzilag eltérő, olcsóbb adatközpontok között is lehetővé teszik az együttműködést. Ezt a megközelítést egy új, hibrid gyorsítótár rendszer is támogatja, amely intelligensen kezeli és újrahasznosítja a memóriát, így a rendszer nagy terhelés alatt is skálázható, gazdaságos és megbízható marad.
Felmerül a kérdés, hogy ez a háttérbeli fejlesztés hogyan hat a végfelhasználókra. Vajon a jövőben megfizethetővé, sőt elérhetővé válik-e mindenki számára az a mesterséges intelligencia, amely képes akár könyvnyi szöveget, egész éves beszélgetéseket vagy komplex projektek egészét is gyorsan és olcsón kezelni?
