Új mérföldkőhöz érkezett a mesterséges intelligencia kutatása, amikor egy vállalat úgy döntött, hogy nemcsak egy terméket, hanem annak legfontosabb motorját is ingyenesen megosztja a közösséggel. Ez a történet kiemeli, hogy miként gyorsítható fel gyakorlatilag minden AI-alkalmazás beviteli feldolgozása anélkül, hogy PhD-fokozatot igényelne a megértése.
A mindennapi felhasználók is jól ismerik azt a késlekedést, amikor hosszú szöveget illesztenek be egy AI-rendszerbe, és türelmetlenül várják a választ. Ennek a várakozásnak jelentős részét a prefill, vagyis a kezdeti értelmezés fázisa teszi ki. Felmerül a kérdés, hogyan lehet ezen a folyamaton javítani, hogy a válaszadás sebessége jelentősen megnőjön.
A Moonshot nevű vállalat újítása, a flash KDA és a Kimi delta attention pontosan erre kínál megoldást. Ahelyett, hogy minden egyes szót újra és újra átolvasna a rendszer, a delta attention csak a változásokat figyeli, hasonlóan ahhoz, ahogy egy e-mail-beszélgetésben is csak az új üzenetre koncentrálunk. Ez az egyszerű, de hatékony gondolkodásmód teszi lehetővé, hogy az AI-modellek gyorsabban értelmezhessék a bemeneteket.
A konkrét technikai részletekbe is bepillantást enged a videó, többek között bemutatja a CUDA, a GPU-k programozásának nyelvét, illetve a Cutlass könyvtárat, amelyek mind hozzájárulnak ahhoz, hogy a flash KDA egyedülállóan gyorsan tudjon működni. Teszteléssel és telepítési lépésekkel keresik a választ arra, mennyire eredményes ez az újítás a valóságban, illetve hogy a gyorsaság mellett garantálja-e a teljes pontosságot is.
