A kínai AI laboratóriumok egyre gyakrabban rukkolnak elő új és egyedi ötletekkel a nagy nyelvi modellek világában, és most a Moonshot AI által bemutatott Kim Linear 48B A3B Instruct modellt ismerhetjük meg. Ez a friss fejlesztés egy hibrid attention architektúrát alkalmaz, amely a sebesség és a hatékonyság javítására összpontosít, különösen hosszú szövegek feldolgozásakor.
A transformer-alapú rendszerek egyik legnagyobb kihívása a hagyományos attention skálázódása, hiszen a bemeneti szekvencia növekedésével a számításigény és a memóriahasználat is ugrásszerűen nő. A Kim Linear ezt a problémát egyedi, lineáris hatékonyságú modellel és új, úgynevezett Kimmy Delta attention mechanizmussal közelíti meg, ami finomabb kontrollt tesz lehetővé az információfrissítésben.
A bemutató során szóba kerül, hogyan csökkenthető drasztikusan a memóriaigény – akár 75%-kal –, illetve miképpen gyorsítható fel a dekódolás és javítható a hardver kihasználtsága. Szó esik a teljesítmény-benchmarkokról és az architektúra mérföldköveiről, de hangsúlyt kap az is, hogy az újításokat főként hosszú távú érvelés, dokumentum-feldolgozás vagy skálázható gépi tanulási környezetek hasznosíthatják igazán.
Felmerül a kérdés: vajon az új hibrid attention képes lesz tartósan áthidalni a hatékonyság és a teljesítmény közötti rést, és meghatározni a jövő nagyméretű nyelvi modelljeinek architektúráját?
