Az elmúlt időszakban a Qwen csapat rendkívül hosszú szövegkörnyezet kezelésére képes mesterséges intelligencia modellekkel kísérletezik, amelyek akár egymillió token feldolgozását teszik lehetővé egy menetben. Ez a hatalmas kapacitás lehetővé teszi, hogy a modellek egész dokumentumokat, nagy kódbázisokat vagy hosszú beszélgetéseket is áttekinthetően kezeljenek, anélkül, hogy elveszítenék a fonalat.
Felmerül a kérdés, hogyan sikerült ezt elérni, amikor más modellek, például a legtöbb OpenAI fejlesztés, csupán 8 000 tokenes keretet kínálnak a szabad felhasználású verziókban. A Qwen 3 újításai közül két kulcsfontosságú technológiát emel ki a szerző: a dual chunk attention (DCA) és az M inference nevű eljárásokat. Ezek lehetővé teszik, hogy ne csupán nagyobb memóriával próbálják meg áthidalni a problémát, hanem hatékonyabb módon osszák fel és dolgozzák fel az információt.
A DCA lényege, hogy a hosszú szövegdarabokat kisebb „chunkokra” osztják, így a modell egyszerre csak kezelhető távolságokat dolgoz fel, miközben megmarad az egész dokumentum összefüggése. Az M inference pedig szelektíven irányítja a modell figyelmét a legfontosabb tokenekre, elkerülve a fölösleges feldolgozást, és ezzel gyorsítva a működést, miközben a minőség sem csorbul.
Érdekes kérdés, hogy mennyi erőforrás szükséges ennek a modellnek a futtatásához, ugyanis jelenleg a 30 milliárd paraméteres változat legalább 250 GB VRAM-ot igényel, ami még a mai gépekkel is komoly kihívást jelenthet. Szó esik arról is, hogy milyen lépéseket kell követni a modell telepítéséhez, milyen konfigurációs fájlokat kell módosítani, és milyen népszerű eszközök, mint például a VLLM vagy az SG Lang, gyorsítják a folyamatot.
Felvetődik a kérdés, hogy ezeknek a technológiáknak az elterjedése hogyan formálhatja át a jövő AI modelljeit, és vajon meddig tart, amíg a több milliós tokenablak általános követelménnyé válik az iparágban. Továbbá, az olvasók betekintést kapnak abba is, hogyan támogatják ezt a fejlesztési hullámot olyan platformok és alkalmazások, amelyek megkönnyítik az AI-munkaerő menedzselését.
