Miként tud egy AI-modell hatalmas szövegekből gyorsan és pontosan releváns információkat visszakeresni, amikor a memóriája (VRAM) szűkös? Ez a kérdés vezeti be a modern kulcs-érték (KV) gyorstárazási megoldások problémakörét, ahol a rendszer egyre nagyobb szövegkörnyezeteket tárolna, miközben a videókártya kapacitása véges.
A bemutatott módszer vizsgálja, miként optimalizálható a folyamat úgy, hogy a szükséges memória jelentős részét a rendszermemóriába (RAM) helyezik át, és csak egy kis, dinamikusan frissülő rész marad a GPU-n. Az így nyert sebesség- és kapacitásmenedzsment lehetővé teszi, hogy szinte teljes könyveket legyen képes feldolgozni a modell.
Felmerül azonban a kulcskérdés: ha a szükséges információ már rég kikerült a GPU-ból a RAM-ba, honnan tudja az AI, hogy pontosan mely szövegrészletet kell visszahozni és elemezni egy kérdés megválaszolásához? Kétféle stratégia kerül terítékre: a régi (LRU — legutóbb használt) algoritmus pusztán a legfrissebb szövegrészeket tartja meg, míg egy fejlettebb, kis „segédmodell” pontozza az elérhető memóriatartalmak relevanciáját, és szükség esetén visszahívja a megfelelő információt is.
Valós példán — egy teljes regényen belül elhelyezett titkos jelszó megtalálásán — keresztül teszteli a technológiát, bemutatva a frissesség alapú és a relevancián alapuló szűrés közötti különbséget, továbbá hangsúlyozza a rendszer előnyeit a VRAM-használat és válaszidő terén.
