A retrieval augmented generation (RAG) rendszerek egyik fő kihívása, hogy az adatok kinyerése gyakran egyetlen lépésben történik, így bonyolult, több elemet igénylő kérdések esetén az eredmény nem mindig optimális. Egy új fejlesztés, a Chroma DB Context One modell éppen ezt a problémát célozza meg: lehetővé teszi a több lépéses keresést, a kérdések felbontását és az irreleváns dokumentumok aktív kiszűrését.
A bemutatóban lépésről lépésre végigkövethető a Context One telepítése, futtatása és tesztelése egy helyi szerveren, Nvidia RTX 6000 GPU hardveren. A nézők betekintést nyernek abba, hogyan zajlik egy valós példán keresztüli feldolgozás, és milyen előnyökkel jár az, hogy a modell a teljes dokumentum helyett csak a releváns szakaszokat adja át a választ adó frontier modellnek.
A videóban szó esik a megfelelő infrastruktúra kialakításáról, a szükséges könyvtárakról és a letöltendő modell paramétereiről is. Megtudhatjuk, miként zajlik egy valós munkaügyi szerződés feldarabolása, valamint hogyan történik a keresési lekérdezés bontása és a megfelelő dokumentumok szelekciója a folyamat során.
A bemutató bemutatja azt is, miként egészül ki a retrieval pipeline egy reasoning (következtető) frontier modellel – jelen esetben a Minimax M2.7-tel –, és milyen architekturális újításokat kínál a Chroma papír által leírt rendszer. Ezek az újdonságok akár számottevő költség- és időmegtakarítást eredményezhetnek, miközben a minőséget is jelentősen emelik.
További érdekes kérdéseket vet fel a Chroma által tervezett ügynök-harness jelentősége, amely a tokenkeretet, a kontextus vágását és a többszörös keresési köröket menedzseli majd, várhatóan tovább növelve a rendszer hatékonyságát. Ezek a fejlesztések előrevetítik a modern RAG rendszerek fejlődését és mindennapi alkalmazását.
