Különleges betekintést kapunk egy új, hosszú dokumentumok feldolgozására és összetett kérdések megválaszolására tervezett RAG (Retrieval-Augmented Generation) framework működésébe. Felmerül az igény, hogy az AI-rendszerek csak saját, releváns adatokból tudnak üzleti értéket generálni, ennek egyik legpraktikusabb eszköze a különböző RAG eszközök használata.
A Comorag keretrendszer működési alapelveit ismerhetjük meg, amely kombinálja a legújabb LLM-eket erős embedding modellekkel, valamint fejlett, gráfalapú visszakeresési és értékelési modulokkal. Itt nemcsak egyszeri lekérdezésekre van lehetőség: iteratív, ciklikus megközelítést alkalmaz, amely során a modell képes új kérdéseket generálni, bizonyítékokat keresni, és egy globális memória poolba konszolidálni az információkat.
Kiemelésre kerülnek a kihívások és előnyök, például hogy a rendszer miként oldja meg a hosszú szövegek, több dokumentum fejezeteken vagy forrásokon átívelő kérdéseit, valamint összevetik a más, klasszikus RAG rendszerekkel szemben mutatott teljesítményét.
A fejlesztő gyakorlati bemutatót is tart az eszköz telepítéséről és működtetéséről, kitér az OpenAI alapú, valamint a lokálisan futtatható modellek használatára is. Felmerülnek kérdések a költségekről, a telepítési hibákról és a különböző modellek integrációjának nehézségeiről. Végül betekintést kapunk a rendszer kimeneteibe és abba, hogyan válaszolja meg a konkrét kérdéseket egy nagy terjedelmű mesével — a Hamupipőke történetével — kapcsolatban.
