Az Apple egy új, Clara-7B névre keresztelt RAG modellt mutatott be, amely helyben is telepíthető. A folyamatos látens érvelés (continuous latent reasoning) elvén működő keretrendszer célja, hogy áthidalja a dokumentum-visszakeresés és a válaszgenerálás közötti szakadékot.
Az egyik érdekessége, hogy a dokumentumokat és a lekérdezéseket egy közös folytonos reprezentációs térbe helyezi, ezzel segítve az end-to-end tanulást. Ez a megközelítés lehetővé teszi, hogy a dokumentum kiválasztásáért felelős rész visszacsatolást kapjon a válaszgenerálási folyamattól, így optimalizálva a ténylegesen hasznos adatok kiválasztását.
Felmerül a kérdés, hogyan oldja meg a modell a megszokott RAG rendszerek egyik fő problémáját, nevezetesen azt, hogy a lekérdezés és generálás külön-külön optimalizálódik, ami gyakran gyenge kapcsolódást eredményez. Itt azonban új eljárások, például a salient compressor pre-training (SCP) kerülnek bevezetésre, amely a szöveg lényegi információit emeli ki, elkerülve a fölösleges adatok feldolgozását.
A videó során kitérnek arra, hogyan telepíthető a modell Ubuntu rendszeren, milyen hardverigénye van — például egy Nvidia RTX 6000 GPU 48 GB memóriával — és hogyan kezelhető a HuggingFace platformon keresztül. Mindemellett a bemutatott példák azt feszegetik, mennyire gyorsan és pontosan tud utasításalapú kérdésekre válaszolni, miközben minimalizálja a téves, „hallucinált” adatokat.
Vajon mennyire lesz sikeres az Apple új modellje az AI piacon, ahol a konkurencia már komoly tapasztalatokra tett szert? Hogyan változtathatják meg a jelenlegi dokumentum-visszakeresési és válaszgenerálási folyamatokat ezek a fejlesztések?
