Az NVIDIA új Nemotron 3 embed 1B modellje kiemelkedően teljesít az embedding modellek között, amelyeket agentikus kereséshez, RAG-hoz és szemantikus keresési feladatokhoz terveztek. A modell 34 nyelvet támogat, és 32 ezer tokenes kontextusablakkal rendelkezik, valamint teljesen nyílt licencelésű, így kereskedelmi felhasználásra is alkalmas.
A videó során bemutatják, hogyan befolyásolja az embedding modellek kiválasztása az ügynökalapú információvisszakeresés hatékonyságát, különös tekintettel arra, hogy milyen mértékben csökkenthető a tokenhasználat az újabb modell révén. A kísérlet során összehasonlítják a Nomic embed text és a Nemotron 3 embed 1B modelleket, mindkettőt ugyanazzal az ügynöki (agentic) modellel, konkrét adatkorpusszal és azonos kérdésekkel tesztelve.
Érdekes kérdések merülnek fel: Miért lehet lényegesen kevesebb keresési lépés és tokenköltség, ha fejlettebb embedding modellt használunk? Hogyan hat a jobb találati pontosság a válasz minőségére és a rendszer üzemeltetési költségeire nagy volumenű alkalmazások esetén? A bemutatott példákon keresztül szemléletesen látható, mennyire nem mindegy, milyen modellt választunk a háttérben.
A kísérlet külön figyelmet szentel annak, mennyire jelentős akár 31%-os tokenköltség-csökkenést lehet elérni pusztán a beágyazó (embedding) modell cseréjével, ami elsősorban API-költségekben hozhat komoly megtakarítást az üzemeltetők számára.
