Az embeddelhető nyelvi modellek legújabb generációját mutatja be ez a tartalom, amelyben a Perplexity AI által fejlesztett soknyelvű szöveg-embedding megoldás kerül fókuszba. A modell egy 600 millió paraméteres hálózaton alapul, amely a quen 3.6 milliárd paraméteres bázismodelljére épül, és a bemutatott tesztek alapján méretéhez képest meghazudtoló teljesítményt nyújt, felülmúlva nagyobb embedding modelleket is.
Kiemelésre kerül a modell szerkezete és egyedisége, például a bidirekcionális figyelem és a mean pooling kombinációja, amelyek lehetővé teszik a 1024 dimenziós vektorok hatékony előállítását. Szó esik a Matrioska representation learning (MRL) rendszerről, amely a rugalmas embedding dimenziókat biztosítja, illetve a bináris kvantálásról, amely jelentős tárhely-megtakarítást eredményez. Számos gyakorlati felhasználási lehetőséget is bemutatnak, külön hangsúlyt helyezve arra, hogy a modell CPU-n is kiválóan futtatható minimális erőforrásigénnyel.
A tesztek során kiderül, mennyire pontosan képes felismerni a szemantikai hasonlóságokat, például hasonló jelentésű mondatok közötti viszonyokat az embedding térben. A többnyelvűség terén is látványos eredmények születnek: a modell közel 30 nyelven képes ugyanazt a jelentéstartalmat felismerni, ami új lehetőségeket teremt nemzetközi alkalmazásokhoz vagy globális adatkezeléshez.
Felmerül a kérdés: mennyire lesznek ezek a kompakt, gyorsan telepíthető embedding modellek a jövő szöveges kereső- és feldolgozórendszereinek alapelemei, és hol húzódik a határ a nagy, általános modellek és a specializált, hatékony megoldások között?
