Különleges, többnyelvű mesterséges intelligencia-modellt ismerhetünk meg, amelyet kifejezetten szövegbeágyazási feladatokra optimalizáltak. A Tarka embedding V1 sorozat két verziója – 150 és 350 millió paraméterrel – képes nyolc nyelven hatékonyan működni, beleértve az angolt, az arabot, a kínait, a franciát, a németet, a japánt, a koreait és a spanyolt.
Az újítások közé tartozik a dinamikus mintavételi tréningstratégia, amely során egy ‘tanár’ modell kiválasztja azokat a nehéz példákat, amelyeket a ‘tanuló’ modell még nem sajátított el teljesen, ezzel gyorsítva és hatékonyabbá téve a fejlesztést. A modellek kis méretük révén akár CPU-n is gyorsan futtathatók, nem szükséges hozzájuk erős GPU.
Bemutatjuk a telepítés menetét, valamint azt, hogyan lehet Python és Gradio segítségével kipróbálni a Tarka embedding modelleket. Érdekes kérdés, hogyan működik a bi-direkcionális figyelmi mechanizmus, amely lehetővé teszi a modellek számára, hogy mélyebb szemantikai összefüggéseket azonosítsanak több nyelven is, nem csupán kulcsszavakra alapozva.
Valós példákon keresztül mutatjuk be, hogyan kereshetők ki releváns információk különféle nyelveken, illetve mennyire érzékeny és pontos a modell. Felvetődik a kérdés, vajon hogyan teljesít egy-egy nyelv esetében, és milyen előnyöket kínál, ha a gyorsaság és a pontosság egyaránt fontos szempont.
