Nemrégiben a Microsoft egy új, kiemelkedő jelentőségű fejlesztést mutatott be: a Harrier nevű, többnyelvű szövegbeágyazó modellt, amelyet egy ragadozó madárról neveztek el. Érdekessége, hogy fejlesztésekor dekóder-alapú architektúrát választottak, amely szakít a korábbi, főként csak kódoló típusú modellek hagyományaival. Ez az irányváltás izgalmas mérnöki döntéseket von maga után, amelyek a videóban részletezve is megismerhetők.
A Harrier három méretváltozatban érhető el, eltérő paraméterszámú modellekkel – a legnagyobb 27 milliárd paraméteres, de kisebb, könnyebb és gyorsabb modellekkel is találkozhatunk. Egyik fő koncepciója, hogy bármely szöveget tömör, sűrű vektorrá alakít, ami különböző mesterséges intelligencia feladatok – például szemantikus keresés, szövegosztályozás vagy hasonlóságvizsgálat – kulcsa lehet.
Az új modellt alapos benchmark teszteknek vetették alá az iparági standardnak számító MTAB – Massive Text Embedding Benchmark – rendszerében, ahol az állítások szerint kimagasló eredményeket ért el. A különböző modelleket összehasonlítva láthatók a hatékonyságbeli, méretbeli és pontosságbeli különbségek, így felmerül a kérdés, hogy milyen használati környezetre melyik verzió lehet az ideális választás.
A Harrier beágyazó modell egyik kiemelkedő tulajdonsága a nyelvi sokszínűség: 40-nél is több nyelvet támogat, köztük európai, ázsiai, arab és egyéb régiók nyelveit. Vajon mennyire pontos a modell alacsonyabb erőforrású, ritkább nyelvek esetében? Mennyiben képes fenntartani a szemantikai egyezést a kérdések és dokumentumok között különböző nyelveken?
A bemutató során gyakorlati példákon keresztül látható, hogy milyen egyszerűen lehet telepíteni a modellt Linux rendszeren, kifejezetten nagy GPU memóriát igényelve, valamint hogyan lehet tesztelni a különböző változatokat és mérni a modellek teljesítményét különféle nyelvi minták között. Mindez további kérdéseket is felvet a modellek mérete, használhatósága és alkalmazhatósága kapcsán.
