Az Institute of Foundation Models egy ambiciózus AI kutatólabor, amelyet az MBZ UAI egyetem működtet Abu-Dzabiban, miközben jelen van Párizsban és a Szilícium-völgyben is. Nemrégiben bemutatták a K2 Horizon nevű modellcsaládot, amely hat nyílt forráskódú, különböző méretű nyelvi modellt ölel fel; ezek közül a videó hármat emel ki: a 0,9 milliárd, 7 milliárd és 32 milliárd paraméteres változatot.
A tesztelés során különféle, helyben futtatható modelleket vetnek össze, bemutatva azok telepítését, memóriahasználatát és azt, hogyan teljesítenek a különböző benchmarkokon. Az összehasonlítás során kiderül, hogy a különböző méretek eltérő előnyöket kínálnak: például a kisebb modellek néhány fejlett matematikai feladaton brillíroznak, míg a nagyobbak összetettebb gondolkodási feladatokra alkalmasabbak.
Érdekes témák is szóba kerülnek, mint például, hogy hol húzódik a határ a valóban praktikus modellek és a túlméretezett, ugyanakkor nehézkesen felhasználható rendszerek között, valamint mennyire működnek ezek a megoldások többnyelvű környezetben, különösen alulreprezentált nyelvek esetében.
A tesztek során közvetlenül mutatják be a modellek teljesítményét kódgenerálásban és fordítási feladatokban, kiemelve azok erősségeit és gyengeségeit. Felmerül a kérdés: milyen tényezőket érdemes figyelembe venni, amikor valaki egy ilyen modellt választ helyi vagy szerveres futtatásra?
