Ebben az elemzésben egy új, gépi tanulásra épülő nyelvi modell, az Inkling Small képességeit vizsgálják meg különféle teszteken keresztül. A bemutató során külön hangsúly kerül arra, hogy bár a modell neve ‘small’, valójában egy rendkívül összetett és nagy paraméterszámú AI-ról van szó.
A tesztelés kitér a modell hatékonyságára hibakeresési folyamatban, ahol a cél egy API-alkalmazásban található hiba azonosítása és javítása. Az érdekes kérdés az, vajon a 276 milliárd paraméteres architektúra képes-e gyorsan és precízen feltárni hibákat egy komplex rendszerben?
További kihívásokat is kipróbálnak: kódgenerálási feladat, ahol a modelltől egy egész rotisserie szimuláció HTML-ben történő megvalósítását várják el. Emellett megvizsgálják a multimodális működését, például azt, hogy egy beküldött hangfájlban elhangzó mondatot tud-e több tucat nyelvre lefordítani, illetve képes-e bonyolult űrlapképet strukturált JSON adathalmazzá alakítani.
Külön figyelmet érdemel, hogy az Inkling Small teljesítményét összevetik nagyobb testvérével, sőt, a „gondolkodási erő” finomhangolásával a kisebb modell sok esetben képes felülmúlni a nála jóval nagyobb verziót is. A valós felhasználás során felmerül a kérdés: valóban elegendő-e egy hatékonyabb, de kisebb aktív paraméterszámú modell helyettesíteni a nagyobb, energiaigényesebb rendszereket?
