A
A
  • Angol
  • Magyar
  • 11 perc

Új AI modell mindennapi próbatételeken: az Ornith 1.5 9B teljesítménye

Az Ornith 1.5 9B mesterséges intelligencia-modellt valódi, mindennapi feladatokkal tesztelik, hogy kiderüljön, mit nyújt a gyakorlatban saját méretosztályában.

Kiemelkedő ígéretekkel lépett színre az Ornith 1.5 család legkisebb tagja, a 9 milliárd paraméteres modell, amely egyetlen GPU-n, akár mobileszközökön is futtatható. Egyedi, önmagát javító tanulási hurkot alkalmaz, amelyben a modell saját feladatait és megoldásait is generálja megerősítéses tanulással.

Az összehasonlító teszteken jól teljesített, sőt, néhány komolyabb, 35 milliárd paraméteres modellt is megközelített vagy túlteljesített több ügynöki és logikai benchmarkon. A tesztelés fő kérdése azonban az volt, vajon a valós élethelyzetek – például egy felhőalapú infrastruktúra önálló kezelése vagy kódgenerálási feladatok – mennyire jelenthetnek kihívást egy ilyen kisebb, sűrű neurális hálózatnak.

Vizsgálták, hogy képes-e automatikusan létrehozni egy AWS EC2 példányt valós felhasználói adatokkal, és futás közben milyen nehézségekkel szembesül a valós parancssori műveletek során. További érdekes kérdés volt, hogy az agent funkciók, az önkorrekció, valamint a nagyobb modellekhez viszonyított képességek valóban helytállnak-e a gyakorlati próbákon, illetve mennyire bírja a modell a komplex feladatokat saját erőből hibamentesen elvégezni.