Az új MiniCPM-5 2B nevű mesterséges intelligencia modell, amelyet a Tsinghua Egyetemhez kötődő ModelBench fejlesztett ki, most debütált a nyilvánosság előtt. Ez a kétmilliárd paraméterből álló modell számos benchmark teszten jól szerepel, azonban az alkotók nem elégedtek meg a publikált eredményekkel; saját tesztekkel is vizsgálták a képességeit helyben futtatva, hogy kiderüljön, valóban megfelel-e a modern elvárásoknak.
A tesztkörnyezet összeállítása során kiderült, hogy bár a GPU memóriakövetelménye elsőre ijesztő, megfelelő beállításokkal szerényebb hardveren is sikeresen futtatható a modell. Az első, Oracle SQL lekérdezésre adott válaszaiból kiderült, hogy összetett, rejtett hibák felismerésére is képes, de a válaszadási folyamat hosszas, időnként túlgondolt.
Amikor lexikális és történelmi tudást kértek rajta számon – például a nerchinszki szerződés nyelvére és tolmácsaira vonatkozóan –, a válaszai megbízhatóak, noha stílusban kissé nehézkesek és terjengősek lehetnek. Érdekes próbának számított a HTML-alapú kebab-forgató animáció lekérése is, amelyet a modell ügyesen oldott meg, több programozási és matematikai elemet is összehangolva.
Nem minden próbán teljesített hibátlanul: a többnyelvű gyengéd megszólításokat kérő feladatnál számos hibás vagy fiktív szóval válaszolt a kevéssé ismert nyelvekre, de bizonyos nyelvek esetében ismerte a helyes terminust. A tudományos és matematikai érvelési feladatok során a helyes válasz megtalálásához többször, néha redundánsan végzi el a számításokat, ami a válasz hosszúságát növeli.
A tesztek során az is kiderült, hogy a modell egy háromlépcsős tréningfolyamat során kapta képességeit, melyben külön tanár modellek is részt vettek a finomhangolásban különböző területekre, majd ezek tudását egyesítették vissza egybe. Mindez azt a kérdést is felveti, mennyit számít egy kis méretű modellnél a gondos finomhangolás, illetve hol húzódnak a határai a kis modellek képességeinek.
