Az Intern Science, egy sanghaji AI labor, új, nyílt forráskódú, 35 milliárd paraméteres MI-modellt mutat be, amelyet kifejezetten hosszú távú, összetett feladatokra – keresésre, eszközhasználatra, tudományos kutatásra, mérnöki problémákra és utasítások követésére – terveztek. Érdekessége, hogy a teljesítménye bizonyos területeken megközelíti a jóval nagyobb, közel trillió paraméteres modellekét, miközben sokkal kevesebb erőforrást igényel.
A fejlesztők nem csupán a paraméterek számának növelésére törekedtek, hanem a gondolkodási és cselekvési folyamatok „horizontját” bővítették. Ebben az architektúrában több kis szakértő hálózat működik együtt, amelyek közül minden egyes bemenetre csak néhány aktiválódik.
Kiemelt hangsúlyt kap a tanítás folyamata: széleskörű finomhangolás után egyedi szakértők képzése történt különböző területeken, majd ezeket egyetlen közös modellbe olvasztották össze. A speciális tanulási struktúra lehetővé teszi, hogy az MI nemcsak képfelismerési, hanem összetett tudományos érvelési és utasításkövetési feladatokban is meglepően jól teljesítsen.
Praktikus tesztek, például áramlástani problémák megoldása vagy alkalmazás építése képről, valamint szigorúan korlátozott szöveges feladatok bemutatják, mire képes a rendszer – de kérdés, hogy a lassabb működés vagy az apróbb hibák mennyiben befolyásolják a felhasználhatóságot. Érdekes összehasonlításokat láthatunk a nagyobb, zárt forrású modellekkel, miközben olyan problémákat feszeget a videó, mint hogy hol húzódik az MI skálázhatóságának határa, és milyen kompromisszumokat jelent az újfajta szakértői architektúra.
