A Qwen 3.8, egy 27 milliárd paraméteres helyi mesterséges intelligencia modell, néhány napja vált elérhetővé, és a tesztelés során lenyűgöző teljesítményt mutatott, különösen a korábbi helyi modellekhez képest. Az új modell lehetőséget ad arra, hogy minden adatot helyi hardveren dolgozzunk fel felhő használata nélkül, ami jelentős előrelépés a felhasználók számára.
A modell futtatásához teljes, 16 bites pontossággal 55 GB méret és legalább 128 GB VRAM szükséges, ami meghaladja a legtöbb otthoni konfiguráció képességeit. Viszont a 4 bitre kvantált változat egy RTX 5090 kártyán már elérhető sebességet biztosít, így átlagos felhasználók is kipróbálhatják helyi PC-jükön.
A tesztelés során különböző problémákra adott választ, beleértve logikai fejtörőket és programozási feladatokat is. Az egyik fő feladat során a modell egy Space Invaders játékot generált egyetlen HTML fájlban, inline JavaScript segítségével, külső könyvtárak nélkül. Ezután összetettebb kihívások következtek, például egy ASN.1-hez vagy Google Protobuffhoz hasonló protokoll specifikáció készítése, amelyben csak minimális hibákat találtak.
A tesztelés kiindulópontként a modell kódgenerálási képességeit is vizsgálja nyílt forráskódú környezetben, ahol a felhasználó aktívan instruálta a szoftvert, amely pedig egy működőképes könyvtárat és többféle tesztet állított elő. Végül egy saját scripty programozási nyelv értelmezőjének megírását is elérte a modell, mindezt rövid interakciók segítségével.
A látottak alapján érdemes elgondolkodni azon, hogy a helyi futtatású Nagy Nyelvi Modellek mire lehetnek képesek, hol tartanak jelenleg a generatív AI megoldások, és hogyan tudnak új lehetőségeket teremteni a szoftverfejlesztésben.
