A videó bemutat egy új mesterséges intelligencia nyelvi modellt, amelyet kifejezetten programozási és szoftvermérnöki feladatokra fejlesztettek ki 24 milliárd paraméterrel a Mistral AI által. A kvantizációnak köszönhetően a modell viszonylag kis memóriatárolási igénnyel futtatható helyi gépen is, akár egy középkategóriás Nvidia grafikus kártyával.
A tesztelés során a modell több programozási feladatot kap különböző nyelveken: Rustban hash-elési műveleteket kell sorban végrehajtania, C-ben pedig egy túlcsordulási hibát kell javítania. Ezzel vizsgálják, mennyire képes sorrendi, komplex lépések követésére és hibák felismerésére.
Részletes próbák folynak Python nyelven is, ahol egyedi, lépésről lépésre megszabott feladatot kell megoldania, valamint JavaScript-ben is, ahol grafikai és fizikai szimulációt kérnek a Three.js könyvtár segítségével. A modell válaszainak minősége és hibakezelése is középpontba kerül: hogyan reagál, ha elsőre hibás vagy nem teljesen működőképes kódot ad vissza?
Felvetődik az a kérdés is, hogy mennyire tudja megoldani az egészen alacsony szintű rendszerprogramozási feladatokat, például egy teljesen natív Win32 API-szövegszámlálót C++-ban. A témák összefonódnak a helyi és felhőben futtatható modellek közötti különbségekkel, a gyakorlati használhatóság és a hibakeresés kérdéskörével is.
