Az új OpenReasoning-Nemotron-7B modellt mutatja be a videó, amelyet a mesterséges intelligencia fejlesztésében meghatározó Nvidia adott ki, szorosan együttműködve az Alibaba kínai technológiai óriásával. A 7 milliárd paraméteres nyelvi modell a Quen 2.57B utasítás-alapú bázismodellekből kiindulva készült, és kifejezetten matematikai, tudományos, illetve programozással kapcsolatos feladatok megoldására finomították.
A videóban szó esik arról, hogy az ilyen modellek fejlesztésének egyik fő akadálya a szükséges grafikus processzorok elérhetősége és ára. Ennek fényében különösen érdekes, hogy még az Nvidia is más modellekre, például az Alibaba Coin-modelljeire támaszkodik a fejlesztés során, illetve különböző paraméterszámú (1.7, 7, 14 és 32 milliárd) változatokat mutatnak be.
A bemutató során részletezik, hogyan történik a modell helyi telepítése Ubuntu rendszeren VLLM motor és Open Web UI segítségével, valamint megvizsgálják a VRAM-használatot is, ami akár 45 GB is lehet. Kiemelik, hogy a modell kimagaslóan alkalmas hosszú, lépésről lépésre felépített megoldások kidolgozására, és kifejezetten nagy kimeneti szövegmennyiségek előállítására képes.
Konkrét példákon keresztül tesztelik a modellel a matematikai gondolkodást, programkód-generálást (például valós idejű fraktál-vizualizáló Python program létrehozásával), valamint tudományos problémák, például gyógyszerfejlesztési kérdések elemzését is. A videó foglalkozik a rendszer chain-of-thought, vagyis gondolatmenet-alapú lépéssorozataival is, ahol a modellek saját munkájukat ellenőrzik és újratervezik szükség esetén.
