Az Nvidia új, Neotron 3.5 Lightning nevű mesterségesintelligencia-modelljét mutatja be a videó, amely egy speciális, helyi futtatásra szánt nagy nyelvi modell. A modell 30 milliárd paraméterrel rendelkezik, de minden tokenre mindössze 3 milliárd paraméter aktív, így a nagy modellek képességeit kisebb erőforrásigénnyel hozza.
A felvételen részletesen ismertetik a modell hibrid architektúráját, amely ötvözi a Mamba 2 rétegeket és a Mixture of Experts rétegeket, némi figyelmi réteggel kiegészítve. A különlegessége az, hogy akár 1 millió tokenes kontextusablakkal dolgozik, amely jelentős előrelépést jelent a hosszú feladatok kezelésében. Az Nvidia hangsúlyozottan nem kiemelkedő érvelési vagy általános mesterséges intelligenciaként, hanem nagy mennyiségű, jól definiált feladat gyors és megbízható végrehajtására fejlesztette a Lightningot.
A telepítés és a helyi futtatás lépésről lépésre kerül bemutatásra, közben pedig gyakorlati példákon keresztül (pl. terminálon keresztüli hibakeresés, kódgenerálás) tesztelik a modellt. Felvetődik a kérdés, vajon mennyire tudja felvenni a versenyt hasonló kategóriájú modellekkel, és valóban elég hatékony-e napi ügynöki, végrehajtási feladatokban?
Szóba kerül az is, milyen fejlődési lehetőségek vannak a modellt körülvevő ökoszisztémában, például az újonnan bemutatott NeMo Switchyard komponens vagy a Hermes ügynök integrációja. A videóban a Lightning modellt különféle benchmarkok és valódi alkalmazások tükrében hasonlítják össze riválisaival, mind sebesség, mind kontextuskezelés, mind nyelvi képességek alapján.
