Az Nvidia legújabb helyi, nagy nyelvi modelljét, a Nemotron 3.5 Lightningot vizsgálja ez a videó. A technológia egyik érdekessége, hogy a 30 milliárd paraméteres modell kevert szakértői architektúrát használ, így futtatásához jelentős mennyiségű VRAM-ra vagy RAM-ra van szükség.
Meglepő teljesítményt nyújt a különböző hardvereken: egy RTX 5090 kártyával akár 130 tokent, míg egy Jetson Thor rendszerrel 66 tokent generál másodpercenként. Ez kiemelkedő gyorsaság más, hasonló paraméterű, de sűrűbb modellekhez képest.
Felmerülnek a funkcionális határok is; például a modell könnyedén megválaszolja az „Alice kérdést”, ám bonyolultabb logikai feladványoknál, mint a 7 és 11 perces homokórák problémája, már nem boldogul. Különös viselkedései is akadnak: programozási feladatoknál néha nem a kért nyelven készíti el a megoldást, de a természetes nyelvi feldolgozás terén kimagaslóan teljesít.
Kérdés marad, hogy hosszú távon mely területeken válik igazán hasznossá, és hogy a felhasználók visszajelzései alapján milyen új alkalmazásokban bizonyíthat még. A lehetőségek és korlátok egyaránt továbbgondolásra ösztönöznek.
