Ebben a bemutatóban egy új, 3 milliárd paraméteres nyelvi modellt ismerhetünk meg, amelyet a HuggingFace fejlesztett ki, kifejezetten hatékony felhasználásra. Szó esik arról, miben különbözik ez a SmallLM3 a nagyobb modellektől, és hogyan biztosítja a nagyfokú rugalmasságot annak ellenére, hogy kompakt méretű.
A modell telepítésének és beüzemelésének lépései is önálló pontokat kapnak: látható, hogyan lehet lokalizált környezetben, például Ubuntu operációs rendszeren, valamint Nvidia RTX A6000 GPU-n futtatni, továbbá hogyan kapcsolható össze különböző webes kezelőfelületekkel és beállítási lehetőségekkel.
Külön érdekesség, hogy részletesen bemutatásra kerül a modell gondolkodási (reasoning) képessége, és az is, hogyan kezeli a különböző nyelveket: a többségi európai nyelvek mellett szó esik a potenciális korlátokról is. Elhangzanak tesztek általános műveltségi kérdésekkel és etikát boncolgató próbákkal is, valamint feltárulnak a VRAM-használat meglepő aspektusai.
A videó új kérdéseket vet fel a kis paraméterszámú modellek hatékonyságával, a mesterséges intelligencia etikai válaszaival és a többrétű nyelvi támogatással kapcsolatban. Felmerül, hol vannak a modell határai, és hogyan viselkedik, amikor ismeretlen bemenetet kap.
