A bemutatott teszt során egy új, 27 milliárd paraméteres nyelvi modell, a Tess-4-27B lett összekapcsolva az EAGLE-3 nevű, spekulatív dekódolásra képes gyorsító modullal. Ennek eredményeként a dekódolási sebesség közel duplájára nőtt, miközben a kimenet pontossága változatlan maradt.
A működés bemutatása során a szerző egy Nvidia A100-as GPU-val dolgozik, de megoldásokat említ alacsonyabb VRAM-igényű rendszerekre is, például kvantált modellekhez. A VLLM-et és a Hermes agent rendszert használva élőben demonstrálja a modell képességeit, különös tekintettel a hibakeresési és kódolási feladatokra valós alkalmazásokban.
Az összehasonlítás során érdekes kérdéseket vet fel a különböző dekódolási technikákkal, a gépi gondolkodás útjaival, illetve a finomhangolt modellek szerepével kapcsolatban. Kitér arra is, mely módszerekkel tanították a modellt gondolkodásra, és hogy a tudás átadásában több más nagy nyelvi modell is szerepet játszott.
Felmerül a multimodalitás — a vizuális és szöveges információ egyszerre való feldolgozásának — kérdése, valamint szó esik a modellek nyílt hozzáféréséről, az egyéni fejlesztők új hullámáról a Hugging Face közösségi platformon.
A videó reflektál arra is, hogy az új generációs AI modellek miként képesek kritikusan, alaposan vagy éppen gyorsan alkalmazkodni különböző nehézségű feladatokhoz, valamint hogyan tudnak ellentmondani, ha szükséges — felvetve a gondolkodó, nem csupán követő mesterséges intelligencia lehetőségét.
