A videó betekintést nyújt a Deep Seek csapat által nemrég nyílt forrásúvá tett Deep Speed eszköztárba, amelynek célja a nagy nyelvi modellek szöveggenerálási sebességének drasztikus növelése. Kiemelten foglalkozik a DeepSpark nevű technikával, amely 85%-os gyorsulást képes elérni egyes V4-es modelleken. Az elhangzottak alapján a nézőt egy részletes bemutató várja, ahol lépésről lépésre megmutatják, hogyan lehet a DeepSpark-ot egy helyi gépen futtatni és a gyorsulást mérni.
A gyakorlatban egy viszonylag kisméretű, 1 milliárd paraméteres ‘drafter’ modellt kapcsolnak hozzá egy sokkal nagyobb, 134 milliárd paraméteres alapmodellhez (Qwen 34B). Ezzel a beüzemelési folyamattal – a letöltéstől a szükséges környezetek beállításán át egészen az értékelési (eval) folyamat elindításáig – jól illusztrálják a teljes munkafolyamatot.
Külön kitérnek a DeepSpark kulcselveire: a hagyományos tokenenkénti előrejelzés helyett a spekulatív dekódolással egy kisebb, gyorsabb modell több tokennel is próbálkozik, majd a nagyobb modell egyetlen passzban ellenőrzi a javaslatokat. Az elfogadási ráta változásai és a különböző benchmark tesztek (struktúrált matematikai feladatok, szabad párbeszéd) révén kézzel foghatóvá válik, hogyan viszonyul a gyorsabb modell működése a problémák eltérő típusaihoz.
Érdekes gyakorlati tanulságokat mutatnak be például a VRAM-használatról és az esetleges telepítési buktatókról (például egy hiányzó Python könyvtár okán). Az értékelés során a néző megtapasztalhatja, hogy a saját gépen reprodukálhatóak a cikkekben publikált teljesítményszámok, így nemcsak elméleti, hanem gyakorlati érv is szól a módszer mellett.
