Ebben a videóban a Qwen 3.8 nyelvi modell legújabb, 27 milliárd paraméteres változatának bemutatását követhetjük végig, amelyet a Superlinked Inference Engine, azaz SIE rendszerben futtatnak helyi gépen, az első napon. Az előadó lépésről lépésre bemutatja a SIE telepítését Ubuntu alatt, kiemelve, mennyire egyszerűvé válik a modell futtatása saját hardveren.
Külön figyelmet kapnak a különböző optimalizált hardverprofilok: az RTX Pro 6000-hez igazított 256K konteszt, illetve a H100-as és H200-as adatközponti kártyákhoz fejlesztettek. Felvetődik a kérdés, hogyan képes ugyanaz a modell különböző konfigurációkban, optimalizált sebességgel futni, ezáltal kihozni a maximumot az elérhető hardverből.
Egy praktikus példával is találkozhatunk: a szerző egy HTML-oldalt generál, amelyen tíz kevésbé ismert ország tradicionális grillezett húsételeit mutatja be animált lángokkal. A gyorsaság, VRAM-kihasználtság, és a világ gasztronómiai tudásának felvillantása is hangsúlyt kap a demonstrációban.
Érdekes kérdések merülnek fel azzal kapcsolatban, hogy az önálló hardveres futtatás mennyire lehet hatékony, illetve mennyiben képes egy ilyen rendszer teljes mértékben kihasználni a modern GPU-kat, egyúttal mennyire egyszerű a felhasználói élmény – elég néhány parancs, hogy összetett, valós feladatokat bízzunk a mesterséges intelligenciára.
