Különféle eszközosztályokon keresztül mutatjuk be, hogyan lehet mesterséges intelligencia modelleket helyben futtatni. Az apró, beágyazott chipektől kezdve (mint az Arduino R4 Uno és az ESP32S3) egészen a hatalmas, professzionális GPU-kig vezetjük az olvasót.
Felmerülnek érdekes kérdések, például mennyiben korlátozza a RAM mennyisége egy adott eszközön, hogy milyen AI modelleket tudunk rajta futtatni, és hogyan változik a teljesítmény, ha mini számítógépeken (pl. Raspberry Pi, iPhone 16), klasszikus laptopokon vagy otthoni szervereken használjuk őket.
Praktikus példákat is láthatunk: milyen kreatív AI projekteket lehet készíteni pici mikrokontrollerekkel, hogyan futtathatók különböző nyelvi, beszédfelismerő, képfeldolgozó vagy generatív modellek bárhol, házilag. Felmerülnek olyan kérdések is, hogy az azonos mennyiségű RAM miért vezet eltérő teljesítményre különböző eszközök esetén, és mi az oka, hogy bizonyos gépekkel csak nagyon lassan, másokkal viszont rendkívül gyorsan lehet képeket vagy videót generálni.
Izgalmas hardveres analógiák és magyarázatok is segítik a megértést, például hogyan hasonlíthatók a CPU-k, GPU-k, NP-k egy étterem konyhájához, illetve milyen tényezők befolyásolják az AI modellek helyi futtatását különböző szinteken (kapacitás, sávszélesség, specializált hardveres elemek).
A videó támogatott szakaszában megjelenik egy külső szolgáltató is, amely segíthet azoknak, akik nyílt forráskódú modellekkel, felhőben vagy lokálisan szeretnének dolgozni, hardvermenedzsment vagy szerverüzemeltetés nélkül.
