Bonyolult kérdéseket vet fel annak a lehetősége, hogy mesterséges intelligenciát teljesen helyben, saját gépen futtassunk, mindenféle külső felhőszolgáltatás nélkül. A felvezető előadásban megjelenik az adatvédelmi aggály, a költség- és függőségi problémakör, amikor minden ügynökrendszer a felhőn keresztül kommunikál, és ezzel külső szolgáltatókhoz köt minket.
Felmerül az az ötlet, hogy létezhet-e otthoni, közel frontier szintű mesterséges intelligencia egy, a felhasználó által birtokolt Mac Studio M3 Ultra gépen, amely az Apple legújabb hardveres fejlesztéseit használja ki. Külön érdekesség, hogy az Apple a videó forgatásával egyidőben, váratlanul, mindenféle értesítés nélkül eltávolította több nagy memóriás konfigurációját a weboldaláról, ami tovább növeli a témát övező rejtélyességet és a felvetett kérdéseket.
Gyakorlati lépések során bemutatjuk, hogyan lehet egy ilyen gépet teljesen helyi AI inference szerverré alakítani, részletesen ismertetve a telepítést és a konfigurációkat – vagyis lépésről lépésre mutatja be, mire kell figyelni, hogyan lehet például az Ollama-t, az LM Studio-t és az Apple MLX framework-öt használni ahhoz, hogy kimagasló sebességet és hatékonyságot érjünk el helyi AI modellek futtatásában.
A tesztelés során felmerül a kérdés: mire képesek a különféle helyben futó modellek (mint például a Qwen3.6-35B-A3B, a GPT-OSS 120B, a DeepSeek, a MiniMax M2, a Gemma 4), összehasonlítva a felhőalapú rendszerekkel. Érdekes kihívásként felvetődik a kérdés, vajon kiváltható-e teljesen a felhő- vagy frontier AI a mindennapi rutinmunkában egy ilyen, otthon üzemeltethető rendszerrel?
A videó számos, mindennapi gyakorlati példán keresztül mutatja be, hogyan lehet szövegszintézist, osztályozást, kódírást és kreatív feladatokat is helyben, saját AI-val ellátni, miközben részletesen tárgyalja az energiatakarékossági előnyöket és a helyi erőforrások optimális kihasználását is.
