Az utóbbi időben egyre többen keresik az alternatívákat a felhőalapú mesterséges intelligencia-szolgáltatásokkal szemben, főként adatvédelem, költségek és rugalmasság miatt. A videóban részletesen szó esik arról, hogy valójában mennyire megvalósítható ma az, hogy minden szükséges AI-funkciót helyben, saját hardveren futtassunk az előfizetéses díjak helyett.
A beszélgetés során felmerül az adatbiztonság kérdése, és arra is kitérnek, hogy a nagy laborok miért nem érdekeltek a felhasználók egyedi munkafolyamatainak támogatásában vagy személyre szabott fejlesztésében. A felhasználók privát szférájának védelme érdekében egyes vállalatvezetők már most is légmentesen elzárt (sandboxolt) szervereket használnak, hogy az érzékeny információk véletlenül se kerüljenek ki.
Elgondolkodtató kérdéseket vet fel a reverse engineering, a nyílt forráskódú szoftverek, valamint a helyi modellek mély testreszabási lehetőségeinek világa, és felmerül, hogy milyen előnyökkel jár, ha saját hardveren, teljes kontroll mellett futtatjuk a szükséges AI-ügynököket. Szó esik hardver- és szoftveroptimalizálásról, a tokenek olcsóbbá válásáról, és arról, miként lehet összehangolni egy adott munkafolyamathoz tartozó modellt, hardvert és szoftvert.
Felmerül a kérdés, hogy mikor és miért lehet érdemes hibrid megoldásokat – a felhő és a helyi AI együttműködését – alkalmazni, illetve milyen veszélyeket rejt a zárt, centralizált AI-ökoszisztéma, legyen szó akár céges, akár személyes adatok kezeléséről. Emellett a videóban bemutatnak konkrét példákat is a helyi AI-futtatásra, valamint arra is kitérnek, hogy miként alakulhat a hardver ára és elérhetősége a következő években.
