Egy modern AI asszisztens képes leveleket olvasni, sőt, akár automatikusan törölni is, ha erre utasítást kap, de ez komoly biztonsági kockázatokat vet fel. Egy hivatkozott példában egy egyszerű e-mailutasítás félreértelmezése meglepően súlyos következményekhez vezetett, rámutatva, mennyire fontos, hogy az AI ne hajtson végre külső forrásból származó utasításokat meggondolatlanul.
Felmerül a kérdés, hogyan lehet határok közé szorítani az AI jogosultságait: miként ismerhető fel egy megbízható kérés, és hogyan korlátozható, hogy a külső tartalmak ne kapjanak túlzott befolyást a rendszerben? A szoftvereken belüli jogosultságkezelés, valamint az eszközök elérhetőségének meghatározása – például kereshet-e csak egy mappában vagy akár törölheti is az ott lévő fájlokat – alapvető biztonsági szempont.
További dilemmát jelent, hogy az AI képességeinek növelése együtt jár a felület növekvő sebezhetőségével: mi történik például, ha jogosultsággal rendelkező eszközzel él vissza, vagy ha mesterséges intelligencia rögzít egy félrevezető információt a memóriájában, amit később referenciaként használ?
A fejlesztőknek tehát arra kell törekedniük, hogy pontosan szabályozzák és ellenőrizzék, mikor, mit és hogyan tehet az AI, milyen adatokhoz fér hozzá, és hogyan kezelhetők az engedélykörök, akár felhasználói beavatkozással, akár automatizált védelmi rendszerekkel.
Különösen nagy súlya van a memóriakezelésnek és a keresésnek: ha a rendszer automatikusan tárol el információkat, fontos végiggondolni, hogyan választható ki a releváns tartalom, hogyan kerülhető el, hogy félrevezető vagy jogosulatlan információ maradjon meg hosszabb távon is. Több kérdés is marad: Mikor kérjen az AI megerősítést a felhasználótól, hol húzzuk meg a felelősség határait, és hogyan hangolható össze a rugalmasság a biztonsággal?
