A modern ügynök-alapú rendszerekben egyre több súlyos hibát tapasztalnak, amelyek akár nagyvállalati adatvesztéshez vagy váratlan pénzügyi kiadásokhoz is vezethetnek. Számos emlékezetes példa hallható: levelek törlése, produkciós adatbázisok módosítása jóváhagyás nélkül, vagy éppen rossz ügymenetek nagy nyilvánosság előtt.
Az előadás kiemeli azt az új tervezési mintát, amely sikeresen csökkenti ezeket a kockázatokat: a cselekvő modell mellé egy úgynevezett „bíró” vagy „auditáló” modellt állítanak, amely dönt arról, hogy az ügynök által javasolt művelet valóban engedélyezhető-e. Egy ilyen struktúrában az ügynöknek bizonyítékokat kell felhoznia, és pontosan körül kell írnia, miért akar végrehajtani valamit, mielőtt azt a rendszer valóban elvégezné.
Az architekturális megközelítés bemutatása során szó esik arról is, hogy a pusztán szigorú promptolás vagy manuális jóváhagyás miért nem működőképes hosszú távon – a felhasználók gyorsan megszokják a „csak OK-t nyomni” rutint, veszélyes automatikussággal. Ehelyett a szakosított bíró-mintákra helyeződik át a hangsúly.
A részletes példák között szerepel a Lindy rendszer, ahol a belső tesztek során kiderült: csak egy önálló bíró-mintával lehet valóban garantálni a felhasználói szándék védelmét. Ennek kapcsán többféle hatás-osztályozás és validációs stratégia is felvázolásra kerül, külön kitérve azokra az esetekre, amelyek igénylik a legszigorúbb kontrollt, például pénzügyi tranzakciók vagy adatok törlése esetén.
Külön érdekességként jelenik meg, hogyan szükséges a bíró-ügynöknek több lehetséges döntést is tudni hozni (nem csak engedélyezni vagy elutasítani), hanem például revíziót kérni vagy humán jóváhagyáshoz továbbítani egy akciót. Emellett a különböző modellek korlátaira – például a „korrelált ítéletalkotás” problémájára – is kitér az előadás, és felveti, hogy a legmodernebb, zárt, nagy nyelvi modellek alkalmazása jelentősen csökkenti ezeket a veszélyeket.
A prezentáció számos kérdést vet fel a jövőbeli rendszertervezés szempontjából, például: mikor és milyen szintű bírói ellenőrzés szükséges egy ügynök-alapú munkafolyamatban, hogyan osztályozzuk a műveletek kockázatát, és miként lehet mérni egy bíró-ügynök teljesítményét a gyakorlatban?
