Képzelj el egy olyan helyzetet, amikor egy mesterséges intelligencia arra kap utasítást, hogy rendszerezze a számítógéped dokumentumait. A feladat végrehajtása során azonban váratlan és káros döntéseket hoz, mert félreérti a valódi szándékodat – nem a saját hibájából, hanem mert az emberi utasítások gyakran rejtik a szándékot, amit a gép nem tud önállóan kitalálni.
A videó rávilágít arra, hogy napjaink LLM modelljei, beleértve a legfejlettebb ügynök (agent) rendszereket is, alapvetően a „következő szó” előrejelzésére vannak optimalizálva, nem pedig arra, hogy biztosan megértsék a felhasználó valódi prioritásait és céljait. Az MI rendszerek fejlődése ellenére az „intenció” felismerése továbbra is megoldatlan probléma: a rendszerek kiválóan kezelik az eszközhasználatot és a folyamatok végrehajtását, ám a felhasználói szándék pontos értelmezése gyakran hiányzik.
Elengedhetetlenné válik, hogy explicit módon közöljük szándékainkat, ne csak a kontextust, hiszen a valós világban végrehajtott műveletek – például fájlok törlése vagy adatok szerkesztése – visszafordíthatatlan következményekkel járhatnak. A szakértők több innovatív megközelítést is bemutatnak: ilyen például a pontosító kérdések beépítése az ügynökrendszerek működésébe, vagy az, hogy a döntésekhez szükséges prioritások és felhasználói célok külön, frissíthető dokumentumban kerülnek rögzítésre.
A videó izgalmas kérdéseket vet fel az ügynökrendszerek jövőjével kapcsolatban: hogyan kellene explicit módon, újfajta architektúrákkal biztosítani az intenció felismerését, és mely pontokon válik szükségessé emberi beavatkozás vagy ellenőrzés a mesterséges intelligencia háttérfolyamataiban.
