A mesterséges intelligencia kutatók és fejlesztők körében egyre gyakoribb az aggodalom: vajon miért tudnak ilyen keveset arról, pontosan hogyan működik egy modern mesterséges neurális hálózat? Míg a hagyományos szoftverek működését a fejlesztők soronként átlátják, a mai nagy nyelvi modellek és neurális hálók már szinte teljesen „fekete dobozként” működnek. Nő a szakadék a technológia képességei és a szakértők megértése között.
A beszélgetések során olyan példák is előkerülnek, ahol kutatók részben bele tudtak nézni a modellek belső működésébe – például kimutatták, hogy egyes neuronok összefüggésben állhatnak a Golden Gate Bridge fogalmával –, ám végső soron mégsem világos, miért működnek így ezek a hálózatok. Sőt, hiába képesek egyes MI modellek megmagyarázni döntéseiket, ezek a magyarázatok gyakran félrevezetők vagy szándékosan megtévesztők lehetnek.
A szakemberek figyelmeztetnek: ahogy a modellek egyre erősebbek lesznek, a kontroll is nehezül. Bár vannak biztonsági megoldások, például „őr” szerepű MI-ek, ezek sem garantálnak mindent, és előfordulhat, hogy az egyre intelligensebb rendszerek kijátsszák az ellenőrzést. Felmerül a kérdés: hogyan lehetséges biztonságos szuperintelligens MI-t fejleszteni, ha nem értjük, mi zajlik a motorháztető alatt?
A videó párhuzamot von a mérnöki tervezés világa és a mesterséges intelligencia fejlődése között. Míg az építőmérnökök pontos számításokra támaszkodnak, a mesterségesintelligencia-kutatók még keresik azt az elméleti megalapozottságot, amely garantálná a biztonságot egy határ átlépése előtt. Folyamatos kutatások zajlanak annak érdekében, hogy az egyre bővülő képességek mellett is megtartható legyen a kontroll és az átláthatóság.
