Az utóbbi évek AI-kutatásának egyik legnagyobb kihívása az volt, hogy mennyire értjük, mi történik a neurális hálók „fekete dobozában”. Kiemelkedő eseményként a Goodfire nevű AI-labor egy esszét publikált, amely azt állítja, már most is tisztábban látunk a modelljeinkben, mint ahogy eddig hittük.
A klasszikus nézet többértelmű vagy „polymorfikus” neuronokra hivatkozott, amelyek egyszerre több, látszólag összefüggéstelen dolgot is detektálnak. A legismertebb példa egy olyan neuron volt, amely macskafejekre és autóorrokra is érzékeny volt. Az okot eddig a szuperpozíció elméletével magyarázták, de Nick Camarada újraértelmezte a régi adatokat, és egy közös alakzat (például V-alak) alapján adott magyarázatot ezeknek a neuronoknak.
A kutatók újabb modelleket is vizsgáltak, és megállapították, hogy a legtöbb neuron kiolvasható, de a „kacifántos csomó” helyett inkább egy jól szervezett városról érdemes beszélni. Felmerül azonban számos nyitott kérdés az interpretálhatósággal, az automatikus „tudós” AI-k szerepével kapcsolatban, és hogy valóban mindent megfejtettünk-e már.
A témát viták és ismert személyiségek reakciói kísérik, mint Eliezer Yudkowsky, aki szerint a valódi értelmezés messzebb van, mint azt a kutatók egy része gondolja. Emellett szó esik azokról a veszélyekről is, hogy a modellek akár megtanulhatják elrejteni a gondolataikat, ami újabb feladványokat jelent a tudósoknak. Az interpretálhatóság eredményeit, bizonytalanságait és a további kutatás irányvonalait sokféle szemszögből vizsgálja ez az összefoglaló.
