Andrej Karpathy, a mesterséges intelligencia egyik kiemelkedő alakja, lenyűgöző és kritikus gondolatokat oszt meg a mesterséges általános intelligencia (AGI) várható eléréséről és az intelligens ügynökök fejlődéséről. Véleménye szerint nem az „ügynökök éve”, hanem az „ügynökök évtizede” következik, mivel az igazán használható, értékes és átfogó AI-ügynökök tömeges elterjedéséhez rengeteg háttérmunka és fejlesztés szükséges, különösen az integráció, biztonság és a fizikai világgal való kapcsolódás területén.
A beszélgetés során érdekfeszítő kérdések merülnek fel arról, hogy az AI-modellek jelenlegi tudása mennyire épül puszta memorizálásra, illetve mennyire képesek valódi általánosításra. Karpathy rámutat, hogy az állatok evolúciója során veleszületett tudással születnek, míg a jelenlegi nagy nyelvi modellek tanulási folyamata inkább „szellemszerű”, előzetes adatok memorizálásán alapul. Kitér arra is, hogy a megerősítéses tanulás jelenlegi formájában kevésbé eredményes, ezért új tanulási módszerekre, például az ügynöki interakciókra, lesz szükség.
Vizsgálja továbbá a rendszer prompt alapú tanulását, amely a modellek személyiségét és viselkedését határozhatja meg akár egy előre definiált szöveggel, valamint a „kognitív mag” koncepcióját, vagyis a memorizálás helyett inkább általános problémamegoldó készségekre optimalizált, kisebb modellek fejlesztését.
Felmerül, hogy mennyire valósítható meg az igazi együttműködés ember és ügynök között, illetve hogyan lehet elkerülni, hogy a teljesen autonóm AI minőségi kontroll nélkül kódtömegeket generáljon. Emellett technológiai példák és párbeszédek, valamint érdekes AI-iparági kritikák is helyet kapnak a beszélgetésben.
