Az MIT legújabb kutatása egy olyan mesterséges intelligenciarendszert mutat be, amely képes saját magát átírni és javítani, hogy hatékonyabban teljesítsen bizonyos feladatokat. Ebben a keretben a nyelvi modellek saját edzési adataikat generálják, majd önállóan szerkesztik és frissítik súlyukat, amikor új információkhoz jutnak.
A tanulmány egyik szerzője kiemeli, hogy a technika nem csupán önmagában érdekes, hanem jelentős gyakorlati lehetőségeket is rejt az adattisztításban és az előzetes tréningadatok kiválogatásában. Felmerül annak lehetősége, hogy a jövőben akár tanár-diák modelleket alkalmazzanak, amelyek egymás tréningfolyamatait optimalizálják.
A videó rámutat arra, hogy a jelenlegi nagy nyelvi modellek (LLM-ek) túlnyomórészt statikusak; nem képesek menet közben alkalmazkodni vagy tanulni új feladatokból. Az új megközelítés lényege, hogy az LLM saját jegyzetei és önszerkesztései révén képes valódi, tartós tanulást produkálni, egyfajta belső „agyfejlesztést” végrehajtva.
Érdekes párhuzam vonható az emberi tanuláshoz is: ahogyan a diákok jegyzeteket írnak és azokat tanulmányozzák, hogy jobban felkészüljenek vizsgákra, úgy ezek az algoritmusok is „tanulnak” saját maguktól. Ez a módszer úgy tűnik, hatékonyabb lehet, mintha egy másik gépi modell által generált mesterséges adatokat használnának fel a tanuláshoz.
Felvetődik a kérdés, hogyan tudják ezek a modellek hosszabb távú feladatok során is megőrizni és kamatoztatni az újonnan szerzett tudást, szemben a hagyományos, inkább statikus rendszerekkel. Továbbá szó esik olyan elképzelt jövőbeli alkalmazásokról, ahol autonóm AI ügynökök képesek lesznek önállóan, hosszú időn keresztül fejlődni és alkalmazkodni anélkül, hogy minden egyes lépésnél emberi felügyeletre lenne szükségük.
