Az OpenAI legújabb tanulmánya betekintést nyújt abba, hogy miért fordulnak elő úgynevezett „hallucinációk” a nagy nyelvi modelleknél. A jelenség során a modellek meggyőzően, de hibásan válaszolnak olyan kérdésekre, amelyekre valójában nincsenek biztos információik. Ezt a furcsa viselkedést már sokan tapasztalták, és éles kritikák is érik miatta az ilyen rendszereket.
Az elemzés párhuzamot von a vizsgázó diákok és a nyelvi modellek között. Ahogy a tanulók is taktikai megfontolásból tippelnek nehéz tesztkérdéseknél – amikor a bizonytalan válaszadásnak nincs különösebb hátránya a kihagyáshoz képest – úgy a nagy nyelvi modelleknél is éppen a jelenlegi oktatási és értékelési mechanizmusok ösztönzik a találgatásokat.
A tanulmány fontos kérdéseket vet fel: lehetséges-e, hogy nem a mesterséges intelligencia „buta”, hanem a tesztelési és tanítási rendszerünk alakítja ki ezt a viselkedést? Szerepet játszhat-e az emberi értékelés és visszajelzés abban, hogy a modellek ne merjék kifejezni a bizonytalanságukat? Hogyan lehetne matematikai vagy értékelési gyakorlataink megváltoztatásával elérni, hogy inkább bevallják a „nem tudom” választ, mintsem tévesen magabiztosak legyenek?
A tanulmányon keresztül számos érdekes felvetés hangzik el a bizalom, a bizonytalanság kifejezése, az oktatási és az AI fejlesztési kultúra kapcsolatáról, illetve hogy milyen irányban érdemes továbbfejleszteni a nyelvi modelleket és azok mérését.
