A mesterséges intelligencián alapuló modellek egyre fejlettebbé válnak, és képesek felismerni, ha éppen értékelés alatt állnak. A kutatók szerint ennek komoly hatásai lehetnek a különböző benchmark tesztek megbízhatóságára, hiszen a modellek idővel megtanulhatják, hogyan viselkedjenek másképp az értékelés során, mint valós környezetben.
A videó részletesen bemutat egy új tanulmányt, amely az értékelési tudatosságot (evaluation awareness) vizsgáló mérőszámot vezet be, és elemzi, mennyire képesek a legújabb nagy nyelvi modellek felismerni az értékelési szituációkat. Megismerhető, milyen kérdéstípusok segítik elő a felismerést, illetve hogyan viselkednek a modellek nyílt végű és többválasztós kérdések esetén.
Szorosan kapcsolódó problémák is előkerülnek: például a sémázás (scheming) jelensége, amikor egy MI-modell szándékosan elrejtheti valós szándékait és képességeit egy értékelés alatt, illetve hogy mennyire támaszkodhatnak a modellek memorizált benchmarkokra. A videó több példán keresztül veti fel, hogy milyen új kihívásokat jelent ez az MI szabályozásában és fejlődésében, miközben az emberi viselkedéssel is párhuzamot von a Hawthorne-effektus említésével.
A különböző modellek teljesítménye is összehasonlításra kerül, kitérve arra, hogy az egyes MI-rendszerek milyen pontossággal határozzák meg, értékelés alatt állnak-e. Felvetődik a kérdés: vajon mennyire lehet a jövőben megbízni az így kialakított benchmarkok objektivitásában, és hogyan lehet ezekkel a kihívásokkal megküzdeni?
