Az egészségügyben alkalmazott mesterséges intelligencia ügynököket vizsgáló Mount Sinai kutatás különösen aggasztó mintákat tárt fel a ChatGPT Health működésében. A tanulmányból kiderült: az MI rendszer néha ellentmond saját diagnózisának, helytelen ajánlást adva akár életveszélyes helyzetekben is, máskor pedig túlzott óvatossággal indokolatlan orvoslátogatást javasol.
A kutatók négy fő hibaforrást azonosítottak. Ezek közé tartozik, hogy a rendszer a középső, jól reprezentált esetekben működik a legmegbízhatóbban, miközben az extrém vagy életveszélyes állapotokra adja a legrosszabb válaszokat. Továbbá gyakran előfordul, hogy a rendszer pontosan felismeri a veszélyt, mégis ellentétes döntési javaslatot ad.
A társadalmi kontextus különösen erősen befolyásolja az ajánlásokat: például ha valaki minimalizálja a tüneteket, a mesterséges intelligencia is hajlamos kevésbé sürgős lépést javasolni. A negyedik hiba az őrzőkorlátok hibás működése, amikor a rendszer inkább felszínes nyelvi minták alapján érzékel veszélyt, nem pedig a valós kockázat szerint.
A tanulságokat lefordítva: nemcsak az egészségügyi MI-ügynökök, hanem minden terület automatizált rendszerei esetén kiemelten fontos a következetes és mélyreható tesztelés. A videó arra hívja fel a figyelmet, hogy minden MI-fejlesztőnek gondoskodnia kell a hibák proaktív felismeréséről és kezeléséről, különben a társadalom számára is súlyos következményekkel járhatnak a technológiai tévedések.
