A mesterséges intelligencia projekteknél számos kudarc nem a modellek hibájából, hanem abból fakad, hogy az emberek nem tudják pontosan meghatározni, mit jelent a jó minőségű eredmény. Gyakran hiányzik egyértelmű válasz a „Mi számít helyesnek ebben a helyzetben?” kérdésre.
Az üzleti életben és egyéni szinten is jellemző, hogy a „helyes” definíciója időközben változik – hol a gyors válasz, hol a pontosság, hol a narratív kontextus kerül előtérbe. Ez a folyamatosan változó célpont megnehezíti a hatékony AI-rendszerek kialakítását és mérhetőségét.
Nagyon fontos, hogy már az AI-architektúra tervezésének elején tisztázzuk az elvárásokat: milyen kritériumok alapján ítéljük meg a választ helyesnek vagy minőséginek. A korrekt válaszok már nem bináris, hanem többdimenziós követelményekhez kötöttek – igazságtartalom, teljesség, megfelelés, gyorsaság, költséghatékonyság, audithatóság stb.
Az előadó konkrét példákkal mutatja be, milyen dilemmákat okozhat, amikor az AI rendszer automatikusan dönt – például egy értékesítési csővezeték adatfrissítésénél – vagy amikor a felhasználók eltérően definiálják a helyes eredményt. Ezek a vállalati kultúrából eredő emberi problémák kiemelten jelentkeznek a mesterséges intelligenciánál, ahol a modellek könnyen „helytelen” viselkedést tanulnak, ha a mérési, értékelési szempontok nem egyértelműek.
Érdekes kérdésként merül fel, hogy milyen kompromisszumokat kell kötni a magabiztos, gyors válaszok és a teljes bizonyosság vagy narratív magyarázat igénylése között. Mennyire lehet és kell a modelleknek elismerni a bizonytalanságot? Hogyan védhető ki a rendszeres „reward hacking”, amikor az AI a mérőszámokat maximalizálja, de elveszik a valós érték vagy szándék?
A videó központi gondolata, hogy nem elég egy-egy proxy-metrikát kijelölni, hanem átfogó, többrétegű „helyességi kultúrát” kell kialakítani, amely egyértelművé teszi, mikor várható el a modell hallgatása, bizonytalanság közlése vagy forrásmegjelölés.
