Milyen kihívásokat rejt a mesterséges intelligencia rendszerek tesztelése, ha már nem egy egyszerű kalkulátor alkalmazásról van szó, hanem olyan modellekről, amelyek kreatívan vagy kiszámíthatatlanul válaszolnak? Ez a kérdés indítja el a videót, amely gyors és érthető betekintést kínál az úgynevezett AI értékelések (evals) legfontosabb típusaihoz.
Az előadó egy klasszikus szoftvertesztelési példán keresztül mutatja be, hogy a hagyományos tesztek – ahol mindig ugyanaz az input azonos outputot ad – az AI rendszerek esetében jelentős problémákba ütközhetnek. Még az azonos kérdésre sem feltétlenül ugyanaz a válasz, emiatt a megszokott minőségbiztosítási (QA) módszerek csődöt mondhatnak.
Érdekes példák világítanak rá, hogyan kell rugalmasabbá tenni az értékelő rendszereket; bemutatásra kerülnek a merev (rigid) ellenőrzések buktatói, valamint az arra épülő rugalmasabb megközelítések. Az előadás arra is választ keres, miként lehet az AI választ helyesnek minősíteni akkor, ha többféle, de releváns válasz is elképzelhető.
Végül három alapvető AI-értékelési kategóriát ismertet: képesség, biztonság/safety és igazodás/alignment, valamint ezek gyakorlati példáit – például, értelmezi-e a szarkazmust, őszintén beismeri-e a modell a hiányosságait, vagy betartja-e a biztonsági irányelveket. A videó ezek mentén segít elhelyezni, hogyan lehet személyre szabni az értékelési stratégiákat a saját üzleti célokhoz igazodva.
