Sokan találkozhatnak azzal a helyzettel, hogy hetente többször is új mesterségesintelligencia-modell jelenik meg, amelyekhez azonnal százával készülnek az azonos felépítésű oktatóvideók. Ezek gyakran sablonos projekteket, például weboldalkészítést vagy 3D játékfejlesztést mutatnak be, amelyek nem mindenki számára relevánsak. Felmerül a kérdés, van-e jobb mód annak eldöntésére, hogy egy vadonatúj modell valóban hasznos-e a saját munkafolyamatainkhoz.
A videó azt a problémát járja körül, hogy a sztenderd benchmarkok és tesztek ritkán fedik le pontosan azokat a feladatokat, amelyek egy-egy munkakörben előfordulnak. Példaként említi az ügyféllevelek, prezentációk, repo auditok vagy lead listák feldolgozását – ezek sokkal inkább valós életbeli, gyakorlati tesztek, mint a szokásos webfejlesztéses vagy matematikai megmérettetések.
Különféle módszereket mutat arra, hogyan lehet saját magunk számára releváns benchmarkokat létrehozni: például az összes korábbi feladatunkat átvizsgálva AI segítségével kiemelhetjük a leggyakoribb tevékenységeket, majd ezek alapján szabhatjuk személyre a teszteket új modellek kipróbálásához. Így pontosan azt vizsgálhatjuk, ami a mindennapi munkánk során számít.
A videó kitér arra is, hogyan segíthet, ha saját rubrikát, értékelési szempontsort alkotunk, amelyet személyesen fontosnak tartunk – legyen az a válaszminőség, az utasítások követése, a tokenhatékonyság vagy a válaszidő. Ilyen módon bármely frissen megjelent modell összehasonlítható az előzőekkel vagy más alternatívákkal, saját igényeinkhez igazítva a vizsgálatot.
Felvetődik az is, mennyire megbízható, ha az AI önmagát értékeli, ezért érdemes kézzel kialakított mércét alkalmazni. Ezekkel a lépésekkel gyorsan és hitelesen dönthetünk arról, hogy érdemes-e váltani valamelyik új modellre, vagy maradhatunk a bevált megoldásoknál.
