A mesterséges intelligencia modellek kiértékelése elengedhetetlen a megbízható alkalmazásukhoz, hiszen csak alapos tesztelési folyamatokkal derülhet ki, ténylegesen mennyire pontos vagy megbízható egy adott rendszer. A videó azt mutatja be, hogyan járul hozzá ehhez a folyamathoz a Grounded AI nevű, nyílt forráskódú eszköz.
Kiemelt figyelmet kapnak azok a technikák, amelyek biztosítják, hogy a nagy nyelvi modellek válaszai tényleg ellenőrizhető tényekre, forrásokra alapuljanak – így kerülhető el a modellek „hallucinációja”, azaz kitalált válaszok generálása. A bemutató részletesen kitér például a hivatkozások használatára, illetve különböző bíráló, úgynevezett judge modellek működésére is.
Az eszköz telepítése és beállítása után a videó különböző példákon keresztül szemlélteti, hogyan vizsgálható, mennyire „földhöz ragadtak”, azaz mennyire tényszerűek a modellek válaszai. Különböző kérdések, provokációk segítségével azt is teszteli, mikor és hogyan hibázhat egy LLM – akár azáltal, hogy teljesen valótlan információkat közöl.
Az elemzés során összehasonlításra kerül a helyben, saját gépen futtatott modell és más, felhőalapú alternatívák is. Ezen túl bemutatásra kerülnek a VRAM-használattal, valamint az értékelési metrikák és tesztelési keretrendszerek testreszabhatóságával kapcsolatos lehetőségek is.
A videó számos kérdést és témát vet fel: hogyan biztosítható hosszú távon az LLM alkalmazások megbízhatósága, milyen új tesztelési módszerek jelennek meg, mikre kell figyelni, ha saját adatokkal dolgozunk, és mik az előnyei egy teljesen nyílt, helyben futtatható tesztrendszernek a feketedoboz-alapú szolgáltatásokkal szemben?
