A strukturált adatok PDF-ekből történő kinyerése számos kihívással jár, különösen, ha többoldalas vagy különböző nyelvű dokumentumokról van szó. Sokan találkoztak már azzal a problémával, hogy a hagyományos nyelvi modellek nem mindig felelnek meg pontosan a JSON séma elvárásainak; hiányzó mezőket, hibás adattípusokat adnak vissza, illetve gyakran még a formátum is hibás lehet.
A mai videóban az LLaVA modellt tesztelik, amely kifejezetten PDF-dokumentumok sémaalapú adatkinyerésére lett tervezve. A felhasználó megad egy PDF-et és az elvárt JSON sémát, a modell pedig ennek megfelelően adja vissza az eredményt. A modell nem generálhat tetszőleges struktúrát, így garantált a séma szerinti, helyes JSON kimenet, a hiányzó mezőknél pedig null értéket ad vissza.
A teszt során egy valósághű, rendetlenül szerkesztett számla PDF-et használnak, amelyben több blokk, táblázatsor, sőt üres mezők teszik próbára a modellt. A folyamat során kiderül, hogy – elméletileg – a modell képes a helyes mezőket kitölteni anélkül, hogy kitalált adatokkal töltené fel a hiányzó helyeket.
Külön érdekesség, hogy a videóban egy több nyelvű, háromoldalas főkönyvet is feldolgoznak: az egyes tételek más és más nyelven vannak felvezetve, eltérő számformátumokat, jobbról balra írt szkripteket, és nehezen felismerhető mezőket tartalmaznak. A modell teljesítményét az alapján is értékelik, hogy mennyire tudja egységes és helyes struktúrába rendezni az eltérő nyelvű inputot.
Felmerül néhány további kérdés is, például: mennyire bonyolult manuálisan előállítani a séma fájlt, hogyan lehetne ezt a folyamatot automatizálni, és vajon mennyire megbízható a kinyert adatszerkezet extrém nehézségi esetekben. Ezek az aspektusok mind előtérbe kerülnek a bemutatott példán keresztül, ahol a kísérlet célja, hogy felmérjék, mennyire versenyképes egy kis méretű, helyben futtatható modell a nagy felhőalapú rendszerekkel szemben.
