Az új MiniCPM-OCR 1.0 modellt tesztelik, amelyet helyben futtatva többféle dokumentumtípussal és kihívással állítanak szembe. Először fizikaképletekből álló, kusza, kézírásos oldalt próbálnak meg értelmes LaTeX kódba átalakítani, kiemelve a modell képességeit és néhány szimbolikus tévedését is.
A következő lépésben grafikonokat és táblázatokat vizsgálnak, például egy félvezető-exportot leíró diagram átiratát nézik meg táblázatos formában. Itt felszínre kerülnek a modell pontatlanságai a mennyiségi értékek értelmezésében és átvitelében.
Régi újságcímlapok, gyenge minőségű, sárgult papíron és összezsugorodott hasábokkal is bekerülnek a tesztek közé, amelyek során a szöveg felismerése erős, de előfordul, hogy a szövegsorrend felcserélődik, illetve az oszlopok összekeverednek.
További próbák során hatékonysági és sebességi összevetéseket mutatnak be más hasonló, nyílt forráskódú OCR megoldásokkal szemben. Ezenkívül számlákat, többnyelvű iratokat és akár kínai nyelvű szerződéseket is feldolgozásra adnak, hogy kiderítsék, milyen mértékben képes a rendszer megbirkózni speciális karakterekkel vagy bonyolult elrendezésekkel. Ezekben az eredmények vegyes képet mutatnak: az angol és kínai szöveg jól sikerül, de a kevésbé elterjedt írásrendszerek, illetve a kézzel írt szövegek még problémásak lehetnek.
Kérdések merülnek fel a layout pontos megőrzése, komplex dokumentumok kezelése és többnyelvűség kapcsán, miközben a videó érdeklődők számára összehasonlításokat vagy további teszteket is felvázol a jövőben.
