Új horizontokat nyit az MI-alapú képernyőolvasásban egy olyan modell, amely képes vizuális bemenet alapján pontos műveleteket végrehajtani a felhasználói felületeken. A Scale CUA egy vizuális nyelvi ügynök, amelyet kifejezetten grafikus felületek értelmezésére és akciók végrehajtására fejlesztettek ki.
A néző betekintést nyer a modell telepítésének folyamatába helyi környezetben, bemutatva a szükséges rendszerek előkészítését, a modellt magát, valamint a használathoz szükséges eszközöket és példascriptet. Különböző esettanulmányok szolgálnak arra, hogy láthatóvá váljon, hogyan képes az MI végrehajtani valódi műveleteket, mint például egy weboldalon szereplő elem pontos azonosítása és kattintása, illetve összetettebb, több lépéses UI feladatok kivitelezése.
Fókuszba kerül az MI vizuális és nyelvi összekapcsolásának kihívása: hogyan képes egy modell instrukciókat pixelekre leképezni, lépésről lépésre megtervezni a szükséges folyamatot, és alkalmazkodni különféle felületekhez (asztali, webes és mobil UI-khoz is). A videó felveti a kérdést, hogy hová vezethet mindez a jövőben automatizációban, szoftvertesztelésben, robotikában vagy akár saját fejlesztésű MI-alapú feladatsorokban.
