Az AutoGLM Phone 9B egy nyílt forráskódú, mesterséges intelligenciára alapozott mobilügynök, amely Android telefonok automatizálását teszi lehetővé természetes nyelvű utasításokon keresztül. A rendszer képes arra, hogy a felhasználó által megadott parancsokat lefordítsa olyan cselekvésekre, amelyek az adott alkalmazásokban hajthatók végre, például alkalmazások megnyitása, tartalom keresése vagy több lépésből álló folyamatok végrehajtása.
A bemutatóban a telepítési folyamatot követhetjük végig az Ubuntu rendszeren, kiemelve, hogy közel 20 GB VRAM szükséges a modellt használó alkalmazás fejlesztéséhez. Az AutoGLM Phone 9B különlegessége, hogy az ADB-n (Android debug bridge) keresztül is képes kommunikálni a készülékkel, továbbá támogatja a távoli, például Wi-Fi-n keresztüli vezérlést is.
A videó hangsúlyozza a modell architektúrájának újszerűségét: a láncolt gondolatmenetet használó érvelés, valamint a megerősítéses tanulás kombinációjával képes felismerni bonyolult UI-elemeket, és azokhoz pontos utasításokat generálni – akár képernyőképből vagy éppen konkrét koordináta-adatokat szolgáltatva.
A néző betekintést nyer különböző példákon keresztül abba, hogyan ismeri fel a modell az alkalmazás elemeit (például egy Gmail ikont a kezdőképernyőn) és hogyan készít pontos, cselekvésre alkalmas utasításokat. Kitér továbbá arra is, hogy milyen beépített biztonsági funkciók teszik megbízhatóvá a modellt: például a humán megerősítést igénylő műveletek vagy érzékeny adatok kezelése.
