Az offline, helyi nagy nyelvi modellek futtatása okostelefonon továbbra is jelentős kihívást jelent a fejlesztők és a felhasználók számára egyaránt. Napjainkban gyakran előfordul, hogy a kisebb modellek is összeomlanak működés közben, vagy komoly kompromisszumokat igényelnek a teljesítmény terén.
Az ismertetett Google AI Edge Gallery eszköz lehetőséget kínál arra, hogy Android készüléken vagy emulátoron helyben, internetkapcsolat nélkül próbáljunk ki különböző AI modelleket. Az applikáció több Google-modellt is támogat, például a Gemini-t, és komplex funkciókat tesz lehetővé, mint a többlépcsős chat, képanalízis, promptkísérletek, kódgenerálás és teljesítménymérés – mindezt lokálisan.
A felhasználók számára adott a lehetőség, hogy más Hugging Face modelleket is csatlakoztassanak, saját kvantált modelleket töltsenek fel, és valós időben követhessék a futtatás eredményeit. A telepítés részletesen bemutatásra kerül: asztali emulátoron és tényleges mobiltelefonon egyaránt elvégezhető az APK letöltésével és telepítésével, néhány beállítás módosításával.
A bemutató során szó esik a működés aktuális korlátairól, például a gyakori alkalmazás-összeomlásokról, a támogatott modellek szűkebb választékáról, valamint a jelenlegi teljesítménybeli hiányosságokról. Ugyanakkor felmerül, hogy a gyors fejlesztési ütem miatt előbb-utóbb javulás várható ezekben a területeken.
