Ebben az izgalmas projektben egy régi LCD Steam Deck átalakul egy teljesen helyben működő mesterséges intelligencia ügynökké. Nem szükséges hozzá felhőszolgáltatás, minden AI feladatot helyben végez el a készülék, amelynek egyedi kihívásai és korlátai vannak, például a memória mérete és a hardver teljesítménye.
A rendszer többféle mesterséges intelligencia modellel működtethető, akár hangalapú vezérléssel és vizuális inputtal is kiegészíthető. Kipróbálás során különböző modelleket tesztelnek, például egy 4 milliárd paraméteres GPT-alapú modellt, és még a Jimma 34B modellt is bevetik, hogy megtalálják a legjobb teljesítményt.
Felmerül a kérdés, hogyan lehet a Steam Decket interaktívabbá tenni; ennek egyik módja egy animált „arc” megjelenítése, amelyet tetszés szerint személyre szabhatunk. A projekt inspirációját többek között egy helyi AI chatbot, a Beimo adja, amely egy Raspberry Pi-n futott egy 3D-nyomtatott házban.
Hogyan lehetne még hatékonyabbá, intuitívabbá tenni a vezérlést, például a wakeword-felismerést vagy a szájmozgások pontosabb animációját? Az alkotó kísérletezik Python-alapú megoldásokkal, sőt, felveti a játékenginek lehetséges használatát is a magasabb minőségű animációkhoz.
A bemutatóban több oldalról vizsgálják a Steam Deck adottságait, erősségeit és a szoftveres módosítások lehetőségeit. Közben szó esik arról is, milyen lenne egy Tamagotchi-szerű, beszélgetni képes alkalmazás, valamint a helyi netes keresés és hangszintézis integrációjáról.
