Az alkotó bemutatja, miként alakította át az ESP32 mikrokontrollerét egy mesterséges intelligenciával és érzelmekkel rendelkező digitális háziállattá. A projekt egy arccal és hanggal rendelkező eszközt eredményez, amely képes látni, érzékelni és érzelmi reakciókat mutatni a felhasználó viselkedésére.
A rendszer egyik kulcseleme a Fish Audio Drama 3 modellje, amely lehetővé teszi a hang mesterséges, de életszerű előadását – legyen szó dühös, meghatott vagy viccelődő hanghordozásról. Az alkotó részletesen bemutatja, hogyan próbál ki különböző hangmintákat, végül kiválasztva a tökéletes karaktert.
A Tamagotchi-szerű figurát – amelyet Pipnek nevez el – különféle érzékelőkkel (kamera, gyroszkóp, érintőképernyő) szerelik fel. Pip a YouTube API-t használva képes valós időben tájékoztatni a tulajdonost csatornája statisztikáiról, miközben a kamerán keresztül figyeli és felméri a felhasználó hangulatát is.
A programozás során különféle API-kat kapcsolnak össze (Fish Audio, Claude, YouTube), így Pip személyes, mindig aktuális reakciókat tud adni. Izgalmas kérdés, milyen új funkciókkal bővíthető a jövőben ez az érzelmi mesterséges intelligencia háziállat.
