A bemutatott megoldás azt járja körül, hogyan lehet egy egyszerű, otthon is alkalmazható módszerrel villámgyors arcfelismerést elérni képeken vagy videókon. A hangsúly az adatvédelemre és a költséghatékonyságra összpontosul: minden helyben, ingyen és privát módon fut, nincs szükség külső API-hívásokra.
Részletesen bemutatásra kerül a Google által fejlesztett MediaPipe arcfelismerője, amely gépi tanulást alkalmaz, és képes nemcsak arcokat, hanem kiemelt arcvonásokat is automatikusan megtalálni különféle médiumokban. Megtudhatjuk, hogy milyen előnyökkel jár a MediaPipe használata, hogyan telepíthető gyorsan, és milyen hardvereken működik – a videóban egy Nvidia RTX 6000 GPU kártyán is demonstrálják, de processzorral is futtatható.
További érdekes téma, hogy a rendszer optimalizálása révén valós időben képes működni, akár mobil eszközökön is. Megismerkedhetünk azzal, hogyan működik az arcok és arcvonások detektálása, milyen modellt használnak (például BlazeFace short range), és ezek milyen korlátokkal rendelkeznek tömeges, illetve távolabbi arcok esetén. Felmerül a kérdés, hogyan használható nagyobb képeken, mi a különbség a különböző modellek között.
Bepillantást nyerünk abba is, hogy a MediaPipe milyen gráf-alapú architektúrával dolgozik, és hogyan kínál széleskörű funkciókat nemcsak arc-, hanem kéz-, test- vagy objektumfelismerésre, sőt, akár hang vagy szöveg alapú alkalmazásokban is. További alkalmazási példákat említ a videó: augmented reality, fitnesz alkalmazások, online interaktív megoldások, robotika, gesztusvezérlés.
Végül szó esik arról is, hogy a MediaPipe milyen lehetőségeket nyit meg összetettebb, AI-alapú alkalmazások fejlesztéséhez, főleg ha más neurális hálózatokkal, például vizuális nyelvi modellekkel kombináljuk – ezzel igazán kreatív és hatékony megoldásokat lehet összeállítani, akár teljesen új területeken.
