Képzeld el, hogy több különböző kamerával, például Meta Ray-Band szemüveggel, iPhone-nal vagy GoPro-val felvett 2D videók egyetlen, tetszőleges szögből visszajátszható 4D rekonstrukcióvá állíthatók össze. Ez lehetővé teszi, hogy minden találat vagy mellétalálat automatikusan felismerhető és kategorizálható legyen, sőt a célpontokat akár falakon keresztül is láthatjuk.
A folyamat egyszerű képpontokra támaszkodik – nincs szükség komplex mélységadatokra vagy szenzorokra, így a gyakorlati használat könnyen megvalósítható. Ráadásul a rendszer automatikusan szinkronizálja az eltérő nézőpontokból készült klipeket, majd mesterséges intelligencia segítségével képes értelmezni, rekonstruálni és osztályozni a jeleneteket.
Az alkotó részletesen bemutatja, hogyan lehet a jeleneteket precízen követni, a lövéseket nyomon követni, és mindezt valós időben böngészőben vizualizálni. Külön figyelmet fordít a 3D térben való rögzítésre, a felvételek összehangolására és a technikai kihívásokra, miközben érdekes kérdéseket vet fel az ilyen típusú rekonstrukciók lehetséges felhasználásairól és jövőbeli fejlesztéseiről.
Felmerül az is, hogyan képes az AI javítani saját pontosságát emberi visszacsatolás segítségével, illetve milyen új élményeket és gyakorlati előnyöket adhat, ha akár több ember által készített videókból is automatikusan létrehozhatunk részletes, interaktív 4D jeleneteket.
