A
A

Csak YouTube-on nézhető meg

  • Angol
  • Magyar
  • 11 perc

Új perspektívák a 3D világok terén: a Marble áttörése

A Marble és a világmodellek új korszakot nyitnak a 3D világok generálásában, ahol már nemcsak nyelvi inputból, hanem képekből, videóból vagy vázlatokból is teljesen interaktív és szerkeszthető univerzumokat hozhatunk létre.

Hiánypótló áttörést jelent a világmodellek terén a Marble, a World Labs fejlesztése, amelyet már otthonról is kipróbálhatunk. Dr. Fei Lee csapatával azon dolgozik, hogy a mesterséges általános intelligencia kulcsát ne szövegalapú, hanem valósághű világmodellekben találjuk meg. Ezek a rendszerek ugyanis nem pusztán szavakat jósolnak, hanem egész 3D világokat képesek létrehozni, rekonstruálni és szimulálni, amelyekben emberek és robotok egyaránt szabadon mozoghatnak és tanulhatnak.

A Marble multimodális képességei révén szövegből, képekből, videóból vagy durva 3D vázlatokból is képes részletes, interaktív világokat generálni. Ezeket a környezeteket többféle formátumban exportálhatjuk, legyen az Gaussian splat, mesh vagy videó, és akár szerkeszthetjük is, így gyorsan kipróbálhatjuk, hogyan változik például egy szoba, ha átrendezzük a bútorokat vagy a dekorációt.

További érdekesség, hogy a fejlesztés során figyelembe vették, miként érzékeljük mi, emberek a világot: multimodális jeleket használunk, azaz ötvözzük a látást, hallást, tapintást és a nyelvet. A Marble ehhez hasonlóan kapcsolja össze a különböző bemeneteket, és reakcióképes, szerkeszthető 3D világokat hoz létre. Felvetődik tehát, hogy ezek a világmodellek miként segíthetik a robotok tanítását, a film- és játékgyártást, vagy akár a mindennapi tervezési feladatokat.

Szóba kerül az is, hogy a világmodellek hogyan különböznek a hagyományos 3D generáló szoftverektől: a Marble nem pusztán mesh-t készít, hanem egyedi reprezentációt alkalmaz, amely gyors és rugalmas szerkesztést tesz lehetővé. Emellett átfogóan bemutatják a platform közösségi és stúdió funkcióit, valamint a hiteles szponzori hátteret is, ami komoly felhőalapú GPU-erőforrásokat kínál a felhasználóknak.