Gyors fejlődés tapasztalható a mesterséges intelligencián alapuló videószerkesztés területén, ahol egy új modell, a Lumen lehetővé teszi a videók háttércseréjét és fényviszonyainak valósághű átalakítását. Ez a megoldás teljesen ingyenesen és helyileg futtatható, így nincs szükség felhőalapú szolgáltatások igénybevételére. Az eredeti videó feltöltése után a felhasználó a háttér módosítását akár szöveges leírással is meghatározhatja.
Érdekessége, hogy a mesterséges intelligencia valódi és szintetikus, 3D motorral generált videókból tanul, diffúziós alapú generatív modellként működik, és külön adapterekkel igyekszik szétválasztani a fényhatásokat a vizuális stíluselemektől. A textúrák és színek megőrzésére törekszik, valamint időbeli konzisztenciát ígér a videó képkockái között.
Telepítése néhány lépésből áll: szükség van például egy Nvidia GPU-ra és megfelelő szoftverkörnyezetre; a demonstrációban Ubuntu rendszeren mutatják be a folyamatot. Az eszköz grafikus felületén keresztül akár saját maszkolás vagy előre megadott feliratok segítségével is lehet változtatni a jeleneteken, amelyek lehetnek nappali, beltéri vagy szabadtéri fényhelyzetek.
Az installáció során figyelmet kapnak a modell hátterét adó architektúrák, többek között a pan 2.1 fun modell és kapcsolódó technológiai részletek. Szó esik a VRAM fogyasztásról, tesztelésről többféle videóval, továbbá a fényhatások és háttércsere lehetséges korlátairól is. A próbák felvetik azt a kérdést, hogyan tudná a modell még pontosabban csak a fényviszonyok javítására koncentrálni anélkül, hogy túlzott mértékű vizuális módosításokat végezne a szereplőkön vagy a jeleneteken.
