Zelfs beginnende fotografen en videografen die op hun handheld-apparaat vertrouwen om foto's te maken of video's te maken, houden vaak rekening met de belichting van hun onderwerp. Verlichting is van cruciaal belang bij het maken van films, gamen, en virtual/augmented reality-omgevingen en kunnen de kwaliteit van een scène en de acteurs en artiesten daarin maken of breken. Het repliceren van realistische karakterverlichting is een moeilijke uitdaging gebleven in computergraphics en computervisie.

Hoewel er aanzienlijke vooruitgang is geboekt op het gebied van volumetrische afvangsystemen, gericht op 3D geometrische reconstructie met hoge resolutie texturen, zoals methoden om realistische vormen en texturen van het menselijk gezicht te bereiken, er is veel minder werk verzet om de fotometrische eigenschappen die nodig zijn voor het opnieuw belichten van tekens te herstellen. Resultaten van dergelijke systemen missen fijne details en de schaduw van het onderwerp is voorgebakken in de textuur.

Computerwetenschappers bij Google brengen een revolutie teweeg in dit gebied van volumetrische opnametechnologie met een nieuwe, uitgebreid systeem dat in staat is, Voor de eerste keer, om de volledige lichaamsreflectie van menselijke 3D-uitvoeringen vast te leggen, en voeg ze naadloos samen met de echte wereld via AR of in digitale scènes in films, spellen, en meer. Google presenteert hun nieuwe systeem, genaamd The Relightables, bij ACM SIGGRAPH Azië, gehouden van 17 tot 20 november in Brisbane, Australië. SIGGRAAF Azië, nu in zijn 12e jaar, trekt de meest gerespecteerde technische en creatieve mensen van over de hele wereld in computergraphics, animatie, interactiviteit, gamen, en opkomende technologieën.

Er zijn grote vorderingen gemaakt op dit gebied van werk dat de industrie 3D-opnamesystemen noemt. Door deze geavanceerde systemen, kijkers hebben kunnen ervaren hoe digitale personages tot leven komen op het grote scherm, bijvoorbeeld, in blockbusters zoals Avatar en de Avengers-serie en nog veel meer.

Inderdaad, de volumetrische capture-technologie heeft een hoog kwaliteitsniveau bereikt, maar veel van deze reconstructies missen nog steeds echt fotorealisme. Vooral, ondanks dat deze systemen high-end studio-opstellingen met groene schermen gebruiken, ze hebben nog steeds moeite om hoogfrequente details van mensen vast te leggen en ze herstellen alleen een vaste verlichtingsconditie. Dit maakt deze volumetrische opnamesystemen ongeschikt voor fotorealistische weergave van acteurs of artiesten in willekeurige scènes onder verschillende lichtomstandigheden.

Het Relightables-systeem van Google maakt het mogelijk om de verlichting van personages in realtime aan te passen of ze opnieuw te verlichten in een bepaalde scène of omgeving.

Ze demonstreren dit op onderwerpen die zijn opgenomen in een aangepaste geodetische bol uitgerust met 331 aangepaste kleuren LED-lampen (ook wel een Light Stage-opnamesysteem genoemd), een reeks camera's met hoge resolutie, en een set aangepaste dieptesensoren met hoge resolutie. Het Relightables-systeem legt ongeveer 65 GB per seconde aan onbewerkte gegevens van bijna 100 camera's vast en dankzij het rekenraamwerk kunnen de gegevens op deze schaal effectief worden verwerkt.

Hun systeem legt de reflectie-informatie van een persoon vast - de manier waarop verlichting in wisselwerking staat met de huid is een belangrijke factor in hoe realistische digitale mensen eruitzien. Eerdere pogingen gebruikten ofwel vlakke verlichting of vereiste computergegenereerde karakters. Ze zijn niet alleen in staat reflectie-informatie over een persoon vast te leggen, maar ze kunnen opnemen terwijl de persoon vrij binnen het volume beweegt. Als resultaat, ze kunnen hun animatie opnieuw aansteken in willekeurige omgevingen.

historisch, camera's nemen mensen op vanuit één gezichtspunt en lichtomstandigheden. Dit nieuwe systeem, let op de onderzoekers, stelt gebruikers in staat om iemand op te nemen en deze vervolgens vanuit elk gezichtspunt en lichtconditie te bekijken, het wegnemen van de noodzaak van een groen scherm om speciale effecten te creëren en zorgen voor meer flexibele lichtomstandigheden.

De interacties van de ruimte, licht, en schaduw tussen een artiest en zijn omgeving spelen een cruciale rol bij het creëren van een gevoel van aanwezigheid. Naast het 'knippen en plakken' van een 3D-video-opname, het systeem geeft de mogelijkheid om iemand op te nemen en deze vervolgens naadloos in nieuwe omgevingen te plaatsen - of het nu in hun eigen ruimte voor AR-ervaringen is - of in de wereld van een VR, film, of game-ervaring.

Bij SIGGRAPH Azië, Het Relightables-team zal de componenten van hun systeem presenteren, van vastleggen tot verwerking tot weergave, met videodemo's van elke fase. Ze leiden de aanwezigen door het reilen en zeilen van gebouw The Relightables, waarin ze de belangrijkste uitdagingen beschreven die ze tijdens het werk aangingen en een aantal coole applicaties en renderings demonstreerden.