Google heeft een nieuwe meeslepende virtual reality-ervaring (VR) onthuld op basis van een nieuw systeem dat hoogwaardige, realistische beelden uit de echte wereld met behulp van lichtvelden. Gemaakt door een team van vooraanstaande onderzoekers bij Google, Welkom bij Light Fields is de plons van de technologiegigant in de ontluikende arena van VR-ervaringen met lichtvelden, een opwindende hoek van VR-videotechnologie die aan populariteit wint vanwege zijn belofte om beelden en ervaringen van extreem hoge kwaliteit in de virtuele wereld te leveren.

Google heeft eerder dit jaar Welcome to Light Fields uitgebracht als een gratis app op Steam VR voor HTC Vive, Oculus Rift, en Windows Mixed Reality-headsets. De makers zullen de VR-ervaring demonstreren op SIGGRAPH 2018, in het Immersive Paviljoen, een nieuwe ruimte voor de conferentie van dit jaar. Het paviljoen is exclusief gewijd aan virtuele, vergroot, en mixed reality en zal bevatten:de Vrcade, een ruimte voor VR, AR, en MR-games of ervaringen; het VR Theater, een verhalend extravaganza dat deel uitmaakt van het Computer Animation Festival; en het bekende dorp, voor de presentatie van grootschalige projecten. SIGGRAAF 2018, gehouden van 12-16 augustus in Vancouver, Brits Colombia, is een jaarlijkse bijeenkomst waar 's werelds toonaangevende professionals, academici, en creatieve geesten in de voorhoede van computergraphics en interactieve technieken.

Bestemmingen in Welcome to Light Fields zijn onder meer NASA's Space Shuttle Discovery, de kijkers het zicht van een astronaut in de cockpit geven, die nooit open is geweest voor het publiek; het ongerepte teak en mahonie interieur van het Gamble House, een architecturale schat in Pasadena, CA; en de glorieuze St. Stephen's Church in de heuvels van Granada, CA, de thuisbasis van een prachtige muur van meer dan 14, 000 stukjes glinsterend glas in lood.

"Ik vind het geweldig dat lichtvelden in VR je naar exotische plaatsen in de echte wereld kunnen teleporteren, en je echt laten geloven dat je er bent, " zegt Ryan Overbeck, software-engineer bij Google die het project mede leidde. "Naar mij, dit is magie."

Om deze ervaring tot leven te brengen, Overbeck werkte met een team met onder meer Paul Debevec, senior stafingenieur bij Google, die het project leidde en het hardwarestuk leidde met ingenieurs Xueming Yu, Jay Busch, en Graham Fyffe. Met Overbeck, Daniel Erickson en Daniel Evangelakos concentreerden zich op het software-einde. De onderzoekers ontwierpen een uitgebreid systeem voor het vastleggen en weergeven van hoogwaardige, sferische lichtveld stilstaande beelden van beelden die in de echte wereld zijn vastgelegd. Ze ontwikkelden twee gebruiksvriendelijke lichtveldcamera's, gebaseerd op de GoPro Hero4action sportcamera, die op efficiënte wijze duizenden afbeeldingen op het oppervlak van een bol vastleggen. Die beelden werden vervolgens door een op de cloud gebaseerde pijplijn voor lichtveldverwerking geleid.

Onder andere, legt Overbeck uit, "De verwerkingspijplijn gebruikt computervisie om de afbeeldingen in 3D te plaatsen en dieptekaarten te genereren, en we gebruiken een aangepaste versie van onze vp9-videocodec [videoformattering] om de lichtveldgegevens te comprimeren tot een hanteerbare grootte." Om een ​​lichtveldgegevensset weer te geven, hij merkt op, het team gebruikte een rendering-algoritme dat in realtime tussen de duizenden lichtveldbeelden mengt.

Het team vertrouwde op de getalenteerde pool van ingenieurs van Google op het gebied van computervisie, grafiek, video compressie, en machine learning om de unieke uitdagingen op het gebied van lichtveldtechnologie te overwinnen. Ze werkten ook nauw samen met het WebM-team (dat de vp9-videocodec maakt) om het hoogwaardige lichtveldcompressieformaat te ontwikkelen dat in hun systeem is opgenomen, en leunde zwaar op de expertise van het Jump VR-team om de afbeeldingen te helpen poseren en dieptekaarten te genereren. (Jump is het professionele VR-systeem van Google voor het realiseren van 3D-360-videoproductie op grote schaal.)

Inderdaad, met Welkom bij Lichtvelden, het Google-team demonstreert het potentieel en de belofte van VR-technologie voor lichtvelden, laat zien dat de technologie in staat is om een ​​werkelijk meeslepende ervaring te bieden met een ongeëvenaard realisme. Hoewel lichtveldtechnologie al meer dan 30 jaar wordt onderzocht en onderzocht in computergraphics, praktische systemen voor het daadwerkelijk leveren van hoogwaardige lichtveldervaringen was nog niet mogelijk.

Een deel van de motivatie van het team achter het creëren van deze VR-lichtveldervaring is om het ontluikende veld te stimuleren.

"Welcome to Light Fields bewijst dat het nu mogelijk is om een ​​boeiende lichtveld VR-viewer te maken die draait op hardware van consumentenkwaliteit. en we hopen dat deze kennis anderen zal aanmoedigen om betrokken te raken bij het bouwen van lichtveldtechnologie en media, ", zegt Overbeck. "We begrijpen dat om uiteindelijk overtuigende consumentenproducten te maken op basis van lichtvelden, we hebben een bloeiend lichtveldecosysteem nodig. We hebben open lichtveldcodecs nodig, we hebben kunstenaars nodig die prachtige lichtveldbeelden maken, en we hebben mensen nodig die VR gebruiken om met lichtvelden om te gaan."