Computerwetenschappers zijn gericht op het toevoegen van verbeterde functionaliteit om de "realiteit" in virtual reality (VR)-omgevingen zeer geloofwaardig te maken. Een belangrijk aspect van VR is om sociale interacties op afstand mogelijk te maken en de mogelijkheid om het meeslepender te maken dan alle eerdere telecommunicatiemedia. Onderzoekers van Facebook Reality Labs (FRL) hebben een revolutionair systeem ontwikkeld, Codec Avatars genaamd, dat VR-gebruikers de mogelijkheid geeft om met anderen te communiceren terwijl ze zichzelf vertegenwoordigen met levensechte avatars die nauwkeurig in realtime worden geanimeerd. De onderzoekers willen bouwen aan de toekomst van verbinding binnen virtual reality, en eventueel, augmented reality door gebruikers in de VR-wereld de meest sociaal betrokken ervaring te bieden.

Daten, zeer fotorealistische avatars die in realtime worden weergegeven, zijn bereikt en vaak gebruikt in computeranimatie, waarbij acteurs zijn uitgerust met sensoren die optimaal zijn geplaatst om geometrische details van hun gezichten en gezichtsuitdrukkingen computationeel vast te leggen. Deze sensortechnologie, echter, is niet compatibel met bestaande VR-headsetontwerpen of platforms, en typische VR-headsets blokkeren verschillende delen van het gezicht, zodat volledige gezichtsopnametechnologie moeilijk is. Daarom, deze systemen zijn meer geschikt voor optredens in één richting dan voor interacties in twee richtingen waarbij twee of meer mensen allemaal VR-headsets dragen.

"Ons werk toont aan dat het mogelijk is om fotorealistische avatars nauwkeurig te animeren van camera's die dicht op een VR-headset zijn gemonteerd, " zegt hoofdauteur Shih-En Wei, onderzoekswetenschapper bij Facebook. Wei en medewerkers hebben een headset geconfigureerd met minimale sensoren voor gezichtsopname, en hun systeem maakt tweerichtingsverkeer mogelijk, authentieke sociale interactie in VR.

Wei en zijn collega's van Facebook zullen hun VR realtime gezichtsanimatiesysteem demonstreren op SIGGRAPH 2019, gehouden van 28 juli - 1 augustus in Los Angeles. Deze jaarlijkse bijeenkomst toont 's werelds toonaangevende professionals, academici, en creatieve geesten in de voorhoede van computergraphics en interactieve technieken.

In dit werk, de onderzoekers presenteren een systeem dat avatar-hoofden kan animeren met zeer gedetailleerde persoonlijke gelijkenis door de real-time gezichtsuitdrukkingen van gebruikers nauwkeurig te volgen met behulp van een minimale set van op een headset gemonteerde camera's (HMC). Ze pakken twee belangrijke uitdagingen aan:moeilijke camerabeelden op de HMC en de grote verschillen in uiterlijk tussen beelden die zijn vastgelegd met de headsetcamera's en weergaven van de levensechte avatar van de persoon.

Het team ontwikkelde een prototype van een "trainings"-headset, die niet alleen camera's op de reguliere tracking-headset heeft voor realtime animatie, maar is bovendien uitgerust met camera's op meer accommoderende posities voor ideale gezichtsvolging. De onderzoekers presenteren een kunstmatige-intelligentietechniek op basis van Generative Adversarial Networks (GAN's) die consistente multi-view-beeldstijlvertaling uitvoert om HMC-infraroodbeelden automatisch om te zetten in afbeeldingen die eruitzien als een gerenderde avatar maar met dezelfde gezichtsuitdrukking van de persoon.

"Door deze geconverteerde afbeeldingen te vergelijken met elke pixel - niet alleen dunne gelaatstrekken - en de weergaven van de 3D-avatar, " merkt Wei op, "We kunnen nauwkeurig in kaart brengen tussen de afbeeldingen van de tracking-headset en de status van de 3D-avatar door middel van differentieerbare weergave. Nadat de toewijzing is vastgesteld, we trainen een neuraal netwerk om gezichtsparameters in realtime te voorspellen op basis van een minimale set camerabeelden."

Ze demonstreerden in dit werk verschillende voorbeelden, en konden laten zien dat hun methode afbeeldingen van hoge kwaliteit kan vinden, zelfs voor subtiele gezichtsuitdrukkingen op het bovenste gezicht - een gebied dat erg moeilijk vast te leggen is - waar de camerahoek van de headset scheef is en te dicht bij het onderwerp. De onderzoekers laten ook extreem gedetailleerde gezichtsopnames zien, inclusief subtiele verschillen in tongen, tanden, en ogen, waar de avatar geen gedetailleerde geometrie heeft.

Naast het animeren van de avatars in VR, het FRL-team bouwt ook systemen waarmee mensen op een dag snel en eenvoudig hun avatars kunnen maken van slechts een paar afbeeldingen of video's. Terwijl de huidige codec-avatars automatisch worden gemaakt, het proces vereist een groot systeem van camera's en microfoons om het individu vast te leggen. FRL heeft ook als doel om volledige lichamen te creëren en te animeren voor het uiten van meer complete sociale signalen. Hoewel deze technologie nog jaren verwijderd is van het bereiken van consumentenheadsets, de onderzoeksgroep werkt al aan mogelijke oplossingen om avatargegevens veilig te houden en ervoor te zorgen dat avatars alleen toegankelijk zijn voor de mensen die zij vertegenwoordigen.