Ondanks jaren van hype, virtual reality-headsets moeten tv- of computerschermen nog steeds omverwerpen als de apparaten voor het bekijken van video's. Eén reden:VR kan gebruikers ziek maken. Misselijkheid en vermoeide ogen kunnen het gevolg zijn omdat VR een illusie van 3D-kijken creëert, hoewel de gebruiker in feite naar een 2D-scherm met vaste afstand staart. De oplossing voor betere 3D-visualisatie zou kunnen liggen in een 60 jaar oude technologie die opnieuw is gemaakt voor de digitale wereld:hologrammen.

Hologrammen leveren een uitzonderlijke weergave van de 3D-wereld om ons heen. Plus, ze zijn mooi. (Ga je gang - bekijk de holografische duif op je Visa-kaart.) Hologrammen bieden een verschuivend perspectief op basis van de positie van de kijker, en ze stellen het oog in staat de scherptediepte aan te passen om afwisselend scherp te stellen op voorgrond en achtergrond.

Onderzoekers hebben lang geprobeerd computergegenereerde hologrammen te maken, maar het proces vereist traditioneel een supercomputer om door natuurkundige simulaties te karnen, wat tijdrovend is en minder-dan-fotorealistische resultaten kan opleveren. Nutsvoorzieningen, MIT-onderzoekers hebben een nieuwe manier ontwikkeld om vrijwel onmiddellijk hologrammen te produceren - en de op deep learning gebaseerde methode is zo efficiënt dat deze in een oogwenk op een laptop kan worden uitgevoerd, zeggen de onderzoekers.

"Vroeger dachten mensen dat met bestaande hardware van consumentenkwaliteit, het was onmogelijk om real-time 3D holografische berekeningen te doen, " zegt Liang Shi, de hoofdauteur van de studie en een Ph.D. student in MIT's Department of Electrical Engineering and Computer Science (EECS). "Er wordt vaak gezegd dat commercieel verkrijgbare holografische displays er over 10 jaar zullen zijn, maar deze verklaring bestaat al tientallen jaren."

Shi gelooft dat de nieuwe aanpak, die het team "tensorholografie, " zal dat ongrijpbare 10-jarige doel eindelijk binnen bereik brengen. De opmars kan een overloop van holografie in velden als VR en 3D-printen aanwakkeren.

Shi werkte aan de studie, gepubliceerd in Natuur , met zijn adviseur en co-auteur Wojciech Matusik. Andere co-auteurs zijn onder meer Beichen Li van EECS en het Computer Science and Artificial Intelligence Laboratory aan het MIT, evenals voormalige MIT-onderzoekers Changil Kim (nu bij Facebook) en Petr Kellnhofer (nu aan Stanford University).

De zoektocht naar beter 3D

Een typische op een lens gebaseerde foto codeert de helderheid van elke lichtgolf - een foto kan de kleuren van een scène natuurgetrouw reproduceren, maar het levert uiteindelijk een vlak beeld op.

In tegenstelling tot, een hologram codeert zowel de helderheid als de fase van elke lichtgolf. Die combinatie levert een getrouwere weergave van de parallax en diepte van een scène op. Dus, terwijl een foto van Monet's "Waterlelies" het kleurenpalet van de schilderijen kan benadrukken, een hologram kan het werk tot leven brengen, waardoor de unieke 3D-textuur van elke penseelstreek wordt weergegeven. Maar ondanks hun realisme, hologrammen zijn een uitdaging om te maken en te delen.

Voor het eerst ontwikkeld in het midden van de jaren 1900, vroege hologrammen werden optisch vastgelegd. Dat vereiste het splitsen van een laserstraal, met de helft van de bundel die wordt gebruikt om het onderwerp te verlichten en de andere helft als referentie voor de fase van de lichtgolven. Deze referentie genereert het unieke gevoel van diepte van een hologram. De resulterende beelden waren statisch, zodat ze geen beweging konden vastleggen. En ze waren alleen hardcopy, waardoor ze moeilijk te reproduceren en te delen zijn.

Door de computer gegenereerde holografie omzeilt deze uitdagingen door de optische opstelling te simuleren. Maar het proces kan een computationele slog zijn. "Omdat elk punt in de scène een andere diepte heeft, u kunt niet voor alle dezelfde bewerkingen toepassen, ", zegt Shi. "Dat verhoogt de complexiteit aanzienlijk." Het aansturen van een geclusterde supercomputer om deze op fysica gebaseerde simulaties uit te voeren, kan seconden of minuten duren voor een enkel holografisch beeld. bestaande algoritmen modelleren occlusie niet met fotorealistische precisie. Dus koos Shi's team voor een andere aanpak:de computer zichzelf natuurkunde laten leren.

Ze gebruikten deep learning om computergegenereerde holografie te versnellen, waardoor real-time hologramgeneratie mogelijk is. Het team ontwierp een convolutioneel neuraal netwerk - een verwerkingstechniek die een reeks trainbare tensoren gebruikt om ruwweg na te bootsen hoe mensen visuele informatie verwerken. Het trainen van een neuraal netwerk vereist doorgaans een groot, hoogwaardige dataset, die voorheen niet bestonden voor 3D-hologrammen.

Het team bouwde een aangepaste database van 4, 000 paar computergegenereerde afbeeldingen. Elk paar koppelde een afbeelding - inclusief kleur- en diepte-informatie voor elke pixel - aan het bijbehorende hologram. Om de hologrammen in de nieuwe database te maken, de onderzoekers gebruikten scènes met complexe en variabele vormen en kleuren, met de diepte van de pixels gelijkmatig verdeeld van de achtergrond naar de voorgrond, en met een nieuwe reeks op fysica gebaseerde berekeningen om occlusie aan te pakken. Die aanpak resulteerde in fotorealistische trainingsgegevens. Volgende, het algoritme ging aan de slag.

Door van elk beeldpaar te leren, het tensornetwerk paste de parameters van zijn eigen berekeningen aan, achtereenvolgens het verbeteren van zijn vermogen om hologrammen te creëren. Het volledig geoptimaliseerde netwerk werkte orden van grootte sneller dan op fysica gebaseerde berekeningen. Die efficiëntie verraste het team zelf.

"We zijn verbaasd over hoe goed het presteert, ", zegt Matusik. In slechts milliseconden, tensorholografie kan hologrammen maken van afbeeldingen met diepte-informatie - die wordt geleverd door typische computergegenereerde afbeeldingen en kan worden berekend vanaf een opstelling met meerdere camera's of LiDAR-sensor (beide zijn standaard op sommige nieuwe smartphones). Deze vooruitgang maakt de weg vrij voor realtime 3D-holografie. Bovendien, het compacte tensor-netwerk vereist minder dan 1 MB geheugen. "Het is verwaarloosbaar, gezien de tientallen en honderden gigabytes die beschikbaar zijn op de nieuwste mobiele telefoon, " hij zegt.

"Een flinke sprong"

Realtime 3D-holografie zou een hele reeks systemen verbeteren, van VR tot 3D-printen. Het team zegt dat het nieuwe systeem kan helpen om VR-kijkers onder te dompelen in meer realistische landschappen. terwijl vermoeide ogen en andere bijwerkingen van langdurig VR-gebruik worden geëlimineerd. De technologie zou gemakkelijk kunnen worden ingezet op displays die de fase van lichtgolven moduleren. Momenteel, de meest betaalbare displays van consumentenkwaliteit moduleren alleen de helderheid, hoewel de kosten van fasemodulerende schermen zouden dalen als ze op grote schaal zouden worden toegepast.

Driedimensionale holografie zou ook de ontwikkeling van volumetrisch 3D-printen kunnen stimuleren, zeggen de onderzoekers. Deze technologie zou sneller en nauwkeuriger kunnen blijken dan traditioneel laag-voor-laag 3D-printen, omdat volumetrisch 3D-printen de gelijktijdige projectie van het volledige 3D-patroon mogelijk maakt. Andere toepassingen zijn microscopie, visualisatie van medische gegevens, en het ontwerp van oppervlakken met unieke optische eigenschappen.

"Het is een aanzienlijke sprong die de houding van mensen ten opzichte van holografie volledig kan veranderen, " zegt Matusik. "We hebben het gevoel dat neurale netwerken voor deze taak zijn geboren."