Samen met vliegen en onzichtbaarheid, hoog op de lijst van de ambitieuze superkrachten van elk kind staat het vermogen om door of rond muren of andere visuele obstakels te kijken. Dat vermogen is nu een grote stap dichter bij de realiteit, aangezien wetenschappers van de Universiteit van Wisconsin-Madison en de Universidad de Zaragoza in Spanje, voortbouwend op de lessen van klassieke optica, hebben aangetoond dat het mogelijk is om complexe verborgen scènes af te beelden met behulp van een geprojecteerde "virtuele camera" om rond barrières te kijken.

De technologie wordt beschreven in een rapport van vandaag (5 aug. 2019) in het tijdschrift Natuur . Eenmaal geperfectioneerd, het kan worden gebruikt in een breed scala aan toepassingen, van defensie en rampenbestrijding tot productie en medische beeldvorming. Het werk is grotendeels gefinancierd door het leger via het Advanced Research Projects Agency (DARPA) van het Amerikaanse ministerie van Defensie en door NASA, die de technologie ziet als een potentiële manier om in verborgen grotten op de maan en Mars te kijken.

Technologieën om te bereiken wat wetenschappers 'non-line-of-sight imaging' noemen, zijn al jaren in ontwikkeling, maar technische uitdagingen hebben hen beperkt tot vage afbeeldingen van eenvoudige scènes. Uitdagingen die door de nieuwe aanpak kunnen worden overwonnen, zijn onder meer het in beeld brengen van veel complexere verborgen scènes, om meerdere hoeken kijken en video opnemen.

"Deze beeldvorming zonder zichtlijn bestaat al een tijdje, " zegt Andreas Velten, een professor in biostatistiek en medische informatica aan de UW School of Medicine and Public Health en de senior auteur van de nieuwe Natuur studie. "Er zijn veel verschillende benaderingen geweest."

Het basisidee van non-line of-sight beeldvorming, Velten zegt, draait om het gebruik van indirecte, gereflecteerd licht, een soort lichte echo, om beelden van een verborgen scène vast te leggen. Fotonen van duizenden pulsen laserlicht worden gereflecteerd door een muur of een ander oppervlak naar een verduisterd tafereel en het gereflecteerde, diffuus licht kaatst terug naar sensoren die op een camera zijn aangesloten. De teruggevangen lichtdeeltjes of fotonen worden vervolgens gebruikt om het verborgen tafereel in drie dimensies digitaal te reconstrueren.

"We sturen lichtpulsen naar een oppervlak en zien het licht terugkomen, en van daaruit kunnen we zien wat er in de verborgen scène is, ’, legt Velten uit.

Recent werk van andere onderzoeksgroepen was gericht op het verbeteren van de kwaliteit van scène-regeneratie onder gecontroleerde omstandigheden met behulp van kleine scènes met afzonderlijke objecten. Het werk gepresenteerd in de nieuwe Natuur rapport gaat verder dan eenvoudige scènes en behandelt de primaire beperkingen van bestaande niet-line-of-sight beeldvormingstechnologie, inclusief variërende materiaalkwaliteiten van de muren en oppervlakken van de verborgen objecten, grote variaties in helderheid van verschillende verborgen objecten, complexe interreflectie van licht tussen objecten in een verborgen scène, en de enorme hoeveelheden lawaaierige gegevens die worden gebruikt om grotere scènes te reconstrueren.

Samen, die uitdagingen hebben praktische toepassingen van opkomende niet-line-of-sight beeldvormingssystemen belemmerd.

Velten en zijn collega's, waaronder Diego Gutierrez van de Universidad de Zaragoza, het probleem omgedraaid, kijken door een meer conventioneel prisma door dezelfde wiskunde toe te passen die wordt gebruikt om afbeeldingen te interpreteren die zijn gemaakt met conventionele zichtlijnbeeldvormingssystemen. De nieuwe methode overwint het gebruik van een enkel reconstructiealgoritme en beschrijft een nieuwe klasse van beeldalgoritmen die unieke voordelen delen.

Conventionele systemen, merkt Gutiérrez op, interpreteer verstrooid licht als golven, die in afbeeldingen kunnen worden gevormd door bekende wiskundige transformaties toe te passen op de lichtgolven die zich door het beeldvormingssysteem voortplanten.

In het geval van niet-line-of-sight beeldvorming, de uitdaging om een ​​verborgen scène in beeld te brengen, zegt Velten, wordt opgelost door het niet-zichtlijnbeeldvormingsprobleem te herformuleren als een golfdiffractieprobleem en vervolgens bekende wiskundige transformaties van andere beeldvormingssystemen te gebruiken om de golven te interpreteren en een beeld van een verborgen scène te reconstrueren. Door dit te doen, de nieuwe methode maakt van elke diffuse muur een virtuele camera.

"Wat we deden was het probleem uitdrukken met golven, " zegt Velten, die ook faculteitsbenoemingen heeft bij de afdeling Electrical and Computer Engineering van UW-Madison en de afdeling Biostatistiek en Medische Informatica, en is verbonden aan het Morgridge Institute for Research en het UW-Madison Laboratory for Optical and Computational Instrumentation. "De systemen hebben dezelfde onderliggende wiskunde, maar we ontdekten dat onze reconstructie verrassend robuust is, zelfs met echt slechte gegevens. Dat kan met minder fotonen."

Door gebruik te maken van de nieuwe aanpak, Veltens team toonde aan dat verborgen scènes kunnen worden afgebeeld ondanks de uitdagingen van de complexiteit van scènes, verschillen in reflectormaterialen, verstrooid omgevingslicht en variërende scherptediepte voor de objecten waaruit een scène bestaat.

De mogelijkheid om een ​​camera in wezen van het ene oppervlak naar het andere te projecteren, suggereert dat de technologie zo kan worden ontwikkeld dat het mogelijk is om meerdere hoeken te kijken:"Dit zou ons in staat moeten stellen om rond een willekeurig aantal hoeken te fotograferen, ", zegt Velten. "Om dat te doen, licht moet meerdere reflecties ondergaan en het probleem is hoe scheid je het licht dat van verschillende oppervlakken komt? Deze 'virtuele camera' kan dat. Dat is de reden voor de complexe scène:er zijn meerdere bounces gaande en de complexiteit van de scène die we in beeld hebben is groter dan wat er eerder is gedaan."

Volgens Velten de techniek kan worden toegepast om virtuele geprojecteerde versies van elk beeldsysteem te creëren, zelfs videocamera's die de voortplanting van licht door de verborgen scène vastleggen. Het Velten-team, in feite, gebruikte de techniek om een ​​video te maken van lichttransport in de verborgen scène, visualisatie mogelijk maken van licht dat tot vier of vijf keer terugkaatst, die, volgens de wetenschapper uit Wisconsin, kan de basis zijn voor camera's om om meer dan één hoek te kijken.

De technologie zou verder en dramatischer kunnen worden verbeterd als arrays van sensoren kunnen worden ontworpen om het licht op te vangen dat wordt gereflecteerd door een verborgen scène. De experimenten beschreven in de nieuwe Natuur papier was afhankelijk van slechts een enkele detector.

in de geneeskunde, de technologie is veelbelovend voor zaken als robotchirurgie. Nutsvoorzieningen, het gezichtsveld van de chirurg is beperkt bij gevoelige oogingrepen, bijvoorbeeld, en de door Velten's team ontwikkelde techniek zou een completer beeld kunnen geven van wat er rondom een ​​procedure gebeurt.

Naast het helpen oplossen van veel van de technische uitdagingen van non-line-of-sight beeldvorming, de technologie, Velten notities, kan zowel goedkoop als compact worden gemaakt, wat betekent dat toepassingen in de echte wereld slechts een kwestie van tijd zijn.