Computer vision-onderzoekers hebben aangetoond dat ze speciale lichtbronnen en sensoren kunnen gebruiken om om hoeken of door gaasachtige filters te kijken, waardoor ze de vormen van onzichtbare objecten kunnen reconstrueren.

De onderzoekers van de Carnegie Mellon University, de University of Toronto en University College London zeiden dat ze met deze techniek beelden tot in detail kunnen reconstrueren, inclusief het reliëf van het profiel van George Washington op een Amerikaanse wijk.

Ioannis Gkioulekas, een assistent-professor in Carnegie Mellon's Robotics Institute, zei dat dit de eerste keer is dat onderzoekers in staat zijn om vormen van gebogen objecten op millimeter- en micrometerschaal te berekenen, een belangrijke nieuwe component voor een grotere reeks niet-line-of-sight (NLOS) beeldvormingstechnieken die nu worden ontwikkeld door computer vision-onderzoekers.

"Het is opwindend om te zien dat de kwaliteit van reconstructies van verborgen objecten dichter bij de scans komt die we gewend zijn te zien voor objecten die zich in de gezichtslijn bevinden, " zei Srinivasa Narasimhan, een professor in het Robotics Institute. "Zo ver, we kunnen dit detailniveau alleen voor relatief kleine gebieden bereiken, maar deze mogelijkheid zal andere NLOS-technieken aanvullen."

Dit werk werd ondersteund door het REVEAL-programma van het Defense Advanced Research Project Agency, die NLOS-mogelijkheden ontwikkelt. Het onderzoek zal vandaag worden gepresenteerd op de 2019 Conference on Computer Vision and Pattern Recognition (CVPR2019) in Long Beach, Californië, waar het een Best Paper award heeft ontvangen.

"Dit artikel maakt aanzienlijke vooruitgang in reconstructie zonder zichtlijn - in wezen, het vermogen om om de hoek te kijken, ', staat in de oorkonde. 'Het is zowel theoretisch als inspirerend een mooi papier. Het blijft de grenzen verleggen van wat mogelijk is in computervisie."

Het meeste van wat mensen zien - en wat camera's detecteren - komt van licht dat weerkaatst op een object en rechtstreeks naar het oog of de lens weerkaatst. Maar licht weerkaatst ook in andere richtingen van de objecten, tegen muren en voorwerpen stuiteren. Een zwak beetje van dit verstrooide licht kan uiteindelijk het oog of de lens bereiken, maar wordt weggespoeld door meer directe, krachtige lichtbronnen. NLOS-technieken proberen informatie te extraheren uit verstrooid licht - al dan niet natuurlijk voorkomend - en produceren afbeeldingen van scènes, voorwerpen of delen van voorwerpen die anderszins niet zichtbaar zijn.

"Andere NLOS-onderzoekers hebben al NLOS-beeldvormingssystemen gedemonstreerd die scènes op kamerformaat kunnen begrijpen, of zelfs informatie extraheren met alleen natuurlijk voorkomend licht, "Zei Gkioulekas. "We doen iets dat complementair is aan die benaderingen:NLOS-systemen in staat stellen om fijne details over een klein gebied vast te leggen."

In dit geval, de onderzoekers gebruikten een ultrasnelle laser om licht van een muur te weerkaatsen om een ​​verborgen object te verlichten. Door te weten wanneer de laser lichtpulsen afvuurde, de onderzoekers konden berekenen hoe lang het licht nodig had om van het object te weerkaatsen, op de terugreis tegen de muur stuiteren en een sensor bereiken.

"Deze time-of-flight-techniek is vergelijkbaar met die van de lidars die vaak door zelfrijdende auto's worden gebruikt om een ​​3D-kaart van de omgeving van de auto te maken, " zei Shumian Xin, een doctoraat student robotica.

Eerdere pogingen om deze vluchttijdberekeningen te gebruiken om een ​​afbeelding van het object te reconstrueren, waren afhankelijk van de helderheid van de reflecties ervan. Maar in deze studie Gkioulekas zei dat de onderzoekers een nieuwe methode ontwikkelden die puur gebaseerd was op de geometrie van het object. waardoor ze op hun beurt een algoritme konden maken om de kromming ervan te meten.

De onderzoekers gebruikten een beeldvormingssysteem dat in feite een lidar is die in staat is om afzonderlijke lichtdeeltjes te detecteren om de techniek te testen op objecten zoals een plastic kan, een glazen kom, een plastic kom en een kogellager. Ze combineerden deze techniek ook met een beeldvormingsmethode die optische coherentietomografie wordt genoemd om de afbeeldingen van Amerikaanse kwartalen te reconstrueren.

Naast het kijken om de hoek, de techniek bleek effectief in het doorzien van diffuse filters, zoals dik papier.

De techniek is tot nu toe alleen op korte afstanden aangetoond - hooguit een meter. Maar de onderzoekers speculeren dat hun techniek, gebaseerd op geometrische metingen van objecten, kan worden gecombineerd met andere, complementaire benaderingen om NLOS-beeldvorming te verbeteren. Het kan ook worden gebruikt in andere toepassingen, zoals seismische beeldvorming en akoestische en ultrasone beeldvorming.

Naast Narasimhan, Gkioulekas en Xin, het onderzoeksteam omvatte Aswin Sankaranarayanan, assistent-professor bij de afdeling Electrical and Computer Engineering van CMU; Sotiris Nousias, een doctoraatsstudent in medische fysica en bio-engineering aan University College London; en Kiriakos N. Kutulakos, een professor in de informatica aan de Universiteit van Toronto.