David Lindell, een afgestudeerde student elektrotechniek aan de Stanford University, trok een goed zichtbaar trainingspak aan en ging aan het werk, uitrekken, ijsberen en springen door een lege kamer. Door een camera die van Lindell af was gericht - op wat een blinde muur leek te zijn - konden zijn collega's elke beweging van hem volgen.

Dat is omdat, verborgen voor het blote oog, hij werd gescand door een krachtige laser en de enkele lichtdeeltjes die hij op de muren om hem heen weerkaatste, werden vastgelegd en gereconstrueerd door de geavanceerde sensoren en het verwerkingsalgoritme van de camera.

"Mensen praten over het bouwen van een camera die net zo goed kan zien als mensen voor toepassingen zoals autonome auto's en robots, maar we willen systemen bouwen die veel verder gaan, " zei Gordon Wetzstein, een assistent-professor elektrotechniek aan Stanford. "We willen dingen in 3D zien, om hoeken en buiten het zichtbare lichtspectrum."

Het camerasysteem dat Lindell heeft getest, die de onderzoekers presenteren op de SIGGRAPH 2019-conferentie op 1 augustus bouwt voort op eerdere camera's om de hoek die dit team heeft ontwikkeld. Het kan meer licht opvangen van een grotere verscheidenheid aan oppervlakken, zie breder en verder weg en is snel genoeg om bewegingen uit het zicht - zoals Lindell's gymnastiekoefeningen - voor het eerst te volgen. op een dag, de onderzoekers hopen dat bovenmenselijke zichtsystemen autonome auto's en robots kunnen helpen nog veiliger te werken dan met menselijke begeleiding.

Praktisch en seismologie

Het praktisch houden van hun systeem staat bij deze onderzoekers hoog in het vaandel. De hardware die ze kozen, de scan- en beeldverwerkingssnelheden, en de stijl van beeldvorming zijn al gebruikelijk in autonome auto vision-systemen. Eerdere systemen voor het bekijken van scènes buiten de gezichtslijn van een camera waren gebaseerd op objecten die het licht gelijkmatig of sterk reflecteren. Maar objecten uit de echte wereld, inclusief glanzende auto's, vallen buiten deze categorieën, dus dit systeem kan licht aan dat weerkaatst op verschillende oppervlakken, inclusief discoballen, boeken en ingewikkeld getextureerde beelden.

Centraal in hun opmars was een laser 10, 000 keer krachtiger dan wat ze een jaar geleden gebruikten. De laser scant een muur tegenover de betreffende scène en dat licht weerkaatst van de muur, raakt de objecten in de scène, kaatst terug naar de muur en naar de camerasensoren. Tegen de tijd dat het laserlicht de camera bereikt, blijven er alleen nog spikkels over, maar de sensor vangt iedereen op, het doorsturen naar een zeer efficiënt algoritme, ook ontwikkeld door dit team, dat deze echo's van licht ontwart om het verborgen tafereel te ontcijferen.

"Als je kijkt naar de laser die het uitzoekt, je ziet niets, " beschreef Lindell. "Met deze hardware, we kunnen in principe de tijd vertragen en deze lichtsporen onthullen. Het lijkt bijna magie."

Het systeem kan met vier frames per seconde scannen. Het kan een scène reconstrueren met snelheden van 60 frames per seconde op een computer met een grafische verwerkingseenheid, wat de grafische verwerkingsmogelijkheden verbetert.

Om hun algoritme te verbeteren, het team keek naar andere velden voor inspiratie. De onderzoekers werden vooral aangetrokken door seismische beeldvormingssystemen - die geluidsgolven van ondergrondse lagen van de aarde weerkaatsen om te leren wat zich onder het oppervlak bevindt - en hebben hun algoritme opnieuw geconfigureerd om terugkaatsend licht ook te interpreteren als golven die afkomstig zijn van de verborgen objecten. Het resultaat was hetzelfde snelle en lage geheugengebruik met verbeteringen in hun mogelijkheden om grote scènes met verschillende materialen te zien.

"Er zijn veel ideeën die in andere ruimtes worden gebruikt - seismologie, beeldvorming met satellieten, synthetische apertuurradar - die van toepassing zijn op het kijken om hoeken, " zei Matthew O'Toole, een assistent-professor aan de Carnegie Mellon University die eerder een postdoctoraal onderzoeker was in het laboratorium van Wetzstein. "We proberen een beetje van deze velden te halen en hopelijk kunnen we er ooit iets aan teruggeven."

Nederige stappen

Het was een spannend moment voor dit team om realtime beweging te kunnen zien van anders onzichtbaar licht dat om een ​​hoek wordt gestuiterd, maar een praktisch systeem voor autonome auto's of robots zal verdere verbeteringen vereisen.

"Het zijn zeer bescheiden stappen. De beweging ziet er nog steeds uit met een lage resolutie en is niet supersnel, maar vergeleken met de state-of-the-art vorig jaar is het een aanzienlijke verbetering, "zei Wetzstein. "We waren verbluft toen we deze resultaten voor het eerst zagen, omdat we gegevens hebben verzameld die nog nooit eerder zijn gezien."

Het team hoopt hun systeem te gaan testen op autonome onderzoeksauto's, terwijl we kijken naar andere mogelijke toepassingen, zoals medische beeldvorming die door weefsels kan kijken. Naast andere verbeteringen aan snelheid en resolutie, ze zullen ook werken aan het nog veelzijdiger maken van hun systeem om de uitdagende visuele omstandigheden aan te pakken die bestuurders tegenkomen, zoals mist, regenen, zandstormen en sneeuw.