Compressed sensing is een opwindende nieuwe rekentechniek voor het extraheren van grote hoeveelheden informatie uit een signaal. In een spraakmakende demonstratie, bijvoorbeeld, onderzoekers van Rice University bouwden een camera die 2D-beelden kon produceren met slechts een enkele lichtsensor in plaats van de miljoenen lichtsensoren die in een gewone camera worden gevonden.

Maar het gebruik van gecomprimeerde detectie voor beeldacquisitie is inefficiënt:die "single-pixel camera" had duizenden opnamen nodig om een ​​redelijk helder beeld te produceren. Hun resultaten rapporteren in het tijdschrift IEEE-transacties op Computational Imaging , onderzoekers van het MIT Media Lab beschrijven nu een nieuwe techniek die beeldacquisitie met gecomprimeerde detectie 50 keer zo efficiënt maakt. In het geval van de camera met één pixel, het zou het aantal blootstellingen kunnen terugbrengen van duizenden naar tientallen.

Een intrigerend aspect van beeldvormingssystemen met gecomprimeerde detectie is dat, in tegenstelling tot conventionele camera's, ze hebben geen lenzen nodig. Dat zou ze nuttig kunnen maken in ruwe omgevingen of in toepassingen die golflengten van licht buiten het zichtbare spectrum gebruiken. Het wegwerken van de lens opent nieuwe perspectieven voor het ontwerp van beeldvormingssystemen.

"Vroeger, voor beeldvorming was een lens nodig, en de lens zou pixels in de ruimte toewijzen aan sensoren in een array, met alles precies gestructureerd en ontworpen, " zegt Guy Satat, een afgestudeerde student aan het Media Lab en eerste auteur van het nieuwe artikel. "Met computationele beeldvorming, we begonnen ons af te vragen:is een lens nodig? Moet de sensor een gestructureerde array zijn? Hoeveel pixels moet de sensor hebben? Is een enkele pixel voldoende? Deze vragen breken in wezen het fundamentele idee van wat een camera is, af. Het feit dat slechts een enkele pixel nodig is en een lens niet langer nodig is, versoepelt belangrijke ontwerpbeperkingen, en maakt de ontwikkeling van nieuwe beeldvormingssystemen mogelijk. Het gebruik van ultrasnelle detectie maakt de meting aanzienlijk efficiënter."

Recursieve toepassingen

Een van Satats coauteurs van het nieuwe artikel is zijn scriptieadviseur, universitair hoofddocent mediakunsten en wetenschappen Ramesh Raskar. Zoals veel projecten van de groep van Raskar, de nieuwe gecomprimeerde detectietechniek hangt af van time-of-flight beeldvorming, waarin een korte lichtflits in een scène wordt geprojecteerd, en ultrasnelle sensoren meten hoe lang het licht nodig heeft om terug te reflecteren.

De techniek maakt gebruik van time-of-flight beeldvorming, maar enigszins circulair, een van de mogelijke toepassingen is het verbeteren van de prestaties van time-of-flight camera's. Het zou dus gevolgen kunnen hebben voor een aantal andere projecten van de groep van Raskar, zoals een camera die om de hoek kan kijken en beeldvormingssystemen met zichtbaar licht voor medische diagnose en voertuignavigatie.

Veel prototypesystemen van Raskar's Camera Culture-groep bij het Media Lab hebben time-of-flight-camera's gebruikt die streak-camera's worden genoemd, die duur en moeilijk te gebruiken zijn:ze leggen slechts één rij beeldpixels tegelijk vast. Maar de afgelopen jaren zijn er commerciële time-of-flight camera's verschenen, SPAD's genaamd, voor single-photon lawinediodes.

Hoewel lang niet zo snel als streak-camera's, SPAD's zijn nog steeds snel genoeg voor veel time-of-flight-toepassingen, en ze kunnen een volledig 2D-beeld vastleggen in een enkele belichting. Verder, hun sensoren zijn gebouwd met behulp van fabricagetechnieken die gebruikelijk zijn in de computerchipindustrie, dus ze moeten kosteneffectief zijn voor massaproductie.

Met SPAD's, de elektronica die nodig is om elke sensorpixel aan te sturen, neemt zoveel ruimte in beslag dat de pixels ver uit elkaar op de sensorchip komen te staan. Bij een conventionele camera dit beperkt de resolutie. Maar met gecomprimeerde detectie, het verhoogt het juist.

Afstand nemen

De reden dat de camera met één pixel het kan doen met één lichtsensor, is dat het licht dat erop valt een patroon heeft. Een manier om licht te vormen is door een filter te plaatsen, een soort willekeurig zwart-wit dambord, voor de flits die de scène verlicht. Een andere manier is om het terugkerende licht te weerkaatsen van een reeks kleine microspiegels, sommige zijn gericht op de lichtsensor en andere niet.

De sensor voert slechts een enkele meting uit:de cumulatieve intensiteit van het binnenkomende licht. Maar als het de meting vaak genoeg herhaalt, en als het licht elke keer een ander patroon heeft, software kan de intensiteit van het licht afleiden dat wordt gereflecteerd door individuele punten in de scène.

De camera met één pixel was een mediavriendelijke demonstratie, maar eigenlijk, gecomprimeerde detectie werkt beter naarmate de sensor meer pixels heeft. En hoe verder de pixels uit elkaar staan, hoe minder redundantie er is in de metingen die ze maken, ongeveer zoals je meer van de visuele scène voor je ziet als je twee stappen naar rechts neemt in plaats van één. En, natuurlijk, hoe meer metingen de sensor uitvoert, hoe hoger de resolutie van het gereconstrueerde beeld.

Schaalvoordelen

Time-of-flight-beeldvorming verandert in wezen één meting - met één lichtpatroon - in tientallen metingen, gescheiden door biljoensten van seconden. Bovendien, elke meting komt overeen met slechts een subset van pixels in de uiteindelijke afbeelding - die met afbeeldingen van objecten op dezelfde afstand. Dat betekent dat er bij elke meting minder informatie hoeft te worden gedecodeerd.

In hun krant Zat aan, Raskar, en Matthew Tancik, een MIT-afgestudeerde student in elektrotechniek en informatica, een theoretische analyse presenteren van gecomprimeerde waarneming die gebruikmaakt van vluchtinformatie. Hun analyse laat zien hoe efficiënt de techniek informatie over een visuele scène kan extraheren, met verschillende resoluties en met verschillende aantallen sensoren en onderlinge afstanden.

Ze beschrijven ook een procedure voor het berekenen van lichtpatronen die het aantal opnamen minimaliseert. En, het gebruik van synthetische gegevens, ze vergelijken de prestaties van hun reconstructiealgoritme met die van bestaande gecomprimeerde detectiealgoritmen. Maar in het lopende werk, ze ontwikkelen een prototype van het systeem zodat ze hun algoritme kunnen testen op echte data.