Onderzoekers hebben een camera ontwikkeld die een dunne microlens-array en nieuwe beeldverwerkingsalgoritmen gebruikt om 3D-informatie over objecten in een scène vast te leggen met een enkele belichting. De camera kan nuttig zijn voor een verscheidenheid aan toepassingen, zoals inspectie van industriële onderdelen, gebarenherkenning en het verzamelen van gegevens voor 3D-weergavesystemen.

"We beschouwen onze camera lensloos omdat deze de bulklenzen die in conventionele camera's worden gebruikt, vervangt door een dunne, lichtgewicht microlens-array gemaakt van flexibel polymeer", zegt onderzoeksteamleider Weijian Yang van de Universiteit van Californië, Davis. "Omdat elke microlens objecten vanuit verschillende kijkhoeken kan observeren, kan het complexe beeldtaken uitvoeren, zoals het verkrijgen van 3D-informatie van objecten die gedeeltelijk worden verduisterd door objecten die zich dichter bij de camera bevinden."

In het tijdschrift Optics Express , beschrijven Yang en eerste auteur Feng Tian, ​​een promovendus in het lab van Yang, de nieuwe 3D-camera. Omdat de camera uit bestaande gegevens leert hoe hij een 3D-scène digitaal kan reconstrueren, kan hij in realtime 3D-beelden produceren.

"Deze 3D-camera kan worden gebruikt om robots 3D-visie te geven, wat hen kan helpen bij het navigeren door de 3D-ruimte of om complexe taken mogelijk te maken, zoals het manipuleren van fijne objecten", zei Yang. "Het kan ook worden gebruikt om rijke 3D-informatie te verkrijgen die inhoud kan leveren voor 3D-schermen die worden gebruikt in gaming, entertainment of vele andere toepassingen."

Een camera die leert

De nieuwe camera is voortgekomen uit eerder werk waarin de onderzoekers een compacte microscoop ontwikkelden die 3D-microscopische structuren in beeld kan brengen voor biomedische toepassingen. "We hebben de microscoop gebouwd met behulp van een microlens-array en dachten dat een soortgelijk concept zou kunnen worden toegepast voor het afbeelden van macroscopische objecten", zei Yang.

Met de afzonderlijke lenzen in de nieuwe camera kan hij objecten vanuit verschillende hoeken of perspectieven bekijken, wat diepte-informatie oplevert. Hoewel andere onderzoeksgroepen camera's hebben ontwikkeld op basis van enkellaagse microlens-arrays, was het moeilijk om ze praktisch te maken vanwege uitgebreide kalibratieprocessen en lage reconstructiesnelheden.

Om een ​​meer praktische 3D-camera voor macroscopische objecten te maken, beschouwden de onderzoekers de microlens-array en het reconstructie-algoritme samen in plaats van ze afzonderlijk te benaderen. Ze hebben de microlens-array op maat ontworpen en gefabriceerd, die 37 kleine lenzen bevat die zijn verdeeld in een cirkelvormige laag polymeer met een diameter van slechts 12 millimeter. Het reconstructie-algoritme dat ze hebben ontwikkeld, is gebaseerd op een zeer efficiënt kunstmatig neuraal netwerk dat leert hoe informatie uit de afbeelding terug te koppelen aan de objecten in een scène.

"Veel bestaande neurale netwerken kunnen bepaalde taken uitvoeren, maar het onderliggende mechanisme is moeilijk uit te leggen en te begrijpen", zegt Yang. "Ons neurale netwerk is gebaseerd op een fysiek model van beeldreconstructie. Dit maakt het leerproces veel eenvoudiger en resulteert in hoogwaardige reconstructies."

Zodra het leerproces is voltooid, kan het beelden met zeer hoge snelheid reconstrueren met objecten die zich op verschillende afstanden van de camera bevinden. De nieuwe camera hoeft niet te worden gekalibreerd en kan worden gebruikt om de 3D-locaties en ruimtelijke profielen (of contouren) van objecten in kaart te brengen.

Door objecten heen kijken

Na het uitvoeren van numerieke simulaties om de prestaties van de camera te verifiëren, voerden de onderzoekers 2D-beeldvorming uit die perceptueel aangename resultaten liet zien. Vervolgens testten ze het vermogen van de camera om 3D-beelden van objecten op verschillende diepten uit te voeren. De resulterende 3D-reconstructie kan opnieuw worden gefocust op verschillende diepten of afstanden. De camera maakte ook een dieptekaart die overeenkwam met de feitelijke objectopstelling.

"Tijdens een laatste demonstratie hebben we laten zien dat onze camera objecten achter de ondoorzichtige obstakels in beeld kan brengen", zegt Yang. "Voor zover wij weten, is dit de eerste demonstratie van het in beeld brengen van objecten achter ondoorzichtige obstakels met een lensloze camera."

De onderzoekers werken momenteel aan het verminderen van artefacten of fouten die in de 3D-reconstructies verschijnen en aan het verbeteren van de algoritmen om een ​​nog hogere kwaliteit en snelheid te krijgen. Ze willen ook de totale voetafdruk van het apparaat verkleinen, zodat het in een mobiele telefoon past, waardoor het draagbaarder wordt en meer toepassingen mogelijk zijn.

"Onze lensloze 3D-camera maakt gebruik van computationele beeldvorming, een opkomende benadering die samen beeldhardware en algoritmen voor objectreconstructie optimaliseert om de gewenste beeldtaken en kwaliteit te bereiken", aldus Yang. "Met de recente ontwikkeling van goedkope, geavanceerde productietechnieken voor micro-optica en de vooruitgang op het gebied van machine learning en computationele middelen, zal computationele beeldvorming veel nieuwe beeldvormingssystemen met geavanceerde functionaliteit mogelijk maken." + Verder verkennen

Onderzoekers maken miniatuur groothoekcamera met platte metalenses