Onderzoekers hebben een eenvoudig te bouwen camera ontwikkeld die 3D-beelden produceert van een enkel 2D-beeld zonder lenzen. Bij een eerste toepassing van de technologie, de onderzoekers zijn van plan de nieuwe camera te gebruiken, die ze DiffuserCam noemen, om microscopische neuronactiviteit in levende muizen te bekijken zonder een microscoop. uiteindelijk, het zou nuttig kunnen zijn voor een breed scala aan toepassingen met 3D-opname.

De camera is compact en goedkoop te bouwen omdat hij alleen bestaat uit een diffuser - in wezen een hobbelig stuk plastic - die bovenop een beeldsensor is geplaatst. Hoewel de hardware eenvoudig is, de software die het gebruikt om 3D-beelden met hoge resolutie te reconstrueren, is zeer complex.

"De DiffuserCam kan, in een enkel schot, 3D-informatie vastleggen in een groot volume met hoge resolutie, " zei de onderzoeksteamleider Laura Waller, Universiteit van Californië, Berkeley. "We denken dat de camera nuttig kan zijn voor zelfrijdende auto's, waar de 3D-informatie een gevoel van schaal kan bieden, of het kan worden gebruikt met machine learning-algoritmen om gezichtsdetectie uit te voeren, mensen volgen of automatisch objecten classificeren."

In optiek , Het tijdschrift van de Optical Society voor onderzoek met hoge impact, de onderzoekers laten zien dat de DiffuserCam kan worden gebruikt om 100 miljoen voxels te reconstrueren, of 3D-pixels, van een afbeelding van 1,3 megapixels (1,3 miljoen pixels) zonder scannen. Ter vergelijking, de iPhone X-camera maakt foto's van 12 megapixels. De onderzoekers gebruikten de camera om de 3D-structuur van bladeren van een kleine plant vast te leggen.

"Onze nieuwe camera is een geweldig voorbeeld van wat kan worden bereikt met computationele beeldvorming - een benadering die onderzoekt hoe hardware en software samen kunnen worden gebruikt om beeldsystemen te ontwerpen, " zei Waller. "We hebben ons uiterste best gedaan om de hardware extreem eenvoudig en goedkoop te houden. Hoewel de software erg ingewikkeld is, het kan ook gemakkelijk worden gerepliceerd of gedistribueerd, zodat anderen dit type camera thuis kunnen maken."

Een DiffuserCam kan worden gemaakt met elk type beeldsensor en kan objecten in beeld brengen die variëren van microscopisch klein tot de grootte van een persoon. Het biedt een resolutie in het bereik van tientallen microns bij het in beeld brengen van objecten dicht bij de sensor. Hoewel de resolutie afneemt wanneer een scène verder weg van de sensor wordt afgebeeld, het is nog steeds hoog genoeg om te onderscheiden dat de ene persoon enkele meters dichter bij de camera staat dan de andere persoon, bijvoorbeeld.

Een eenvoudige benadering van complexe beeldvorming

De DiffuserCam is een familielid van de lichtveldcamera, die vastlegt hoeveel licht er op een pixel op de beeldsensor valt, evenals de hoek van waaruit het licht op die pixel valt. In een typische lichtveldcamera, een reeks kleine lenzen die voor de sensor zijn geplaatst, worden gebruikt om de richting van het binnenkomende licht vast te leggen, waardoor computationele benaderingen mogelijk zijn om het beeld opnieuw te focussen en 3D-beelden te creëren zonder de scanstappen die normaal nodig zijn om 3D-informatie te verkrijgen.

Tot nu, lichtveldcamera's zijn beperkt in ruimtelijke resolutie omdat sommige ruimtelijke informatie verloren gaat tijdens het verzamelen van de richtingsinformatie. Een ander nadeel van deze camera's is dat de microlens-arrays duur zijn en moeten worden aangepast aan een bepaalde camera of optische componenten die worden gebruikt voor beeldvorming.

"Ik wilde zien of we dezelfde beeldmogelijkheden konden bereiken met eenvoudige en goedkope hardware, " zei Waller. "Als we betere algoritmen hebben, kon de zorgvuldig ontworpen, dure microlens-arrays worden vervangen door een plastic oppervlak met een willekeurig patroon, zoals een hobbelig stuk plastic?"

Na het experimenteren met verschillende soorten diffusers en het ontwikkelen van de complexe algoritmen, Nick Antipa en Grace Kuo, studenten in het lab van Waller, ontdekte dat Wallers idee voor een eenvoudige lichtveldcamera mogelijk was. In feite, het gebruik van willekeurige hobbels in stickers van privacyglas, Scotch tape of plastic conferentiebadgehouders, stelde de onderzoekers in staat de traditionele lichtveldcamera-mogelijkheden te verbeteren door gecomprimeerde detectie te gebruiken om het typische verlies aan resolutie dat gepaard gaat met microlens-arrays te voorkomen.

Hoewel andere lichtveldcamera's lensarrays gebruiken die nauwkeurig zijn ontworpen en uitgelijnd, de exacte grootte en vorm van de hobbels in de diffuser van de nieuwe camera zijn onbekend. Dit betekent dat een paar beelden van een bewegend lichtpunt moeten worden verkregen om de software te kalibreren voorafgaand aan de beeldvorming. De onderzoekers werken aan een manier om deze kalibratiestap te elimineren door de onbewerkte gegevens te gebruiken voor kalibratie. Ook willen ze de nauwkeurigheid van de software verbeteren en de 3D-reconstructie sneller maken.

Geen microscoop nodig

De nieuwe camera zal worden gebruikt in een project aan de University of California Berkeley dat tot doel heeft een miljoen individuele neuronen te bekijken en tegelijkertijd 1 te stimuleren. 000 van hen met eencellige nauwkeurigheid. Het project wordt gefinancierd door DARPA's Neural Engineering System Design-programma - onderdeel van het BRAIN-initiatief van de federale overheid - om implanteerbare, biocompatibele neurale interfaces die uiteindelijk visuele of gehoorstoornissen zouden kunnen compenseren.

Als eerste stap, de onderzoekers willen creëren wat zij een corticale modem noemen die zal "lezen" en "schrijven" naar de hersenen van diermodellen, net als de input-output-activiteit van internetmodems. De DiffuserCam wordt het hart van het leesapparaat voor dit project, die ook speciale eiwitten zal gebruiken waarmee wetenschappers neuronale activiteit met licht kunnen regelen.

"Door dit te gebruiken om neuronen te zien afvuren in een muizenbrein, kunnen we in de toekomst meer begrijpen over zintuiglijke waarneming en kennis verschaffen die kan worden gebruikt om ziekten zoals Alzheimer of psychische stoornissen te genezen, ' zei Waller.

Hoewel nieuw ontwikkelde beeldvormingstechnieken honderden neuronen kunnen vastleggen, hoe de hersenen op grotere schaal werken, wordt niet volledig begrepen. De DiffuserCam heeft het potentieel om dat inzicht te verschaffen door miljoenen neuronen in één keer in beeld te brengen. Omdat de camera licht van gewicht is en geen microscoop of objectieflens nodig heeft, het kan worden bevestigd aan een transparant venster in de schedel van een muis, waardoor neuronale activiteit kan worden gekoppeld aan gedrag. Verschillende arrays met overliggende diffusors kunnen worden betegeld om grote gebieden in beeld te brengen.

Een behoefte aan interdisciplinaire ontwerpers

"Ons werk laat zien dat computationele beeldvorming een creatief proces kan zijn dat alle delen van het optische ontwerp en het ontwerp van algoritmen onderzoekt om optische systemen te creëren die dingen bereiken die voorheen niet konden of om een ​​eenvoudigere benadering te gebruiken voor iets dat eerder kon worden gedaan , Waller zei. "Dit is een zeer krachtige richting voor beeldvorming, maar vereist ontwerpers met optische en fysica-expertise, evenals computationele kennis."

Het nieuwe Berkeley Center for Computational Imaging, onder leiding van Waller, werkt aan het opleiden van meer wetenschappers op dit interdisciplinaire gebied. Wetenschappers van het centrum ontmoeten ook wekelijks bio-ingenieurs, natuurkundigen en elektrotechnici, evenals experts op het gebied van signaalverwerking en machine learning om ideeën uit te wisselen en de beeldvormingsbehoeften van andere vakgebieden beter te begrijpen.