Strepen zijn dit seizoen in de mode in een laboratorium van Rice University, waar onderzoekers ze gebruiken om beelden te maken die gewone camera's nooit zouden kunnen vastleggen.

Hun compacte Hyperspectral Stripe Projector (HSP) is een stap in de richting van een nieuwe methode om de ruimtelijke en spectrale informatie te verzamelen die nodig is voor zelfrijdende auto's, machine visie, gewasmonitoring, oppervlakteslijtage en corrosiedetectie en andere toepassingen.

"Ik kan me deze technologie voorstellen in de handen van een boer, of op een drone, om naar een veld te kijken en niet alleen de voedingsstoffen en het watergehalte van planten te zien, maar ook, vanwege het 3D-aspect, de hoogte van de gewassen, " zei Kevin Kelly, een universitair hoofddocent elektrische en computertechniek aan de Brown School of Engineering van Rice. "Of misschien kan het naar een schilderij kijken en de oppervlaktekleuren en textuur in detail zien, maar met nabij-infrarood zie ook onderaan het doek."

Kelly's lab zou 3D-spectroscopie on-the-fly mogelijk kunnen maken met een systeem dat de HSP, een monochrome sensorarray en geavanceerde programmering om gebruikers een completer beeld te geven van de vorm en samenstelling van een object.

"We krijgen vierdimensionale informatie van een afbeelding, drie ruimtelijke en één spectrale, live, Kelly zei. "Andere mensen gebruiken meerdere modulatoren en hebben dus heldere lichtbronnen nodig om dit te bereiken, maar we ontdekten dat we het konden doen met een lichtbron met normale helderheid en wat slimme optica."

Het werk van Kelly, hoofdauteur en Rice-alumna Yibo Xu en afgestudeerde student Anthony Giljum worden gedetailleerd beschreven in een open-access paper in Optica Express .

HSP maakt gebruik van draagbare 3D-beeldvormingstechnieken die al in handen zijn van consumenten - denk aan gezichts-ID-systemen in smartphones en body-trackers in gaming-systemen - en voegt een manier toe om brede spectrale gegevens uit elke vastgelegde pixel te halen. Deze gecomprimeerde gegevens worden gereconstrueerd in een 3D-kaart met spectrale informatie die honderden kleuren kan bevatten en kan worden gebruikt om niet alleen de vorm van een object te onthullen, maar ook de materiële samenstelling ervan.

"Gewone RGB (rood, groente, blauw) camera's geven je in principe maar drie spectrale kanalen, " zei Xu. "Maar een hyperspectrale camera geeft ons spectra in veel, veel kanalen. We kunnen rood vastleggen op ongeveer 700 nanometer en blauw op ongeveer 400 nanometer, maar we kunnen ook bandbreedtes hebben van om de paar nanometer of minder daartussen. Dat geeft ons een fijne spectrale resolutie en een beter begrip van de scène.

"HSP codeert tegelijkertijd de diepte- en hyperspectrale metingen op een zeer eenvoudige en efficiënte manier, waardoor het gebruik van een monochrome camera mogelijk is in plaats van een dure hyperspectrale camera zoals die doorgaans in vergelijkbare systemen wordt gebruikt, " zei Xu, die in 2019 promoveerde bij Rice en nu een machine learning en computer vision research engineer is bij Samsung Research America Inc. Ze ontwikkelde zowel de hardware als de reconstructiesoftware als onderdeel van haar proefschrift in Kelly's lab.

HSP gebruikt een kant-en-klaar digitaal microspiegelapparaat (DMD) om strepen met patronen te projecteren die er ongeveer uitzien als kleurrijke streepjescodes op een oppervlak. Door de witlichtprojectie door een diffractierooster te sturen, worden de overlappende patronen in kleuren gescheiden.

Elke kleur wordt teruggekaatst naar de monochrome camera, die een numeriek grijsniveau toewijst aan die pixel.

Elke pixel kan meerdere niveaus hebben, één voor elke kleurstreep die het weerspiegelt. Deze worden opnieuw gecombineerd tot een globale spectrale waarde voor dat deel van het object.

"We gebruiken één DMD en één rooster in HSP, "Zei Xu. "Het nieuwe optische ontwerp van het terugvouwen van het lichtpad naar hetzelfde diffractierooster en dezelfde lens maakt het echt compact. Met de enkele DMD kunnen we het licht houden dat we willen en de rest weggooien."

Deze fijn afgestemde spectra kunnen verder reiken dan zichtbaar licht. Wat ze terugkaatsen naar de sensor als gemultiplexte fijnbandspectra kan worden gebruikt om de chemische samenstelling van het materiaal te identificeren.

Tegelijkertijd, vervormingen in het patroon worden gereconstrueerd tot 3D-puntenwolken, in wezen een foto van het doel, maar met veel meer gegevens dan een gewone momentopname zou kunnen bieden.

Kelly stelt zich HSP voor die is ingebouwd in autokoplampen die het verschil kunnen zien tussen een object en een persoon. "Het kan nooit verward worden tussen een groene jurk en een groene plant, omdat alles zijn eigen spectrale signatuur heeft, " hij zei.

Kelly gelooft dat het lab uiteindelijk ideeën van Rice' baanbrekende single-pixel camera zal opnemen om het apparaat verder te verkleinen en het ook aan te passen voor compressieve video-opname.