science >> Wetenschap >  >> Fysica

Deep learning maakt realtime beeldvorming om hoeken mogelijk

Onderzoekers gebruikten deep learning om een ​​nieuw lasergebaseerd systeem te creëren dat in realtime om de hoek kan beelden. De systemen kunnen op een dag zelfrijdende auto's laten 'kijken' rond geparkeerde auto's of drukke kruispunten om niet alleen auto's te zien, maar ook kentekenplaten te lezen. Krediet:Felix Heide, Princeton Universiteit

Onderzoekers hebben gebruik gemaakt van de kracht van een soort kunstmatige intelligentie die bekend staat als deep learning om een ​​nieuw lasergebaseerd systeem te creëren dat in realtime om de hoek kan beelden. Met verdere ontwikkeling, het systeem kan zelfrijdende auto's laten "kijken" rond geparkeerde auto's of drukke kruispunten om gevaren of voetgangers te zien. Het kan ook worden geïnstalleerd op satellieten en ruimtevaartuigen voor taken zoals het vastleggen van afbeeldingen in een grot op een asteroïde.

"Vergeleken met andere benaderingen, ons non-line-of-sight beeldvormingssysteem biedt unieke hoge resoluties en beeldsnelheden, " zei onderzoeksteamleider Christopher A. Metzler van Stanford University en Rice University. "Deze eigenschappen maken toepassingen mogelijk die anders niet mogelijk zouden zijn, zoals het lezen van de kentekenplaat van een verborgen auto terwijl deze rijdt of het lezen van een badge gedragen door iemand die aan de andere kant van een hoek loopt."

In optiek , Het tijdschrift van de Optical Society voor high-impact onderzoek, Metzler en collega's van Princeton University, Zuidelijke Methodistische Universiteit, en Rice University melden dat het nieuwe systeem submillimeterdetails van een verborgen object op 1 meter afstand kan onderscheiden. Het systeem is ontworpen om kleine objecten met zeer hoge resoluties in beeld te brengen, maar kan worden gecombineerd met andere beeldvormingssystemen die kamergrote reconstructies met een lage resolutie produceren.

"Non-line-of-sight beeldvorming heeft belangrijke toepassingen in medische beeldvorming, navigatie, robotica en defensie, "Zei co-auteur Felix Heide van Princeton University. "Ons werk zet een stap in de richting van het gebruik ervan in een verscheidenheid van dergelijke toepassingen."

Het non-line-of-sight beeldvormingssysteem gebruikt een diepgaand lerend algoritme om verborgen objecten te reconstrueren op basis van een spikkelpatroon dat door de laser is gecreëerd. Krediet:Felix Heide, Princeton Universiteit

Een optisch probleem oplossen met deep learning

Het nieuwe beeldvormingssysteem maakt gebruik van een in de handel verkrijgbare camerasensor en een krachtige, maar verder standaard, laserbron die vergelijkbaar is met die in een laserpointer. De laserstraal weerkaatst van een zichtbare muur op het verborgen object en dan terug op de muur, het creëren van een interferentiepatroon dat bekend staat als een spikkelpatroon dat de vorm van het verborgen object codeert.

Het reconstrueren van het verborgen object uit het spikkelpatroon vereist het oplossen van een uitdagend rekenprobleem. Korte belichtingstijden zijn nodig voor realtime beeldvorming, maar produceren te veel ruis om bestaande algoritmen niet te laten werken. Om dit probleem op te lossen, de onderzoekers wendden zich tot deep learning.

"Vergeleken met andere benaderingen voor niet-line-of-sight beeldvorming, ons deep learning-algoritme is veel robuuster tegen ruis en kan dus werken met veel kortere belichtingstijden, " zei co-auteur Prasanna Rangarajan van de Southern Methodist University. "Door het geluid nauwkeurig te karakteriseren, we waren in staat om gegevens te synthetiseren om het algoritme te trainen om het reconstructieprobleem op te lossen met behulp van deep learning zonder dure experimentele trainingsgegevens te hoeven vastleggen."

Om de hoek kijken

De onderzoekers testten de nieuwe techniek door afbeeldingen te reconstrueren van letters en cijfers van 1 centimeter hoog die verborgen waren achter een hoek met behulp van een beeldopstelling op ongeveer 1 meter van de muur. Met een belichtingslengte van een kwart seconde, de aanpak leverde reconstructies op met een resolutie van 300 micron.

Het onderzoek maakt deel uit van DARPA's Revolutionary Enhancement of Visibility by Exploiting Active Light-fields (REVEAL) programma, die een verscheidenheid aan verschillende technieken ontwikkelt om verborgen voorwerpen om hoeken af ​​te beelden. De onderzoekers werken nu aan het praktisch maken van het systeem voor meer toepassingen door het gezichtsveld uit te breiden, zodat het grotere objecten kan reconstrueren.