Kleine onvolkomenheden in een wijnglas of kleine plooien in een contactlens kunnen lastig te onderscheiden zijn, zelfs bij goed licht. In bijna totale duisternis, afbeeldingen van dergelijke transparante kenmerken of objecten zijn bijna onmogelijk te ontcijferen. Maar nu, ingenieurs van MIT hebben een techniek ontwikkeld die deze "onzichtbare" objecten kan onthullen, in het donker.

In een onderzoek dat vandaag is gepubliceerd in Fysieke beoordelingsbrieven , de onderzoekers reconstrueerden transparante objecten uit afbeeldingen van die objecten, genomen in bijna pikdonkere omstandigheden. Ze deden dit met behulp van een "diep neuraal netwerk, " een techniek voor machinaal leren waarbij een computer wordt getraind om bepaalde invoer te associëren met specifieke uitvoer - in dit geval donker, korrelige afbeeldingen van transparante objecten en de objecten zelf.

Het team heeft een computer getraind om meer dan 10, 000 transparante glasachtige etsen, gebaseerd op extreem korrelige afbeeldingen van die patronen. De foto's zijn gemaakt bij zeer weinig licht, met ongeveer één foton per pixel - veel minder licht dan een camera zou registreren in het donker, afgesloten kamer. Vervolgens lieten ze de computer een nieuw korrelig beeld zien, niet opgenomen in de trainingsgegevens, en ontdekte dat het leerde het transparante object te reconstrueren dat de duisternis had verduisterd.

De resultaten tonen aan dat diepe neurale netwerken kunnen worden gebruikt om transparante kenmerken zoals biologische weefsels en cellen te verlichten, in foto's die met heel weinig licht zijn gemaakt.

"In het labortorium, als je biologische cellen opblaast met licht, je verbrandt ze, en er valt niets meer te verbeelden, " zegt George Barbastathis, hoogleraar werktuigbouwkunde aan het MIT. "Als het gaat om röntgenbeeldvorming, als u een patiënt blootstelt aan röntgenstralen, je vergroot het risico dat ze kanker krijgen. Wat we hier doen is, u kunt dezelfde beeldkwaliteit krijgen, maar met een lagere blootstelling aan de patiënt. En in de biologie je kunt de schade aan biologische exemplaren verminderen als je ze wilt bemonsteren."

De co-auteurs van Barbastathis op het papier zijn hoofdauteur Alexandre Goy, Kwabena Arthur, en Shuai Li.

Diep donker leren

Neurale netwerken zijn rekenschema's die zijn ontworpen om de manier waarop de neuronen van de hersenen samenwerken om complexe gegevensinvoer te verwerken, losjes na te bootsen. Een neuraal netwerk werkt door opeenvolgende "lagen" van wiskundige manipulaties uit te voeren. Elke rekenlaag berekent de kans op een gegeven output, op basis van een eerste invoer. Bijvoorbeeld, een afbeelding van een hond gegeven, een neuraal netwerk kan kenmerken identificeren die eerst aan een dier doen denken, dan meer specifiek een hond, en uiteindelijk, een beagle. Een "diep" neuraal netwerk omvat vele, veel meer gedetailleerde berekeningslagen tussen invoer en uitvoer.

Een onderzoeker kan zo'n netwerk "trainen" om berekeningen sneller en nauwkeuriger uit te voeren, door het honderden of duizenden afbeeldingen te geven, niet alleen van honden, maar andere dieren voorwerpen, en mensen, samen met het juiste label voor elke afbeelding. Gezien genoeg gegevens om van te leren, het neurale netwerk moet volledig nieuwe beelden correct kunnen classificeren.

Diepe neurale netwerken zijn op grote schaal toegepast op het gebied van computervisie en beeldherkenning, en onlangs, Barbastathis en anderen ontwikkelden neurale netwerken om transparante objecten te reconstrueren in afbeeldingen die met veel licht zijn gemaakt. Nu is zijn team de eerste die diepe neurale netwerken gebruikt in experimenten om onzichtbare objecten te onthullen in foto's die in het donker zijn gemaakt.

"Onzichtbare objecten kunnen op verschillende manieren worden onthuld, maar meestal moet je voldoende licht gebruiken, " zegt Barbastathis. "Wat we nu doen is het visualiseren van de onzichtbare objecten, in het donker. Dus het is als twee moeilijkheden gecombineerd. En toch kunnen we nog steeds dezelfde hoeveelheid openbaringen doen."

De wet van het licht

Het team raadpleegde een database van 10, 000 geïntegreerde schakelingen (IC), die elk zijn geëtst met een ander ingewikkeld patroon van horizontale en verticale balken.

"Als we met het blote oog kijken, we zien niet veel - ze zien er allemaal uit als een transparant stuk glas, " zegt Goy. "Maar er zijn eigenlijk heel fijne en ondiepe structuren die nog steeds effect hebben op licht."

In plaats van elk van de 10 te etsen, 000 patronen op evenveel glasplaatjes, gebruikten de onderzoekers een "phase ruimtelijke lichtmodulator, " een instrument dat het patroon op een enkel glasplaatje weergeeft op een manier die hetzelfde optische effect nabootst dat een echt geëtst plaatje zou hebben.

De onderzoekers zetten een experiment op waarbij ze een camera richtten op een klein aluminium frame met daarin de lichtmodulator. Vervolgens gebruikten ze het apparaat om elk van de 10, 000 IC-patronen uit de database. De onderzoekers bedekten het hele experiment, zodat het afgeschermd was van licht, en vervolgens de lichtmodulator gebruikt om snel door elk patroon te roteren, vergelijkbaar met een diacarrousel. Ze namen foto's van elk transparant patroon, in bijna totale duisternis, het produceren van "peper-en-zout" beelden die weinig meer leken dan statische op een televisiescherm.

Het team ontwikkelde een diep neuraal netwerk om transparante patronen van donkere beelden te identificeren, voedde vervolgens het netwerk elk van de 10, 000 korrelige foto's gemaakt door de camera, samen met hun bijbehorende patronen, of wat de onderzoekers 'grondwaarheden' noemden.

"Je vertelt de computer, 'Als ik dit invul, je haalt dit eruit, '" zegt Goy. "Je doet dit 10, 000 keer, en na de opleiding je hoopt dat als je het een nieuwe input geeft, het kan je vertellen wat het ziet."

"Het is een beetje erger dan een baby, ' grapt Barbastathis. 'Meestal leren baby's wat sneller.'

De onderzoekers stelden hun camera in om foto's te maken die enigszins onscherp waren. Hoe contra-intuïtief het ook lijkt, dit werkt eigenlijk om een ​​transparant object in beeld te brengen. Of, preciezer, onscherpte levert enig bewijs, in de vorm van rimpelingen in het gedetecteerde licht, dat er een transparant object aanwezig kan zijn. Dergelijke rimpelingen zijn een visuele vlag die een neuraal netwerk kan detecteren als een eerste teken dat een object zich ergens in de korreligheid van een afbeelding bevindt.

Maar onscherpte zorgt ook voor onscherpte, die de berekeningen van een neuraal netwerk kunnen vertroebelen. Om hiermee om te gaan, de onderzoekers hebben in het neurale netwerk een wet in de natuurkunde opgenomen die het gedrag van licht beschrijft, en hoe het een vervagingseffect creëert wanneer een camera onscherp is.

"Wat we weten is de fysieke wet van de voortplanting van licht tussen het monster en de camera, " zegt Barbastathis. "Het is beter om deze kennis op te nemen in het model, dus het neurale netwerk verspilt geen tijd aan het leren van iets dat we al weten."

Scherper beeld

Na het trainen van het neurale netwerk op 10, 000 afbeeldingen van verschillende IC-patronen, het team creëerde een volledig nieuw patroon, niet inbegrepen in de originele trainingsset. Toen ze een afbeelding van het patroon maakten, weer in duisternis, en voerde dit beeld in het neurale netwerk, ze vergeleken de patronen die het neurale netwerk reconstrueerde, zowel met als zonder de fysieke wet ingebed in het netwerk.

Ze ontdekten dat beide methoden het oorspronkelijke transparante patroon redelijk goed reconstrueerden, maar de "fysica-geïnformeerde reconstructie" produceerde een scherpere, nauwkeuriger beeld. Bovendien, dit gereconstrueerde patroon, van een foto genomen in bijna totale duisternis, meer gedefinieerd was dan een natuurkundig geïnformeerde reconstructie van hetzelfde patroon, afgebeeld in licht dat meer dan 1 was 000 keer helderder.

Het team herhaalde hun experimenten met een totaal nieuwe dataset, bestaande uit meer dan 10, 000 afbeeldingen van meer algemene en gevarieerde objecten, inclusief mensen, plaatsen, en dieren. Na het trainen, de onderzoekers gaven het neurale netwerk een volledig nieuw beeld, genomen in het donker, van een transparante ets van een tafereel met gondels aangemeerd aan een pier. Opnieuw, ze ontdekten dat de fysica-geïnformeerde reconstructie een nauwkeuriger beeld van het origineel produceerde, vergeleken met reproducties zonder de fysieke wet ingebed.

"We hebben aangetoond dat deep learning onzichtbare objecten in het donker kan onthullen, Goy zegt. "Dit resultaat is van praktisch belang voor medische beeldvorming om de blootstelling van de patiënt aan schadelijke straling te verminderen, en voor astronomische beeldvorming."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.