Onderzoekers van de Oregon State University boeken belangrijke vooruitgang met een nieuw type optische sensor die het vermogen van het menselijk oog om veranderingen in zijn gezichtsveld waar te nemen beter nabootst.

De sensor is een grote doorbraak voor gebieden als beeldherkenning, robotica en kunstmatige intelligentie. De bevindingen van OSU College of Engineering-onderzoeker John Labram en afgestudeerde student Cinthya Trujillo Herrera werden vandaag gepubliceerd in Technische Natuurkunde Brieven .

Eerdere pogingen om een ​​apparaat van het menselijk oog te bouwen, een retinomorfe sensor genoemd, hebben vertrouwd op software of complexe hardware, zei Labram, universitair docent elektrotechniek en informatica. Maar de werking van de nieuwe sensor maakt deel uit van het fundamentele ontwerp, met behulp van ultradunne lagen perovskiet-halfgeleiders - die de afgelopen jaren veel zijn bestudeerd vanwege hun zonne-energiepotentieel - die veranderen van sterke elektrische isolatoren in sterke geleiders wanneer ze in het licht worden geplaatst.

"Je kunt het zien als een enkele pixel die iets doet waarvoor momenteel een microprocessor nodig is, " zei Labram, die de onderzoeksinspanningen leidt met steun van de National Science Foundation.

De nieuwe sensor zou een perfecte match kunnen zijn voor de neuromorfische computers die de volgende generatie kunstmatige intelligentie zullen aandrijven in toepassingen zoals zelfrijdende auto's, robotica en geavanceerde beeldherkenning, zei Labram. In tegenstelling tot traditionele computers, die informatie opeenvolgend verwerken als een reeks instructies, neuromorfe computers zijn ontworpen om de massaal parallelle netwerken van het menselijk brein na te bootsen.

"Mensen hebben geprobeerd dit in hardware te repliceren en zijn redelijk succesvol geweest, "Zei Labram. "Echter, hoewel de algoritmen en architectuur die zijn ontworpen om informatie te verwerken, steeds meer op een menselijk brein gaan lijken, de informatie die deze systemen ontvangen is nog steeds onmiskenbaar ontworpen voor traditionele computers."

Met andere woorden:om zijn volledige potentieel te bereiken, een computer die meer als een menselijk brein 'denkt', heeft een beeldsensor nodig die meer als een menselijk oog 'ziet'.

Een spectaculair complex orgel, het oog bevat ongeveer 100 miljoen fotoreceptoren. Echter, de oogzenuw heeft slechts 1 miljoen verbindingen met de hersenen. Dit betekent dat er een aanzienlijke hoeveelheid voorbewerking en dynamische compressie in het netvlies moet plaatsvinden voordat het beeld kan worden verzonden.

Zoals het blijkt, ons gezichtsvermogen is bijzonder goed aangepast om bewegende objecten te detecteren en is relatief "minder geïnteresseerd" in statische beelden, zei Labram. Dus, onze optische circuits geven prioriteit aan signalen van fotoreceptoren die een verandering in lichtintensiteit detecteren - u kunt dit zelf aantonen door naar een vast punt te staren totdat objecten in uw perifere zicht beginnen te verdwijnen, een fenomeen dat bekend staat als het Troxler-effect.

Conventionele detectietechnologieën, zoals de chips in digitale camera's en smartphones, zijn beter geschikt voor sequentiële verwerking, zei Labram. Beelden worden gescand over een tweedimensionale reeks sensoren, pixel voor pixel, op een vaste frequentie. Elke sensor genereert een signaal met een amplitude die direct varieert met de intensiteit van het ontvangen licht, wat betekent dat een statisch beeld zal resulteren in een min of meer constante uitgangsspanning van de sensor.

Daarentegen, de retinomorfe sensor blijft relatief stil onder statische omstandigheden. Het registreert een korte, scherp signaal wanneer het een verandering in verlichting detecteert, keert dan snel terug naar zijn basislijnstatus. Dit gedrag is te danken aan de unieke foto-elektrische eigenschappen van een klasse halfgeleiders die bekend staat als perovskieten, die een grote belofte hebben getoond als de volgende generatie, goedkope materialen voor zonnecellen.

In de retinomorfe sensor van Labram, de perovskiet wordt in ultradunne lagen aangebracht, slechts een paar honderd nanometer dik, en functioneert in wezen als een condensator die zijn capaciteit onder verlichting varieert. Een condensator slaat energie op in een elektrisch veld.

"De manier waarop we het testen is, in principe, we laten het even in het donker staan, dan doen we de lichten aan en laten ze gewoon aan, ' zei hij. 'Zodra het licht aangaat, je krijgt deze grote spanningspiek, dan neemt de spanning snel af, ook al is de intensiteit van het licht constant. En dat is wat we willen."

Hoewel het lab van Labram momenteel slechts één sensor tegelijk kan testen, zijn team heeft een aantal apparaten gemeten en een numeriek model ontwikkeld om hun gedrag te repliceren, komen tot wat Labram "een goede match" vindt tussen theorie en experiment.

Hierdoor kon het team een ​​reeks retinomorfe sensoren simuleren om te voorspellen hoe een retinomorfe videocamera zou reageren op invoerstimulus.

"We kunnen video converteren naar een reeks lichtintensiteiten en dat vervolgens in onze simulatie zetten, "Zei Labram. "Regio's waar een hogere spanning wordt voorspeld door de sensor lichten op, terwijl de gebieden met een lagere spanning donker blijven. Als de camera relatief statisch is, je kunt duidelijk zien dat alle dingen die bewegen sterk reageren. Dit blijft redelijk trouw aan het paradigma van optische detectie bij zoogdieren."

Een simulatie met beelden van een honkbaltraining laat de verwachte resultaten zien:Spelers in het infield verschijnen als duidelijk zichtbaar, heldere bewegende objecten. Relatief statische objecten - de honkbaldiamant, de tribunes, zelfs de outfielders - verdwijnen in de duisternis.

Een nog opvallendere simulatie toont een vogel die in zicht vliegt, dan bijna verdwijnen als het stopt bij een onzichtbare vogelvoeder. De vogel verschijnt weer als hij opstijgt. de voeder, zet zwaaiend, wordt pas zichtbaar als het begint te bewegen.

"Het mooie is dat, met deze simulatie we kunnen elke video in een van deze arrays invoeren en die informatie op in wezen dezelfde manier verwerken als het menselijk oog zou doen, "Zei Labram. "Bijvoorbeeld, je kunt je voorstellen dat deze sensoren worden gebruikt door een robot die de beweging van objecten volgt. Alles wat statisch is in zijn gezichtsveld zou geen reactie uitlokken, een bewegend object zou echter een hoge spanning registreren. Dit zou de robot onmiddellijk vertellen waar het object was, zonder complexe beeldverwerking."