In de afgelopen jaren hebben vorderingen in de immense verwerkingscapaciteit en parallelliteit van moderne grafische verwerkingseenheden (GPU's) geleid tot de snelle ontwikkeling van diep leren op basis van convolutionele neurale netwerken (CNN), wat heeft geleid tot effectieve oplossingen voor een verscheidenheid aan problemen in kunstmatige-intelligentietoepassingen . De enorme hoeveelheden gegevens die betrokken zijn bij visieverwerking, beperken de toepassing van CNN's echter tot die draagbare, energiezuinige, rekenefficiënte hardware om gegevens ter plaatse te verwerken.

Er zijn verschillende onderzoeken uitgevoerd op het gebied van optisch computergebruik om de uitdagingen van elektrische neurale netwerken te overwinnen. Optisch computergebruik heeft veel aantrekkelijke voordelen, zoals optisch parallellisme, dat de computersnelheid aanzienlijk kan verbeteren, en optische passiviteit kan de energiekosten verlagen en de latentie minimaliseren. Optische neurale netwerken (ONN's) bieden een manier om de rekensnelheid te verhogen en de bandbreedteknelpunten van elektrische eenheden te overwinnen. ONN's vereisen echter een coherente laser als lichtbron voor berekeningen en kunnen nauwelijks worden gecombineerd met een volwassen machine vision-systeem in scènes met natuurlijk licht. Dus zijn opto-elektronische hybride neurale netwerken voorgesteld, waarbij de voorkant optisch is en de achterkant elektrisch is. Deze op lenzen gebaseerde systemen maken het gebruik in edge-apparaten, zoals autonome voertuigen, moeilijker.

In een nieuw artikel gepubliceerd in Light:Science &Applications, een team van onderzoekers, onder leiding van professor Hongwei Chen van het Beijing National Research Center for Information Science and Technology (BNRist), Department of Electronic Engineering, Tsinghua University, China, heeft een lensloze opto-elektronische neurale netwerkarchitectuur (LOEN) ontwikkeld voor computervisie taken waarbij gebruik wordt gemaakt van een passief masker dat in het beeldvormende lichtpad is ingebracht om convolutiebewerkingen in het optische veld uit te voeren en de uitdaging aangaat om onsamenhangende en breedbandige lichtsignalen in natuurlijke scènes te verwerken. Bovendien worden de optische link, beeldsignaalverwerking en back-end netwerk soepel gecombineerd om gezamenlijke optimalisatie voor specifieke taken te bereiken om de rekeninspanning en het energieverbruik in de hele pijplijn te verminderen.

Vergeleken met de hardware-architectuur in conventionele machine vision, wordt een optisch masker dicht bij de beeldsensor voorgesteld om de lenzen te vervangen. Volgens de geometrische opticatheorie dat licht zich in een rechte lijn voortplant, kunnen de scènes worden beschouwd als sets van puntlichtbronnen en wordt het optische signaal ruimtelijk gemoduleerd door het masker om de convolutiebewerking van verschuiving en superpositie op de beeldsensor te realiseren. Er is geverifieerd dat optische maskers de convolutionele lagen van neurale netwerken kunnen vervangen voor feature-extractie in het optische domein.

Voor objectclassificatietaken zoals handgeschreven cijferherkenning, is een lichtgewicht netwerk voor realtime herkenning gebouwd om de prestaties van de optische convolutie in de architectuur te verifiëren. Bij gebruik van een enkele convolutie-kernel kan de herkenningsnauwkeurigheid 93,47% bereiken. Wanneer de meerkanaals convolutiebewerking wordt geïmplementeerd door meerdere kernels parallel op het masker te plaatsen, kan de classificatienauwkeurigheid worden verbeterd tot 97,21%. In vergelijking met traditionele machine vision-koppelingen kan het ongeveer 50% van het energieverbruik besparen.

Verder, door de dimensie van het optische masker uit te breiden, wordt het beeld geconvolueerd in het optische domein en legt de sensor een gealiast beeld vast dat onherkenbaar is voor het menselijk oog, dat op natuurlijke wijze privé-informatie kan versleutelen zonder computerconsumptie. De prestaties van optische codering werden geverifieerd bij de gezichtsherkenningstaak. Vergeleken met het willekeurige MLS-patroon is de herkenningsnauwkeurigheid van het masker dat gezamenlijk is geoptimaliseerd door een end-to-end netwerk met meer dan 6% verbeterd. Tegelijkertijd met versleuteling voor privacybescherming, behaalde het in feite dezelfde prestaties op het gebied van herkenningsnauwkeurigheid als methoden zonder versleuteling.

Dit werk stelt een extreem vereenvoudigd systeem voor voor machine vision-taken, dat niet alleen de opto-elektronische neurale netwerkberekening in natuurlijke scènes realiseert, maar ook de volledige opto-elektronische link opent om gezamenlijke optimalisatie te voltooien om de beste resultaten voor een specifieke vision-taak te bereiken. In combinatie met de niet-lineaire materialen zal het neurale netwerk met volledig natuurlijk licht worden bereikt. De nieuwe architectuur zal tal van potentiële toepassingen hebben in veel actuele scenario's, zoals autonoom rijden, slimme huizen en slimme beveiliging. + Verder verkennen

All-optical computing gebaseerd op convolutionele neurale netwerken