science >> Wetenschap >  >> Elektronica

In-sensor computing om machinevisie te versnellen

een, Illustratie van de ANN-fotodiode-array. Alle subpixels met dezelfde kleur zijn parallel geschakeld om M uitgangsstromen te genereren. B, Schakelschema van een enkele pixel in de fotodiode-array. C, NS, Schema's van de classifier (c) en de autoencoder (d). Onder de afbeelding van de autoencoder, getoond is een voorbeeld van codering/decodering van een letter van 28 × 28 pixels uit de MNIST-database met handgeschreven cijfers. De originele afbeelding wordt gecodeerd naar 9 code-laag neuronen en vervolgens weer gedecodeerd tot een afbeelding. Credit: Natuur (2020). DOI:10.1038/s41586-020-2038-x

Door in-sensor computing van analoge gegevens toe te passen, een team van onderzoekers van het Instituut voor Fotonica van de Technische Universiteit Wenen heeft een manier ontwikkeld om machinevisie te versnellen. In hun artikel gepubliceerd in het tijdschrift Natuur , de groep beschrijft hun ontwerp en hoe goed het presteerde tijdens het testen. Yang Chai van Hong Kong Polytechnic University heeft een News &Views-stuk gepubliceerd in hetzelfde tijdschriftnummer waarin het werk van het team wordt beschreven.

Met de huidige technologie, machine vision wordt uitgevoerd met behulp van een basissysteem met een apparaat met een beeldsensor die reageert op licht. Gegevens van de beeldsensor worden met een ander apparaat omgezet van een analoog naar een digitaal signaal. De digitale gegevens worden vervolgens door weer een ander apparaat verwerkt, lokaal of in de cloud. Dit systeem werkt redelijk goed voor huidige toepassingen, maar zal niet geschikt zijn voor degenen in de toekomst vanwege de vertraging bij het lezen en verwerken van enorme hoeveelheden beeldgegevens. In deze nieuwe poging de onderzoekers hebben een nieuw type beeldsensor voorgesteld die in beperkte mate analoge data kan verwerken.

De beeldsensor die het team in Oostenrijk voor ogen heeft, bestaat uit het inbedden van trio's van fotodiodes op een chip op een manier die het mogelijk maakt om hun gevoeligheid voor licht te vergroten of te verkleinen met behulp van een aangelegde spanning, een opstelling waarmee elke diode afzonderlijk kan worden afgesteld of gewogen. In een dergelijke opstelling, de diodes werken op dezelfde manier als zenuwen in het menselijk oog. Terwijl afbeeldingen aan het apparaat worden gepresenteerd, alle diodes reageren op basis van hun afstemming - samen, ze dienen als een netwerkvisieprocessor. Als er licht op de sensor komt, het wordt verwerkt door de lichtintensiteit toe te voegen van elk van de kolommen en rijen waaruit de sensorarray bestaat. De reeks diodes wordt vervolgens getraind voor een taak door elk lid afzonderlijk aan te passen op basis van een gewenst resultaat. De initiële leerfase neemt weinig tijd in beslag, maar als het netwerk eenmaal is getraind, verwerking vindt plaats met een snelheid die gelijk is aan de reactietijd van de fotodiodes.

Het apparaat dat de onderzoekers voor ogen hadden, was niet bedoeld om afbeeldingen te produceren. In plaats daarvan, het filtert onnodige gegevens uit en voert een eerste sortering uit. Om het te testen, de onderzoekers leerden hun apparaat drie vereenvoudigde letters te sorteren. Ze gebruikten het ook om een ​​aantal zeer eenvoudige automatische codering uit te voeren op basis van de belangrijkste kenmerken van een bepaalde afbeelding. Ze merken op dat hun ontwerp en apparaat zich nog in de proof-of-concept-fase bevinden, maar zeggen dat hun bevindingen tot nu toe bemoedigend zijn.

© 2020 Wetenschap X Netwerk