Zoals elke bestuurder weet, kunnen ongevallen in een oogwenk gebeuren, dus als het gaat om het camerasysteem in autonome voertuigen, is de verwerkingstijd van cruciaal belang. De tijd die het systeem nodig heeft om een ​​afbeelding te maken en de gegevens aan de microprocessor te leveren voor beeldverwerking, kan het verschil betekenen tussen het vermijden van een obstakel of het krijgen van een zwaar ongeval.

In-sensor beeldverwerking, waarbij belangrijke functies worden geëxtraheerd uit onbewerkte gegevens door de beeldsensor zelf in plaats van de afzonderlijke microprocessor, kan de visuele verwerking versnellen. Tot op heden zijn demonstraties van in-sensor verwerking beperkt tot opkomende onderzoeksmaterialen die, althans voorlopig, moeilijk te integreren zijn in commerciële systemen.

Nu hebben onderzoekers van de Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) de eerste in-sensor-processor ontwikkeld die kan worden geïntegreerd in commerciële siliciumbeeldvormingssensorchips - bekend als complementaire metaaloxide-halfgeleider (CMOS) beeldsensoren – die worden gebruikt in bijna alle commerciële apparaten die visuele informatie moeten vastleggen, inclusief smartphones.

Het onderzoek is gepubliceerd in Nature Electronics .

"Ons werk kan de reguliere halfgeleiderelektronica-industrie benutten om in-sensor computing snel naar een breed scala aan real-world toepassingen te brengen", zegt Donhee Ham, de Gordon McKay Professor of Electrical Engineering and Applied Physics bij SEAS en senior auteur van de paper .

Ham en zijn team ontwikkelden een silicium fotodiode-array. In de handel verkrijgbare beelddetectiechips hebben ook een silicium fotodiode-array om beelden vast te leggen, maar de fotodiodes van het team zijn elektrostatisch gedoteerd, wat betekent dat de gevoeligheid van individuele fotodiodes, of pixels, voor binnenkomend licht kan worden afgestemd door spanningen. Een array die meerdere spanningsafstembare fotodiodes met elkaar verbindt, kan een analoge versie van vermenigvuldigings- en optellingsbewerkingen uitvoeren die centraal staan ​​in veel beeldverwerkingspijplijnen, waarbij de relevante visuele informatie wordt geëxtraheerd zodra het beeld is vastgelegd.

"Deze dynamische fotodiodes kunnen tegelijkertijd afbeeldingen filteren terwijl ze worden vastgelegd, waardoor de eerste fase van de beeldverwerking van de microprocessor naar de sensor zelf kan worden verplaatst", zegt Houk Jang, een postdoctoraal fellow bij SEAS en eerste auteur van het artikel.

De silicium fotodiode-array kan worden geprogrammeerd in verschillende beeldfilters om onnodige details of ruis voor verschillende toepassingen te verwijderen. Een beeldvormingssysteem in een autonoom voertuig kan bijvoorbeeld een hoogdoorlaatfilter nodig hebben om rijstrookmarkeringen te volgen, terwijl andere toepassingen een filter kunnen vereisen dat vervaagt voor ruisonderdrukking.

"Vooruitkijkend voorzien we het gebruik van deze op silicium gebaseerde in-sensor-processor niet alleen in machine vision-toepassingen, maar ook in bio-geïnspireerde toepassingen, waarbij vroege informatieverwerking de co-locatie van sensor- en rekeneenheden mogelijk maakt, zoals in het brein", zegt Henry Hinton, een afgestudeerde student aan SEAS en mede-eerste auteur van het artikel.

Vervolgens wil het team de dichtheid van fotodiodes verhogen en ze integreren met geïntegreerde siliciumcircuits.

"Door de standaard niet-programmeerbare pixels in commerciële siliciumbeeldsensoren te vervangen door de programmeerbare die hier zijn ontwikkeld, kunnen beeldvormingsapparaten op intelligente wijze onnodige gegevens wegsnijden, waardoor ze efficiënter kunnen worden gemaakt in zowel energie als bandbreedte om te voldoen aan de eisen van de volgende generatie van zintuiglijke toepassingen", zegt Jang. + Verder verkennen

Onderzoekers ontwerpen zeer gevoelige, in massa produceerbare organische fotodetectoren