Wetenschap
Onderzoekers gebruiken AI om de beeldkwaliteit van metalen camera's te verbeteren
Metalensen zijn ultradunne optische apparaten – vaak slechts een fractie van een millimeter dik – die nanostructuren gebruiken om licht te manipuleren. Hoewel hun kleine formaat mogelijk extreem compacte en lichtgewicht camera's mogelijk zou maken zonder traditionele optische lenzen, was het moeilijk om met deze optische componenten de noodzakelijke beeldkwaliteit te bereiken.
"Onze technologie zorgt ervoor dat onze op metalen gebaseerde apparaten de beperkingen van de beeldkwaliteit kunnen overwinnen", zegt onderzoeksteamleider Ji Chen van de Southeast University in China. "Deze vooruitgang zal een belangrijke rol spelen in de toekomstige ontwikkeling van zeer draagbare consumentenelektronica en kan ook worden gebruikt in gespecialiseerde beeldtoepassingen zoals microscopie."
In het tijdschrift Optics Letters beschrijven de onderzoekers hoe ze een type machinaal leren gebruikten dat bekend staat als een meerschalig convolutioneel neuraal netwerk om de resolutie, het contrast en de vervorming te verbeteren in beelden van een kleine camera (ongeveer 3 cm x 3 cm x 0,5 cm) die ze creëerden door directe integratie een metalens op een CMOS-beeldchip.
"Met Metals geïntegreerde camera's kunnen rechtstreeks worden geïntegreerd in de beeldmodules van smartphones, waar ze de traditionele refractieve bulklenzen kunnen vervangen", aldus Chen. "Ze zouden ook kunnen worden gebruikt in apparaten zoals drones, waarbij de kleine en lichtgewicht camera de beeldkwaliteit zou garanderen zonder de mobiliteit van de drone in gevaar te brengen."
Beeldkwaliteit verbeteren
De camera die in het nieuwe werk wordt gebruikt, is eerder door de onderzoekers ontwikkeld en maakt gebruik van een metalen met 1000 nm hoge cilindrische nanopalen van siliciumnitride. De metalens richten het licht rechtstreeks op een CMOS-beeldsensor zonder dat er andere optische elementen nodig zijn.
Hoewel dit ontwerp een zeer kleine camera creëerde, beperkte de compacte architectuur de beeldkwaliteit. Daarom besloten de onderzoekers om te kijken of machine learning gebruikt kon worden om de beelden te verbeteren.
Deep learning is een vorm van machine learning waarbij gebruik wordt gemaakt van kunstmatige neurale netwerken met meerdere lagen om automatisch functies uit gegevens te leren en complexe beslissingen of voorspellingen te doen. De onderzoekers pasten deze aanpak toe door een convolutiebeeldvormingsmodel te gebruiken om een groot aantal beeldparen van hoge en lage kwaliteit te genereren. Deze beeldparen werden gebruikt om een convolutioneel neuraal netwerk op meerdere schaalniveaus te trainen, zodat het de kenmerken van elk type afbeelding kon herkennen en dat kon gebruiken om afbeeldingen van lage kwaliteit om te zetten in afbeeldingen van hoge kwaliteit.
"Een belangrijk onderdeel van dit werk was het ontwikkelen van een manier om de grote hoeveelheid trainingsgegevens te genereren die nodig zijn voor het leerproces van neurale netwerken", aldus Chen. "Eenmaal getraind kan een beeld van lage kwaliteit vanaf het apparaat naar het neurale netwerk worden gestuurd voor verwerking, en worden onmiddellijk beeldresultaten van hoge kwaliteit verkregen."
Het neurale netwerk toepassen
Om de nieuwe deep learning-techniek te valideren, gebruikten de onderzoekers deze op 100 testbeelden. Ze analyseerden twee veelgebruikte beeldverwerkingsstatistieken:de pieksignaal-ruisverhouding en de structurele gelijkenis-index.
Ze ontdekten dat de door het neurale netwerk verwerkte beelden een significante verbetering vertoonden in beide statistieken. Ze toonden ook aan dat de aanpak snel beeldgegevens van hoge kwaliteit kon genereren die sterk leken op wat direct door experimenten werd vastgelegd.
De onderzoekers ontwerpen nu metalenses met complexe functionaliteiten, zoals kleur- of groothoekbeeldvorming, en ontwikkelen neurale netwerkmethoden om de beeldkwaliteit van deze geavanceerde metalenses te verbeteren. Om deze technologie praktisch te maken voor commerciële toepassingen zijn nieuwe assemblagetechnieken nodig voor het integreren van metalenses in beeldmodules voor smartphones en software voor het verbeteren van de beeldkwaliteit die speciaal is ontworpen voor mobiele telefoons.
"Ultralichtgewicht en ultradunne metalenses vertegenwoordigen een revolutionaire technologie voor toekomstige beeldvorming en detectie", aldus Chen. "Het gebruik van deep learning-technieken om de prestaties van metalen te optimaliseren markeert een cruciaal ontwikkelingstraject. We voorzien machine learning als een cruciale trend in het bevorderen van fotonica-onderzoek."