De automatische identificatie van complexe kenmerken in afbeeldingen is nu al realiteit geworden dankzij kunstmatige neurale netwerken. Enkele voorbeelden van software die gebruikmaakt van deze techniek zijn het automatische taggingsysteem van Facebook, Google's beeldzoekmachine en het dier- en plantherkenningssysteem van iNaturalist. We weten dat deze netwerken zijn geïnspireerd door het menselijk brein, maar hun werkingsmechanisme is nog steeds mysterieus.

Nieuw onderzoek, uitgevoerd door SISSA in samenwerking met de Technische Universiteit van München en gepubliceerd voor de 33e jaarlijkse NeurIPS-conferentie, stelt een nieuwe benadering voor voor het bestuderen van diepe neurale netwerken en werpt nieuw licht op de beeldverwerkingsprocessen die deze netwerken kunnen uitvoeren.

Vergelijkbaar met wat er gebeurt in het visuele systeem, neurale netwerken die worden gebruikt voor automatische beeldherkenning analyseren de inhoud geleidelijk, door een keten van verwerkingsfasen. Echter, daten, het is niet helemaal duidelijk met welke mechanismen diepe netwerken hun buitengewone nauwkeurigheidsniveau kunnen bereiken.

"We hebben een innovatieve methode ontwikkeld om systematisch het niveau van complexiteit te meten van de informatie die is gecodeerd in de verschillende lagen van een diep netwerk - de zogenaamde intrinsieke dimensie van beeldrepresentaties, " zeggen Davide Zoccolan en Alessandro Laio, respectievelijk neurowetenschapper en natuurkundige bij SISSA. "Dankzij een multidisciplinair werk waarbij deskundigen op het gebied van natuurkunde hebben samengewerkt, neurowetenschappen en machine learning, we zijn erin geslaagd een instrument te gebruiken dat oorspronkelijk in een ander gebied is ontwikkeld om het functioneren van diepe neurale netwerken te bestuderen."

SISSA-wetenschappers, in samenwerking met Jakob Macke van de Technische Universiteit van München, hebben onderzocht hoe de informatie die is verkregen uit neurale netwerken die worden gebruikt voor beeldclassificatie wordt verwerkt:"We hebben geconstateerd dat beeldrepresentaties een progressieve transformatie ondergaan. In de vroege verwerkingsstadia, beeldinformatie is waarheidsgetrouw en uitputtend weergegeven, waardoor rijke en complexe voorstellingen ontstaan. In de laatste verwerkingsfasen, de informatie is radicaal vereenvoudigd, het produceren van beeldrepresentaties die worden ondersteund door enkele tientallen parameters, "Verklaren de twee wetenschappers. "Verrassend genoeg ontdekten we dat de nauwkeurigheid van de classificatie van een neuraal netwerk sterk afhangt van het vermogen om te vereenvoudigen:hoe meer het de informatie vereenvoudigt, hoe nauwkeuriger het is."

Dit is een bijzonder belangrijk resultaat voor SISSA, dat onlangs een nieuw onderzoeksprogramma op het gebied van datawetenschap heeft gelanceerd, met als doel het bestuderen en ontwikkelen van innovatieve algoritmen voor de verwerking van complexe en grote datasets.