Ondanks alles wat neurale netwerken kunnen bereiken, begrijpen we nog steeds niet echt hoe ze werken. Natuurlijk kunnen we ze programmeren om te leren, maar het besluitvormingsproces van een machine begrijpen blijft net als een mooie puzzel met een duizelingwekkend, complex patroon waarin nog veel integrale stukjes moeten worden geplaatst.

Als een model bijvoorbeeld een afbeelding van de puzzel probeerde te classificeren, zou het bekende, maar vervelende aanvallen van tegenstanders kunnen tegenkomen, of zelfs meer alledaagse gegevens- of verwerkingsproblemen. Maar een nieuw, subtieler type storing dat onlangs door MIT-wetenschappers is geïdentificeerd, is een andere reden tot bezorgdheid:"overinterpretatie", waarbij algoritmen zelfverzekerde voorspellingen doen op basis van details die voor mensen niet logisch zijn, zoals willekeurige patronen of afbeeldingsgrenzen.

Dit kan met name zorgwekkend zijn voor omgevingen met een hoge inzet, zoals beslissingen in een fractie van een seconde voor zelfrijdende auto's en medische diagnostiek voor ziekten die meer onmiddellijke aandacht nodig hebben. Vooral autonome voertuigen zijn sterk afhankelijk van systemen die de omgeving nauwkeurig kunnen begrijpen en vervolgens snelle, veilige beslissingen kunnen nemen. Het netwerk gebruikte specifieke achtergronden, randen of bepaalde patronen van de lucht om verkeerslichten en straatnaamborden te classificeren, ongeacht wat er nog meer op de afbeelding stond.

Het team ontdekte dat neurale netwerken die waren getraind op populaire datasets zoals CIFAR-10 en ImageNet te lijden hadden van overinterpretatie. Modellen die op CIFAR-10 waren getraind, deden bijvoorbeeld betrouwbare voorspellingen, zelfs wanneer 95 procent van de invoerbeelden ontbrak, en de rest is onzinnig voor mensen.

"Overinterpretatie is een datasetprobleem dat wordt veroorzaakt door deze onzinnige signalen in datasets. Deze zeer betrouwbare afbeeldingen zijn niet alleen onherkenbaar, ze bevatten minder dan 10 procent van de originele afbeelding in onbelangrijke gebieden, zoals grenzen. We ontdekten dat deze afbeeldingen zinloos voor mensen, maar modellen kunnen ze nog steeds met veel vertrouwen classificeren", zegt Brandon Carter, MIT Computer Science and Artificial Intelligence Laboratory Ph.D. student en hoofdauteur van een paper over het onderzoek.

Deep-image classifiers worden veel gebruikt. Naast medische diagnose en het stimuleren van autonome voertuigtechnologie, zijn er use-cases in beveiliging, gaming en zelfs een app die je vertelt of iets een hotdog is of niet, omdat we soms geruststelling nodig hebben. De technologie in discussie werkt door individuele pixels van tonnen vooraf gelabelde afbeeldingen te verwerken zodat het netwerk kan 'leren'.

Beeldclassificatie is moeilijk, omdat modellen voor machinaal leren deze onzinnige subtiele signalen kunnen vasthouden. Wanneer beeldclassificatoren vervolgens worden getraind op datasets zoals ImageNet, kunnen ze schijnbaar betrouwbare voorspellingen doen op basis van die signalen.

Hoewel deze onzinnige signalen kunnen leiden tot modelfragiliteit in de echte wereld, zijn de signalen in feite geldig in de datasets, wat betekent dat overinterpretatie niet kan worden gediagnosticeerd met behulp van typische evaluatiemethoden die op die nauwkeurigheid zijn gebaseerd.

Om de reden voor de voorspelling van het model op een bepaalde invoer te vinden, beginnen de methoden in de huidige studie met het volledige beeld en vragen herhaaldelijk, wat kan ik uit dit beeld verwijderen? In wezen blijft het de afbeelding bedekken, totdat je het kleinste stukje overhoudt dat nog steeds een zelfverzekerde beslissing neemt.

Daartoe zouden deze methoden ook als een soort validatiecriteria kunnen worden gebruikt. Als u bijvoorbeeld een autonoom rijdende auto heeft die een getrainde machine-learningmethode gebruikt voor het herkennen van stopborden, kunt u die methode testen door de kleinste invoersubset te identificeren die een stopteken vormt. Als dat bestaat uit een boomtak, een bepaald tijdstip van de dag of iets dat geen stopbord is, zou je je zorgen kunnen maken dat de auto zou kunnen stoppen op een plaats waar het niet hoort.

Hoewel het lijkt alsof het model hier de waarschijnlijke boosdoener is, is de kans groter dat de datasets de schuld krijgen. "Het is de vraag hoe we de datasets zodanig kunnen aanpassen dat modellen kunnen worden getraind om beter na te bootsen hoe een mens zou denken over het classificeren van afbeeldingen en daarom hopelijk beter generaliseren in deze realistische scenario's, zoals autonoom rijden en medische diagnose, zodat de modellen dit onzinnige gedrag niet vertonen", zegt Carter.

Dit kan betekenen dat er datasets moeten worden gemaakt in meer gecontroleerde omgevingen. Momenteel zijn het alleen foto's die worden geëxtraheerd uit openbare domeinen die vervolgens worden geclassificeerd. Maar als je bijvoorbeeld aan objectidentificatie wilt doen, kan het nodig zijn om modellen te trainen met objecten met een weinig informatieve achtergrond.