Ongeveer tien jaar geleden begonnen dieplerende modellen bovenmenselijke resultaten te behalen bij allerlei taken, van het verslaan van wereldkampioen bordspelspelers tot het beter presteren dan artsen bij het diagnosticeren van borstkanker.

Deze krachtige modellen voor diep leren zijn meestal gebaseerd op kunstmatige neurale netwerken, die voor het eerst werden voorgesteld in de jaren 1940 en een populair type machine learning zijn geworden. Een computer leert gegevens te verwerken met behulp van lagen onderling verbonden knooppunten, of neuronen, die het menselijk brein nabootsen.

Naarmate het gebied van machine learning is gegroeid, zijn kunstmatige neurale netwerken meegegroeid.

Deep-learningmodellen zijn nu vaak samengesteld uit miljoenen of miljarden onderling verbonden knooppunten in vele lagen die zijn getraind om detectie- of classificatietaken uit te voeren met behulp van enorme hoeveelheden gegevens. Maar omdat de modellen zo enorm complex zijn, begrijpen zelfs de onderzoekers die ze ontwerpen niet helemaal hoe ze werken. Dit maakt het moeilijk om te weten of ze correct werken.

Een model dat is ontworpen om artsen te helpen bij het diagnosticeren van patiënten, voorspelde bijvoorbeeld dat een huidlaesie kanker was, maar deed dit door te focussen op een niet-verwant teken dat vaak voorkomt wanneer er kankerweefsel op een foto is, in plaats van op het kankergezwel. weefsel zelf. Dit staat bekend als een valse correlatie. Het model krijgt de voorspelling goed, maar doet dat om de verkeerde reden. In een echte klinische omgeving waar het merkteken niet verschijnt op kankerpositieve beelden, kan dit leiden tot gemiste diagnoses.

Met zoveel onzekerheid rond deze zogenaamde "black-box"-modellen, hoe kun je dan ontrafelen wat er in de doos gebeurt?

Deze puzzel heeft geleid tot een nieuw en snel groeiend onderzoeksgebied waarin onderzoekers verklaringsmethoden (ook wel interpreteerbaarheidsmethoden genoemd) ontwikkelen en testen die enig licht willen werpen op hoe black-box machine learning-modellen voorspellingen doen.

Wat zijn uitlegmethoden?

Op hun meest basale niveau zijn uitlegmethoden globaal of lokaal. Een lokale verklaringsmethode richt zich op het uitleggen hoe het model één specifieke voorspelling deed, terwijl globale verklaringen het algemene gedrag van een heel model proberen te beschrijven. Dit wordt vaak gedaan door een apart, eenvoudiger (en hopelijk begrijpelijk) model te ontwikkelen dat het grotere black-boxmodel nabootst.

Maar omdat deep learning-modellen op fundamenteel complexe en niet-lineaire manieren werken, is het ontwikkelen van een effectief globaal verklaringsmodel bijzonder uitdagend. Dit heeft ertoe geleid dat onderzoekers veel van hun recente focus op lokale verklaringsmethoden hebben gelegd, legt Yilun Zhou uit, een afgestudeerde student in de Interactive Robotics Group van het Computer Science and Artificial Intelligence Laboratory (CSAIL), die modellen, algoritmen en evaluaties bestudeert in interpreteerbare machine learning.

De meest populaire soorten lokale uitlegmethoden vallen in drie brede categorieën.

Het eerste en meest gebruikte type verklaringsmethode staat bekend als kenmerkattributie. Kenmerkattributiemethoden laten zien welke functies het belangrijkst waren toen het model een specifieke beslissing nam.

Functies zijn de invoervariabelen die worden ingevoerd in een machine learning-model en worden gebruikt bij de voorspelling ervan. Wanneer de gegevens in tabelvorm zijn, worden kenmerken uit de kolommen in een gegevensset getrokken (ze worden getransformeerd met behulp van verschillende technieken zodat het model de onbewerkte gegevens kan verwerken). Voor beeldverwerkingstaken daarentegen is elke pixel in een afbeelding een functie. Als een model voorspelt dat een röntgenfoto bijvoorbeeld kanker laat zien, zou de feature-attributiemethode de pixels in die specifieke röntgenfoto markeren die het belangrijkst waren voor de voorspelling van het model.

In wezen laten kenmerkattributiemethoden zien waar het model de meeste aandacht aan besteedt wanneer het een voorspelling doet.

"Met deze uitleg over functieattributie kun je controleren of er sprake is van een valse correlatie. Zo kun je zien of de pixels in een watermerk zijn gemarkeerd of dat de pixels in een echte tumor zijn gemarkeerd", zegt Zhou.

Een tweede type verklaringsmethode staat bekend als een contrafeitelijke verklaring. Gegeven een invoer en de voorspelling van een model, laten deze methoden zien hoe die invoer kan worden gewijzigd zodat deze in een andere klasse valt. Als een machine-learningmodel bijvoorbeeld voorspelt dat een lener een lening zou worden geweigerd, laat de contrafeitelijke verklaring zien welke factoren moeten worden gewijzigd om haar leningaanvraag te accepteren. Misschien moet haar kredietscore of inkomen, beide functies die worden gebruikt in de voorspelling van het model, hoger zijn voordat ze wordt goedgekeurd.

"Het goede aan deze uitlegmethode is dat het je precies vertelt hoe je de invoer moet veranderen om de beslissing om te draaien, wat praktisch nut kan hebben. Voor iemand die een hypotheek aanvraagt ​​en deze niet heeft gekregen, zou deze uitleg wat ze moeten doen om het gewenste resultaat te bereiken", zegt hij.

De derde categorie verklaringsmethoden staat bekend als voorbeeldbelangverklaringen. In tegenstelling tot de andere, vereist deze methode toegang tot de gegevens die zijn gebruikt om het model te trainen.

Een uitleg over het belang van een voorbeeld laat zien op welke trainingssteekproef een model het meest vertrouwde toen het een specifieke voorspelling deed; idealiter is dit het monster dat het meest lijkt op de invoergegevens. Dit type uitleg is vooral nuttig als men een schijnbaar irrationele voorspelling waarneemt. Er is mogelijk een gegevensinvoerfout opgetreden die van invloed was op een bepaald monster dat werd gebruikt om het model te trainen. Met deze kennis zou men dat monster kunnen repareren en het model opnieuw kunnen trainen om de nauwkeurigheid te verbeteren.

Hoe worden uitlegmethoden gebruikt?

Een motivatie voor het ontwikkelen van deze verklaringen is het uitvoeren van kwaliteitsborging en het debuggen van het model. Met meer begrip van hoe functies van invloed zijn op de beslissing van een model, kan men bijvoorbeeld vaststellen dat een model niet goed werkt en ingrijpen om het probleem op te lossen, of het model weggooien en opnieuw beginnen.

Een ander, recenter onderzoeksgebied is het verkennen van het gebruik van modellen voor machinaal leren om wetenschappelijke patronen te ontdekken die mensen nog niet eerder hebben ontdekt. Een model voor de diagnose van kanker dat beter presteert dan clinici, kan bijvoorbeeld defect zijn, of het kan zelfs verborgen patronen in een röntgenfoto oppikken die een vroege pathologische route voor kanker vertegenwoordigen die ofwel onbekend waren bij menselijke artsen of waarvan gedacht werd dat ze irrelevant, zegt Zhou.

Het is echter nog erg vroeg voor dat onderzoeksgebied.

Woorden van waarschuwing

Hoewel uitlegmethoden soms nuttig kunnen zijn voor beoefenaars van machine learning wanneer ze proberen bugs in hun modellen op te sporen of de innerlijke werking van een systeem te begrijpen, moeten eindgebruikers voorzichtig te werk gaan wanneer ze proberen ze in de praktijk te gebruiken, zegt Marzyeh Ghassemi , een assistent-professor en hoofd van de Healthy ML Group in CSAIL.

Naarmate machine learning in meer disciplines is toegepast, van gezondheidszorg tot onderwijs, worden uitlegmethoden gebruikt om besluitvormers te helpen de voorspellingen van een model beter te begrijpen, zodat ze weten wanneer ze het model moeten vertrouwen en de richtlijnen in de praktijk kunnen gebruiken. Maar Ghassemi waarschuwt ervoor deze methoden niet op die manier te gebruiken.

"We hebben ontdekt dat verklaringen mensen, zowel experts als niet-experts, overmoedig maken in het vermogen of het advies van een specifiek aanbevelingssysteem. Ik denk dat het erg belangrijk is voor mensen om dat interne circuit niet uit te schakelen en te vragen:'Laat me het advies in twijfel trekken dat ik
gegeven ben'", zegt ze.

Wetenschappers weten dat verklaringen mensen overmoedig maken op basis van ander recent werk, voegt ze eraan toe, daarbij verwijzend naar enkele recente onderzoeken van Microsoft-onderzoekers.

Verre van een wondermiddel, hebben verklaringsmethoden hun deel van de problemen. Ten eerste heeft Ghassemi's recente onderzoek aangetoond dat verklaringsmethoden vooroordelen in stand kunnen houden en tot slechtere resultaten kunnen leiden voor mensen uit kansarme groepen.

Een andere valkuil van uitlegmethoden is dat het vaak niet te zeggen is of de uitlegmethode überhaupt wel klopt. Je zou de uitleg moeten vergelijken met het daadwerkelijke model, maar aangezien de gebruiker niet weet hoe het model werkt, is dit circulaire logica, zegt Zhou.

Hij en andere onderzoekers werken aan het verbeteren van verklaringsmethoden, zodat ze trouwer zijn aan de voorspellingen van het werkelijke model, maar Zhou waarschuwt ervoor dat zelfs de beste verklaring met een korreltje zout moet worden genomen.

"Bovendien beschouwen mensen deze modellen over het algemeen als mensachtige besluitvormers, en zijn we vatbaar voor overgeneralisatie. We moeten mensen kalmeren en tegenhouden om er echt voor te zorgen dat het algemene modelbegrip dat ze bouwen op basis van deze lokale verklaringen, klopt. evenwichtig", voegt hij eraan toe.

Zhou's meest recente onderzoek probeert precies dat te doen.

Wat biedt de toekomst voor uitlegmethoden voor machine learning?

In plaats van zich te concentreren op het geven van uitleg, betoogt Ghassemi dat de onderzoeksgemeenschap meer moeite moet doen om te bestuderen hoe informatie wordt gepresenteerd aan besluitvormers, zodat ze deze begrijpen, en dat er meer regelgeving moet worden ingevoerd om ervoor te zorgen dat modellen voor machinaal leren verantwoord gebruikt in de praktijk. Betere uitlegmethoden alleen zijn niet het antwoord.

"Ik ben enthousiast om te zien dat er veel meer erkenning is, zelfs in de industrie, dat we niet zomaar deze informatie kunnen gebruiken en een mooi dashboard kunnen maken en aannemen dat mensen daarmee beter zullen presteren. Je moet meetbare verbeteringen in actie hebben , en ik hoop dat dit leidt tot echte richtlijnen voor het verbeteren van de manier waarop we informatie weergeven op deze zeer technische gebieden, zoals medicijnen", zegt ze.

En naast nieuw werk dat gericht is op het verbeteren van verklaringen, verwacht Zhou meer onderzoek te zien met betrekking tot verklaringsmethoden voor specifieke gebruiksgevallen, zoals modelfoutopsporing, wetenschappelijke ontdekking, eerlijkheidscontrole en veiligheidsgarantie. Door fijnmazige kenmerken van verklaringsmethoden en de vereisten van verschillende use-cases te identificeren, konden onderzoekers een theorie opstellen die verklaringen zou matchen met specifieke scenario's, wat zou kunnen helpen om enkele van de valkuilen te overwinnen die voortvloeien uit het gebruik ervan in real-world scenario's.