Onderzoekers van IBM Research UK, de Amerikaanse militaire academie en de universiteit van Cardiff hebben onlangs een nieuwe benadering voorgesteld om de gevoeligheid van LIME te verbeteren (Local Interpretable Model Agnostic Explanations), een techniek om de conclusies van machine learning-algoritmen beter te begrijpen. hun papier, gepubliceerd in de digitale bibliotheek SPIE, zou kunnen helpen bij de ontwikkeling van hulpmiddelen voor kunstmatige intelligentie (AI) die uitgebreide uitleg geven over hoe ze tot een bepaald resultaat of een bepaalde conclusie zijn gekomen.

"Wij geloven dat AI en machine learning de menselijke besluitvorming kunnen ondersteunen en verbeteren, maar dat er ook behoefte is aan verklaarbare AI, "Eunjin Lee, co-auteur van de originele onderzoekspaper en Emerging Technology Specialist en Senior Inventor bij IBM Research U.K., vertelde TechXplore. "Vandaag, beslissingen van veel machine learning-systemen zijn onverklaarbaar, d.w.z., wij mensen kunnen op geen enkele manier weten hoe de systemen tot die beslissingen zijn gekomen. Ons onderzoek pakt dit probleem aan door te onderzoeken hoe verklaarbaarheidstechnieken kunnen worden verbeterd die licht werpen op de 'black-box'-aard van machine learning-processen."

LIME is een bijzonder populaire verklaarbaarheidstechniek die op veel machine learning-modellen kan worden toegepast. Ondanks zijn veelzijdigheid, het wordt vaak gezien als onbetrouwbaar en dus ineffectief bij het geven van verklaringen, ook vanwege de variabiliteit in de resultaten die het oplevert. In plaats van een geheel nieuwe verklaarbaarheidstechniek te ontwikkelen, Lee en haar collega's gingen op zoek naar mechanismen die LIME-verklaringen zouden kunnen verbeteren.

"We wilden eerst dieper ingaan op de instabiliteit die andere onderzoekers hebben waargenomen om te bepalen of LIME echt onstabiel was, " legde Lee uit. "Om dit te doen, we hebben LIME getest tegen onze dataset en machine learning-model zonder de onderliggende code te wijzigen. We ontdekten meteen dat de resulterende uitlegbeelden aanzienlijk varieerden en niet consistent leken. Dit is misschien het punt waarop velen gewoon zouden stoppen met het gebruik van de techniek."

Toen Lee en haar collega's dieper in de onderliggende statistieken van LIME groeven, ontdekten ze dat hoewel de beelden die het voortbracht "visueel onstabiel, " de standaardverklaring hield geen rekening met alle statistische informatie. het inkleuren van verklarende afbeeldingen was te eenvoudig en hield geen rekening met de volledige onderliggende gegevens (bijv. geen rekening gehouden met technieken zoals arcering of transparantie). Deze bevinding verklaart gedeeltelijk waarom verklaringen die door LIME worden gegenereerd soms niet de zekerheid van classificatie overbrengen op menselijke gebruikers.

"Het is vaak het geval voor dynamische systemen, zoals degene die we in dit onderzoek hebben onderzocht, dat het uitvoeren van talrijke tests en het onderzoeken van gemiddelde waarden nuttig kan zijn, " zei Lee. "Door deze benadering te volgen, we realiseerden ons dat de stabiliteit van de verklaringen wel verbeterde bij het beschouwen van gemiddelde waarden en standaarddeviaties over meerdere runs in plaats van de verklaring slechts één keer uit te voeren."

In hun studie hebben Lee en haar collega's trainden een convolutioneel neuraal netwerk (CNN) -model met behulp van twee klassen afbeeldingen, namelijk "gun-wielder" en "non-wielder." Ze ontdekten dat de gevoeligheid van LIME verbeterde wanneer verschillende uitvoergewichten voor individuele afbeeldingen werden gemiddeld en gevisualiseerd.

De onderzoekers vergeleken deze gemiddelde afbeeldingen vervolgens met individuele afbeeldingen om de variabiliteit en betrouwbaarheid van de twee LIME-methoden (d.w.z. de traditionele methode en degene die ze voorstelden) te evalueren. Ze ontdekten dat traditionele LIME-technieken, zonder de aanpassingen die ze maakten, leken onstabiel te zijn vanwege de eenvoudige binaire kleur die ze aannamen en het gemak waarmee gekleurde gebieden omdraaiden bij het vergelijken van verschillende analyses. Lee en haar collega's merkten ook op dat de aanzienlijk gewogen gebieden van afbeeldingen consistent waren, terwijl de lager gewogen regio's staten omdraaiden, vanwege de inherente instabiliteit van KALK-technieken.

"Technieken zoals LIME zijn veelbelovend voor de verklaarbaarheid van AI, vooral in een tijd waarin er geen gemakkelijke, direct beschikbare uitlegmogelijkheden voor machine learning-systemen, " zei Lee. "Hoewel de waargenomen instabiliteit gerechtvaardigd is, er zijn technieken die dit probleem kunnen helpen verminderen. Deze technieken hebben extra rekenkosten, bijv. de uitleg meerdere keren uitvoeren, wat betekent dat de gebruiker een grotere vertraging zal hebben bij het genereren van de uitleg."

Het onderzoek dat Lee en haar collega's hebben uitgevoerd, biedt een waardevolle verklaring voor enkele van de factoren achter de instabiliteit van LIME, zoals waargenomen in eerder onderzoek. Hun bevindingen suggereren dat het verbeteren van wegingsmethoden voor verklaarbaarheidstechnieken hun stabiliteit kan verbeteren en tot betrouwbaardere verklaringen kan leiden, uiteindelijk een groter vertrouwen in AI bevorderen. Toekomstig onderzoek zou meer geavanceerde numerieke technieken kunnen identificeren om de stabiliteit van LIME en andere verklaarbaarheidsmethoden verder te verbeteren en tegelijkertijd de extra overhead te verminderen.

"We hebben een voortdurende interesse in verantwoordelijke AI-systemen die uitleg bevatten, maar ook vooroordelen verminderen en de robuustheid en transparantie verbeteren, Lee zei. "Het verbeteren van de mogelijkheid voor ontwikkelaars om eenvoudiger verklaarbaarheidstechnieken in hun AI-oplossingen in te bedden, is een belangrijk doel voor ons. Onlangs, IBM heeft een softwareservice gelanceerd die automatisch bias detecteert en uitlegt hoe AI beslissingen neemt."

© 2019 Wetenschap X Netwerk