Softwareapplicaties bieden mensen vele soorten geautomatiseerde beslissingen, zoals het identificeren van het kredietrisico van een persoon, een recruiter informeren over welke sollicitant hij moet aannemen, of bepalen of iemand een bedreiging vormt voor het publiek. In recente jaren, krantenkoppen waarschuwen voor een toekomst waarin machines op de achtergrond van de samenleving opereren, beslissen over de loop van mensenlevens met behulp van onbetrouwbare logica.

Een deel van deze angst is afgeleid van de obscure manier waarop veel machine learning-modellen werken. Bekend als black-box-modellen, ze worden gedefinieerd als systemen waarin de reis van input naar output bijna onmogelijk is voor zelfs hun ontwikkelaars om te begrijpen.

"Naarmate machine learning alomtegenwoordig wordt en wordt gebruikt voor toepassingen met ernstigere gevolgen, het is nodig dat mensen begrijpen hoe het voorspellingen doet, zodat ze het zullen vertrouwen als het meer doet dan alleen een advertentie plaatsen, " zegt Jonathan Su, een lid van de technische staf van de Informatics and Decision Support Group van MIT Lincoln Laboratory.

Momenteel, onderzoekers gebruiken ofwel post hoc technieken ofwel een interpreteerbaar model zoals een beslisboom om uit te leggen hoe een black-box model tot zijn conclusie komt. Met post hoc technieken, onderzoekers observeren de invoer en uitvoer van een algoritme en proberen vervolgens een benadering te construeren voor wat er in de zwarte doos is gebeurd. Het probleem met deze methode is dat onderzoekers alleen kunnen gissen naar de innerlijke werking, en de verklaringen kunnen vaak verkeerd zijn. Beslissingsbomen, die keuzes en hun mogelijke gevolgen in een boomachtige constructie in kaart brengen, goed werken voor categorische gegevens waarvan de functies zinvol zijn, maar deze bomen zijn niet interpreteerbaar in belangrijke domeinen, zoals computer vision en andere complexe dataproblemen.

Su leidt een team in het laboratorium dat samenwerkt met professor Cynthia Rudin aan de Duke University, samen met Duke-studenten Chaofan Chen, Oscar Li, en Alina Barnett, naar methoden om black-boxmodellen te vervangen door voorspellingsmethoden die transparanter zijn. hun project, genaamd Adaptable Interpretable Machine Learning (AIM), richt zich op twee benaderingen:interpreteerbare neurale netwerken en aanpasbare en interpreteerbare Bayesiaanse regellijsten (BRL's).

Een neuraal netwerk is een computersysteem dat is samengesteld uit vele onderling verbonden verwerkingselementen. Deze netwerken worden doorgaans gebruikt voor beeldanalyse en objectherkenning. Bijvoorbeeld, een algoritme kan worden geleerd om te herkennen of een foto een hond bevat door eerst foto's van honden te zien. Onderzoekers zeggen dat het probleem met deze neurale netwerken is dat hun functies niet-lineair en recursief zijn, maar ook ingewikkeld en verwarrend voor de mens, en het eindresultaat is dat het moeilijk is vast te stellen wat het netwerk precies heeft gedefinieerd als 'hondsigheid' in de foto's en wat het tot die conclusie heeft geleid.

Om dit probleem aan te pakken, het team ontwikkelt wat het 'prototype neurale netwerken' noemt. Deze verschillen van traditionele neurale netwerken doordat ze van nature verklaringen coderen voor elk van hun voorspellingen door prototypes te maken, die bijzonder representatieve delen van een invoerbeeld zijn. Deze netwerken maken hun voorspellingen op basis van de gelijkenis van delen van het invoerbeeld met elk prototype.

Als voorbeeld, als een netwerk de taak heeft om te bepalen of een afbeelding een hond is, kat, of paard, het zou delen van de afbeelding vergelijken met prototypes van belangrijke delen van elk dier en deze informatie gebruiken om een ​​voorspelling te doen. Een paper over dit werk:"Dit ziet er zo uit:deep learning voor interpreteerbare beeldherkenning, " was onlangs te zien in een aflevering van de "Data Science at Home"-podcast. Een eerder artikel, "Deep Learning voor casusgebaseerd redeneren door middel van prototypes:een neuraal netwerk dat zijn voorspellingen verklaart, " gebruikte volledige afbeeldingen als prototypes, in plaats van onderdelen.

Het andere gebied dat het onderzoeksteam onderzoekt, zijn BRL's, die minder ingewikkeld zijn, eenzijdige beslisbomen die geschikt zijn voor tabelgegevens en vaak even nauwkeurig zijn als andere modellen. BRL's zijn gemaakt van een opeenvolging van voorwaardelijke uitspraken die van nature een interpreteerbaar model vormen. Bijvoorbeeld, als de bloeddruk hoog is, dan is het risico op hartaandoeningen hoog. Su en collega's gebruiken eigenschappen van BRL's om gebruikers in staat te stellen aan te geven welke kenmerken van belang zijn voor een voorspelling. Ook ontwikkelen zij interactieve BRL's, die onmiddellijk kan worden aangepast wanneer nieuwe gegevens binnenkomen, in plaats van helemaal opnieuw te worden gekalibreerd op een steeds groter wordende dataset.

Stephanie Carnell, een afgestudeerde student van de Universiteit van Florida en een zomerstagiair in de Informatics and Decision Support Group, past de interactieve BRL's uit het AIM-programma toe op een project om geneeskundestudenten te helpen beter te worden in het interviewen en diagnosticeren van patiënten. Momenteel, medische studenten oefenen deze vaardigheden door virtuele patiënten te interviewen en een score te krijgen van hoeveel belangrijke diagnostische informatie ze konden ontdekken. Maar de score bevat geen uitleg over wat, precies, in het interview dat de studenten deden om hun score te behalen. Het AIM-project hoopt hier verandering in te brengen.

"Ik kan me voorstellen dat de meeste medische studenten behoorlijk gefrustreerd zijn als ze een voorspelling over succes krijgen zonder een concrete reden waarom, Carnell zegt. "De regellijsten die door AIM worden gegenereerd, zouden een ideale methode moeten zijn om de studenten datagestuurde, begrijpelijke reacties."

Het AIM-programma maakt deel uit van lopend onderzoek in het laboratorium op het gebied van mens-systeemtechniek - of de praktijk van het ontwerpen van systemen die meer compatibel zijn met hoe mensen denken en functioneren, zoals begrijpelijk, in plaats van duister, algoritmen.

"Het laboratorium heeft de kans om een ​​wereldleider te zijn in het samenbrengen van mens en technologie, " zegt Hayley Reynolds, assistent-leider van de Informatica en Beslissingsondersteunende Groep. "We staan ​​aan de vooravond van enorme vooruitgang."

Melva James is een ander technisch personeelslid in de Informatics and Decision Support Group die betrokken is bij het AIM-project. "Wij in het laboratorium hebben Python-implementaties ontwikkeld van zowel BRL's als interactieve BRL's, " zegt ze. "[We] testen tegelijkertijd de uitvoer van de BRL en interactieve BRL-implementaties op verschillende besturingssystemen en hardwareplatforms om draagbaarheid en reproduceerbaarheid vast te stellen. We identificeren ook aanvullende praktische toepassingen van deze algoritmen."

Su legt uit:"We hopen een nieuwe strategische mogelijkheid voor het laboratorium te bouwen:algoritmen voor machinaal leren die mensen vertrouwen omdat ze ze begrijpen."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.