In een druk ziekenhuis gebruikt een radioloog een kunstmatige-intelligentiesysteem om haar te helpen bij het diagnosticeren van medische aandoeningen op basis van röntgenfoto's van patiënten. Het gebruik van het AI-systeem kan haar helpen snellere diagnoses te stellen, maar hoe weet ze wanneer ze de voorspellingen van de AI moet vertrouwen?

Dat doet ze niet. In plaats daarvan kan ze vertrouwen op haar expertise, een betrouwbaarheidsniveau dat wordt geleverd door het systeem zelf, of een uitleg van hoe het algoritme zijn voorspelling heeft gedaan - die er misschien overtuigend uitziet maar toch verkeerd is - om een ​​schatting te maken.

Om mensen te helpen beter te begrijpen wanneer ze een AI-teamgenoot moeten vertrouwen, hebben MIT-onderzoekers een onboarding-techniek ontwikkeld die mensen begeleidt bij het ontwikkelen van een nauwkeuriger begrip van de situaties waarin een machine correcte voorspellingen doet en die waarin het onjuiste voorspellingen doet.

Door mensen te laten zien hoe de AI hun capaciteiten aanvult, kan de trainingstechniek mensen helpen betere beslissingen te nemen of sneller tot conclusies te komen wanneer ze met AI-agenten werken.

"We stellen een leerfase voor waarin we de mens geleidelijk kennis laten maken met dit AI-model, zodat ze voor zichzelf de zwakke en sterke punten kunnen zien", zegt Hussein Mozannar, een afgestudeerde student in de Clinical Machine Learning Group van de Computer Science and Artificial Intelligence Laboratorium (CSAIL) en het Instituut voor Medische Technologie en Wetenschap. "We doen dit door de manier na te bootsen waarop de mens in de praktijk met de AI zal omgaan, maar we grijpen in om hen feedback te geven om hen te helpen elke interactie die ze met de AI maken te begrijpen."

Mozannar schreef het artikel met Arvind Satyanarayan, een assistent-professor in de computerwetenschappen die de Visualization Group in CSAIL leidt; en senior auteur David Sontag, universitair hoofddocent elektrotechniek en computerwetenschappen aan het MIT en leider van de Clinical Machine Learning Group. Het onderzoek wordt in februari gepresenteerd op de Association for the Advancement of Artificial Intelligence.

Mentale modellen

Dit werk richt zich op de mentale modellen die mensen over anderen bouwen. Als de radioloog niet zeker is van een zaak, kan ze een collega vragen die deskundig is op een bepaald gebied. Uit eerdere ervaringen en haar kennis van deze collega, heeft ze een mentaal model van zijn sterke en zwakke punten dat ze gebruikt om zijn advies te beoordelen.

Mensen bouwen dezelfde soorten mentale modellen wanneer ze communiceren met AI-agenten, dus het is belangrijk dat die modellen nauwkeurig zijn, zegt Mozannar. Cognitieve wetenschap suggereert dat mensen beslissingen nemen voor complexe taken door zich eerdere interacties en ervaringen te herinneren. Dus ontwierpen de onderzoekers een onboarding-proces dat representatieve voorbeelden biedt van de samenwerking tussen mens en AI, die als referentiepunten dienen waar de mens in de toekomst op kan putten. Ze begonnen met het maken van een algoritme dat voorbeelden kan identificeren die de mens het beste leren over de AI.

"We leren eerst de vooroordelen en sterke punten van een menselijke expert, met behulp van observaties van hun eerdere beslissingen zonder geleide door AI", zegt Mozannar. "We combineren onze kennis over de mens met wat we weten over de AI om te zien waar het nuttig is voor de mens om op de AI te vertrouwen. Dan krijgen we gevallen waarin we weten dat de mens op de AI moet vertrouwen en soortgelijke gevallen waarin de de mens mag niet vertrouwen op de AI."

De onderzoekers testten hun onboarding-techniek op een op passages gebaseerde vraagantwoordtaak:de gebruiker ontvangt een geschreven passage en een vraag waarvan het antwoord in de passage staat. De gebruiker moet dan de vraag beantwoorden en kan op een knop klikken om 'de AI te laten antwoorden'. De gebruiker kan het AI-antwoord echter niet van tevoren zien, waardoor hij moet vertrouwen op zijn mentale model van de AI. Het door hen ontwikkelde onboardingproces begint met het tonen van deze voorbeelden aan de gebruiker, die met behulp van het AI-systeem een ​​voorspelling probeert te doen. De mens kan gelijk of ongelijk hebben, en de AI kan gelijk of ongelijk hebben, maar in beide gevallen ziet de gebruiker na het oplossen van het voorbeeld het juiste antwoord en een verklaring waarom de AI zijn voorspelling heeft gekozen. Om de gebruiker te helpen bij het generaliseren van het voorbeeld, worden twee contrasterende voorbeelden getoond die uitleggen waarom de AI het goed of fout heeft gedaan.

De trainingsvraag vraagt ​​bijvoorbeeld welke van de twee planten inheems is in meer continenten, gebaseerd op een ingewikkelde alinea uit een botanie-leerboek. De mens kan zelf antwoorden of het AI-systeem laten antwoorden. Dan ziet ze twee vervolgvoorbeelden die haar helpen een beter beeld te krijgen van de mogelijkheden van de AI. Misschien heeft de AI het bij een vervolgvraag over fruit bij het verkeerde eind, maar bij een vraag over geologie. In elk voorbeeld worden de woorden gemarkeerd die het systeem heeft gebruikt om zijn voorspelling te doen. Het zien van de gemarkeerde woorden helpt de mens de grenzen van de AI-agent te begrijpen, legt Mozannar uit.

Om de gebruiker te helpen behouden wat ze hebben geleerd, schrijft de gebruiker de regel op die ze afleidt uit dit leervoorbeeld, zoals "Deze AI is niet goed in het voorspellen van bloemen." Zij kan deze regels dan later raadplegen bij het werken met de makelaar in de praktijk. Deze regels vormen ook een formalisering van het mentale model van de gebruiker van de AI.

De impact van lesgeven

De onderzoekers testten deze lestechniek met drie groepen deelnemers. De ene groep doorliep de hele onboarding-techniek, een andere groep ontving de vervolgvergelijkingsvoorbeelden niet en de baselinegroep kreeg geen les, maar kon het antwoord van de AI van tevoren zien.

"De deelnemers die les kregen, deden het net zo goed als de deelnemers die geen les kregen, maar het antwoord van de AI konden zien. Dus de conclusie is dat ze het antwoord van de AI net zo goed kunnen simuleren alsof ze het hadden gezien." zegt Mozannar.

De onderzoekers groeven dieper in de gegevens om de regels te zien die individuele deelnemers schreven. Ze ontdekten dat bijna 50 procent van de mensen die training kregen nauwkeurige lessen schreven over de capaciteiten van AI. Degenen die nauwkeurige lessen hadden, hadden gelijk met 63 procent van de voorbeelden, terwijl degenen die geen nauwkeurige lessen hadden, gelijk hadden met 54 procent. En degenen die geen les kregen, maar wel de AI-antwoorden konden zien, hadden op 57 procent van de vragen gelijk.

"Als lesgeven succesvol is, heeft dat een grote impact. Dat is de boodschap hier. Als we deelnemers effectief les kunnen geven, kunnen ze beter presteren dan wanneer je ze het antwoord zou geven", zegt hij.

Maar de resultaten laten ook zien dat er nog steeds een lacune is. Slechts 50 procent van degenen die werden getraind, bouwden nauwkeurige mentale modellen van de AI, en zelfs degenen die dat wel deden, hadden slechts 63 procent van de tijd gelijk. Hoewel ze nauwkeurige lessen leerden, volgden ze niet altijd hun eigen regels, zegt Mozannar.

Dat is een vraag die de onderzoekers achter hun oren laat krabben - zelfs als mensen weten dat de AI gelijk zou moeten hebben, waarom luisteren ze dan niet naar hun eigen mentale model? Ze willen deze vraag in de toekomst onderzoeken en het onboardingproces verfijnen om de hoeveelheid tijd die het kost te verminderen. Ze zijn ook geïnteresseerd in het uitvoeren van gebruikersonderzoeken met complexere AI-modellen, met name in zorginstellingen.