Onderzoekers stellen een raamwerk voor kunstmatige intelligentie (AI) voor waarmee gebruikers de grondgedachte achter AI-beslissingen kunnen begrijpen. Het werk is belangrijk, gezien de druk om af te stappen van "black box" AI-systemen, met name in sectoren, zoals militaire en rechtshandhaving, waar het nodig is om beslissingen te rechtvaardigen.

"Een ding dat ons raamwerk onderscheidt, is dat we deze interpreteerbaarheidselementen onderdeel maken van het AI-trainingsproces, " zegt Tianfu Wu, eerste auteur van het artikel en een assistent-professor computertechniek aan de North Carolina State University.

"Bijvoorbeeld, onder ons kader, wanneer een AI-programma leert objecten in afbeeldingen te identificeren, het leert ook het doelobject in een afbeelding te lokaliseren, en om te ontleden wat het is over die plaats die voldoet aan de criteria van het doelobject. Deze informatie wordt dan naast het resultaat gepresenteerd."

In een proof-of-concept-experiment onderzoekers hebben het raamwerk opgenomen in het veelgebruikte R-CNN AI-objectidentificatiesysteem. Ze lieten het systeem vervolgens op twee draaien, gevestigde benchmarkgegevenssets.

De onderzoekers ontdekten dat het opnemen van het interpreteerbaarheidskader in het AI-systeem de prestaties van het systeem in termen van tijd of nauwkeurigheid niet schaadde.

"We denken dat dit een belangrijke stap is in de richting van volledig transparante AI, " zegt Wu. "Echter, er zijn nog onopgeloste problemen.

"Bijvoorbeeld, het raamwerk laat momenteel de AI ons de locatie van een object zien die aspecten van de afbeelding die het beschouwt als onderscheidende kenmerken van het doelobject. Dat is kwalitatief. We werken aan manieren om deze kwantitatieve, het opnemen van een vertrouwensscore in het proces."