Kunstmatige intelligentie, in het bijzonder machine learning - maakt deel uit van het dagelijks leven van computer- en smartphonegebruikers. Van het automatisch corrigeren van typefouten tot het aanbevelen van nieuwe muziek, machine learning-algoritmen kunnen het leven gemakkelijker maken. Ze kunnen ook fouten maken.

Het kan voor computerwetenschappers een uitdaging zijn om erachter te komen wat er in dergelijke gevallen is misgegaan. Dit komt omdat veel algoritmen voor machine learning leren van informatie en hun voorspellingen doen in een virtuele "black box, " en laat weinig aanwijzingen achter voor onderzoekers om te volgen.

Een groep computerwetenschappers van de Universiteit van Maryland heeft een veelbelovende nieuwe benadering ontwikkeld voor het interpreteren van machine learning-algoritmen. In tegenstelling tot eerdere pogingen, die doorgaans probeerden de algoritmen te "breken" door sleutelwoorden uit de invoer te verwijderen om het verkeerde antwoord op te leveren, de UMD-groep verminderde in plaats daarvan de invoer tot het absolute minimum dat nodig is om het juiste antwoord te geven. Gemiddeld, de onderzoekers kregen het juiste antwoord met een invoer van minder dan drie woorden.

In sommige gevallen, de modelalgoritmen van de onderzoekers gaven het juiste antwoord op basis van een enkel woord. Vaak, het ingevoerde woord of zinsdeel leek weinig duidelijk verband te houden met het antwoord, onthullende belangrijke inzichten in hoe sommige algoritmen reageren op specifieke taal. Omdat veel algoritmen zijn geprogrammeerd om hoe dan ook een antwoord te geven, zelfs als ze worden gevraagd door een onzinnige invoer, kunnen de resultaten computerwetenschappers helpen om effectievere algoritmen te bouwen die hun eigen beperkingen kunnen herkennen.

De onderzoekers presenteren hun werk op 4 november, 2018 op de 2018-conferentie over empirische methoden in natuurlijke taalverwerking.

"Black-box-modellen lijken beter te werken dan eenvoudigere modellen, zoals beslisbomen, maar zelfs de mensen die de eerste code hebben geschreven, kunnen niet precies zeggen wat er gebeurt, " zei Jordan Boyd-Graber, de senior auteur van de studie en een universitair hoofddocent computerwetenschappen aan de UMD. "Als deze modellen onjuiste of onzinnige antwoorden geven, het is moeilijk om erachter te komen waarom. Dus in plaats daarvan, we hebben geprobeerd de minimale invoer te vinden die het juiste resultaat zou opleveren. De gemiddelde invoer was ongeveer drie woorden, maar in sommige gevallen zouden we het tot een enkel woord kunnen herleiden."

In een voorbeeld, de onderzoekers voerden een foto van een zonnebloem in en de op tekst gebaseerde vraag, "Welke kleur heeft de bloem?" als invoer in een modelalgoritme. Deze invoer leverde het juiste antwoord 'geel' op. Na het herformuleren van de vraag in verschillende kortere woordcombinaties, de onderzoekers ontdekten dat ze hetzelfde antwoord konden krijgen met "bloem?" als de enige tekstinvoer voor het algoritme.

In een andere, complexer voorbeeld, de onderzoekers gebruikten de prompt, "In 1899, John Jacob Astor IV investeerde $ 100, 000 voor Tesla om een ​​nieuw verlichtingssysteem verder te ontwikkelen en te produceren. In plaats daarvan, Tesla gebruikte het geld om zijn experimenten in Colorado Springs te financieren."

Vervolgens vroegen ze het algoritme, "Waar heeft Tesla het geld van Astor aan uitgegeven?" en kreeg het juiste antwoord, "Colorado Springs-experimenten." Het reduceren van deze invoer tot het enkele woord "deed" leverde hetzelfde juiste antwoord op.

Het werk onthult belangrijke inzichten over de regels die machine learning-algoritmen toepassen bij het oplossen van problemen. Veel echte problemen met algoritmen ontstaan ​​​​wanneer een invoer die logisch is voor mensen resulteert in een onzinnig antwoord. Door aan te tonen dat het tegenovergestelde ook mogelijk is - dat onzinnige inputs ook correcte, verstandige antwoorden - Boyd-Graber en zijn collega's demonstreren de behoefte aan algoritmen die kunnen herkennen wanneer ze een onzinnige vraag met een hoge mate van vertrouwen beantwoorden.

"Waar het op neerkomt is dat al dit mooie machine learning-gedoe eigenlijk best dom kan zijn, " zei Boyd-Graber, die ook co-aanstellingen heeft aan de University of Maryland Institute for Advanced Computer Studies (UMIACS) en het UMD's College of Information Studies and Language Science Center. "Als computerwetenschappers deze modellen trainen, we laten ze meestal alleen echte vragen of echte zinnen zien. We laten ze geen onzinnige zinnen of losse woorden zien. De modellen weten niet dat ze door deze voorbeelden in de war moeten worden gebracht."

De meeste algoritmen zullen zichzelf dwingen om een ​​antwoord te geven, zelfs met onvoldoende of tegenstrijdige gegevens, volgens Boyd-Graber. Dit zou de kern kunnen zijn van enkele van de onjuiste of onzinnige resultaten die worden gegenereerd door machine learning-algoritmen - in modelalgoritmen die worden gebruikt voor onderzoek, evenals real-world algoritmen die ons helpen door spam-e-mail te markeren of alternatieve routebeschrijvingen aan te bieden. Als u meer over deze fouten begrijpt, kunnen computerwetenschappers oplossingen vinden en betrouwbaardere algoritmen bouwen.

"We laten zien dat modellen kunnen worden getraind om te weten dat ze verward moeten worden, "Zei Boyd-Graber. "Dan kunnen ze gewoon naar buiten komen en zeggen:'Je hebt me iets laten zien dat ik niet kan begrijpen.'"