Als je ervan overtuigd was dat je de weg naar huis wist, zou je nog steeds je GPS aanzetten?

Legerwetenschappers hebben onlangs geprobeerd een soortgelijke vraag te beantwoorden vanwege een aanhoudende bezorgdheid dat kunstmatige intelligentie, wat voor veel mensen ondoorzichtig en frustrerend kan zijn, is misschien niet nuttig bij het nemen van beslissingen op het slagveld.

"Het Amerikaanse leger blijft aandringen op de modernisering van zijn strijdkrachten, met opmerkelijke inspanningen, waaronder de ontwikkeling van op smartphones gebaseerde software voor realtime informatieverstrekking, zoals de Android Tactical Assault Kit, of ATAK, en de toewijzing van aanzienlijke financiering voor onderzoek naar nieuwe AI- en machine learning-methoden om commando- en controlepersoneel te helpen, " zei Dr. James Schaffer, wetenschapper voor RDECOM's Army Research Laboratory, het bedrijfsonderzoekslaboratorium van het leger (ARL), bij ARL West in Playa Vista, Californië.

Volgens Scheffer, ondanks deze vorderingen, er is nog steeds een aanzienlijke leemte in de basiskennis over het gebruik van AI, en het is onbekend welke factoren van AI wel of niet zullen bijdragen aan militaire besluitvormingsprocessen.

Onderzoek door universiteiten en bedrijven heeft aanzienlijke vooruitgang geboekt bij het oplossen van dit probleem voor toepassingen zoals aanbevelingen voor films en restaurants, maar de bevindingen vertalen zich niet precies naar de militaire wereld.

"Bijvoorbeeld, veel onderzoeken en A/B-testen, zoals die uitgevoerd door Amazon, hebben geëxperimenteerd met verschillende vormen van overreding, argumentatie- en gebruikersinterfacestijlen om de winnende combinatie te bepalen die het meeste product beweegt of het meeste vertrouwen wekt, "Zei Schaffer. "Helaas, er zijn grote hiaten tussen de aannames in deze laagrisicodomeinen en de militaire praktijk."

Het onderzoek van het leger, dat was een samenwerking tussen legerwetenschappers en universitaire onderzoekers van de Universiteit van Californië, Santa Barbara, veronderstelt dat veel mensen veel meer vertrouwen op hun eigen capaciteiten dan op die van een computer, die hun beoordelingsvermogen zullen beïnvloeden wanneer ze onder druk worden gezet om te presteren.

Volgens Scheffer, dit houdt in dat zelfs als vlekkeloze AI zou kunnen worden gecreëerd, sommige mensen zouden niet luisteren naar het advies van de AI.

De onderzoekers construeerden een abstract vergelijkbaar met het Iterated Prisoner's Dilemma, een spel waarbij spelers moeten kiezen om in elke ronde samen te werken met of te falen tegen hun medespelers - om alle relevante factoren te beheersen.

Het Iterated Prisoner's Dilemma is gebruikt met betrekking tot verschillende problemen in de echte wereld, zoals militaire wapenwedlopen, het openbaar delen van middelen en internationale politiek.

Een online versie van het spel is ontwikkeld door het onderzoeksteam, waar spelers punten behaalden door in elke ronde goede beslissingen te nemen.

In elke ronde werd een AI gebruikt om advies te genereren, die naast de game-interface werd getoond, en deed een suggestie over welke beslissing de speler zou moeten nemen.

Onderzoekers kregen de kans om een ​​AI te ontwerpen die altijd de optimale manier van handelen aanbeveelde.

Echter, net als in het echte leven, spelers moesten handmatig toegang krijgen tot het advies van de AI, net zoals u GPS handmatig moet inschakelen, en waren vrij om zijn suggestie te accepteren of te negeren.

De onderzoekers presenteerden ook verschillende versies van deze AI - sommige waren opzettelijk onnauwkeurig, sommige vereiste spelinformatie moet handmatig worden ingevoerd, en sommigen rechtvaardigden hun suggesties met rationele argumenten.

Alle variaties van deze AI-behandelingen werden getest zodat interactie-effecten tussen AI-configuraties konden worden bestudeerd.

Mensen werden uitgenodigd om het spel online te spelen en onderzoekers verzamelden een profiel van elke speler en volgden hun gedrag.

Voor elke speler, onderzoekers vroegen naar hun bekendheid met het spel, terwijl ze ook hun ware competentie meten.

Aanvullend, halverwege het spelen werd een test gegeven die het bewustzijn van gameplay-elementen meet.

"Wat werd ontdekt, zou sommige voorstanders van AI kunnen storen, twee derde van de menselijke beslissingen was het niet eens met de AI, ongeacht het aantal fouten in de suggesties, ’, aldus Scheffer.

Hoe hoger de speler vooraf inschatte dat hij bekend was met het spel, hoe minder de AI werd gebruikt, een effect dat nog steeds werd waargenomen bij het controleren voor de nauwkeurigheid van de AI. Dit houdt in dat het verbeteren van de nauwkeurigheid van een systeem niet in staat zal zijn om de acceptatie van het systeem in deze populatie te vergroten.

"Dit zou een onschadelijke uitkomst kunnen zijn als deze spelers het echt beter zouden doen, maar ze presteerden in feite aanzienlijk slechter dan hun bescheiden leeftijdsgenoten. die meldden dat ze van tevoren minder van het spel wisten, "Zei Schaffer. "Toen de AI probeerde zijn suggesties te rechtvaardigen voor spelers die een hoge mate van bekendheid met het spel meldden, verminderd bewustzijn van gameplay-elementen werd waargenomen als een symptoom van te veel vertrouwen en zelfgenoegzaamheid."

Ondanks deze bevindingen, een overeenkomstige toename in overeenstemming met AI-suggesties werd niet waargenomen.

Dit is een catch-22 voor systeemontwerpers:incompetente gebruikers hebben vooral de AI nodig, maar het minst geneigd zijn zich te laten leiden door rationele rechtvaardigingen, aldus Scheffer.

Incompetente gebruikers waren ook het meest geneigd om te zeggen dat ze de AI vertrouwden, die werd bestudeerd door middel van een vragenlijst na de wedstrijd.

"Dit staat in schril contrast met hun waargenomen verwaarlozing van de suggesties van de AI, aantonen dat mensen niet altijd eerlijk zijn, of zich niet altijd bewust zijn van hun eigen gedrag, ’, aldus Scheffer.

Voor Schaffer en het team, dit onderzoek belicht lopende problemen in de bruikbaarheid van complexe, ondoorzichtige systemen zoals AI, ondanks voortdurende vooruitgang in nauwkeurigheid, robuustheid en snelheid.

"Het is aangetoond dat rationele argumenten voor sommige mensen niet effectief zijn, dus ontwerpers moeten misschien creatiever zijn in het ontwerpen van interfaces voor deze systemen, ’, aldus Scheffer.

Schaffer zei dat dit kan worden bereikt door een beroep te doen op emoties of concurrentievermogen, of zelfs door de aanwezigheid van de AI te verwijderen, zodat gebruikers de aanwezigheid ervan niet registreren en dus niet verankeren in hun eigen kunnen.

"Ondanks de uitdagingen in de interactie tussen mens en computer, AI-achtige systemen zullen de komende vijf jaar een integraal onderdeel vormen van de strategie van het leger, Schaffer zei. "Een van de belangrijkste uitdagingen waarmee militaire operaties tegenwoordig worden geconfronteerd, is de snelle reactie van guerrilla-tegenstanders, die vaak kortere commandoketens hebben en dus sneller kunnen handelen en reageren dan de Amerikaanse strijdkrachten. Complexe systemen die snel kunnen reageren op een veranderende omgeving en de informatiestroom versnellen, kunnen de responstijden verbeteren en helpen om op tempo te blijven, maar alleen als ze voldoende vertrouwen krijgen van de gebruikers."

De onderzoeksgroep blijft experimenteren met verschillende interfaces voor AI-systemen, zodat alle soorten mensen kunnen profiteren van steeds effectievere geautomatiseerde kennis.

Dit onderzoek zal verschijnen in de werkzaamheden van de ACM-conferentie 2019 over Intelligent User Interfaces (iui.acm.org/2019/).