Wat is er nodig voor een mens om een ​​robot te vertrouwen? Dat ontdekken legeronderzoekers in een nieuwe studie naar hoe mens en robot samenwerken.

Onderzoek naar mens-agent teaming, of HOED, heeft onderzocht hoe de transparantie van agenten, zoals robots, onbemande voertuigen of softwareagenten - beïnvloedt het menselijk vertrouwen, taakuitvoering, werkdruk en percepties van de agent. Transparantie van agenten verwijst naar het vermogen om de bedoeling, redeneerproces en toekomstplannen.

Nieuw door het leger geleid onderzoek toont aan dat het vertrouwen van mensen in robots afneemt nadat de robot een fout maakt. zelfs als het transparant is met zijn redeneringsproces. De krant, "Transparantie en betrouwbaarheid van agenten in interactie tussen mens en robot:de invloed op het vertrouwen van de gebruiker en de waargenomen betrouwbaarheid, " is gepubliceerd in het augustusnummer van IEEE-transacties op mens-machinesystemen .

Daten, onderzoek heeft zich grotendeels gericht op HAT met perfect betrouwbare intelligente agenten - wat betekent dat agenten geen fouten maken - maar dit is een van de weinige onderzoeken waarin is onderzocht hoe transparantie van agenten samenwerkt met betrouwbaarheid van agenten. In deze laatste studie mensen waren getuige van een robot die een fout maakte, en onderzoekers richtten zich op de vraag of de mensen de robot als minder betrouwbaar beschouwden, ook als de mens inzicht kreeg in het redeneerproces van de robot.

"Begrijpen hoe het gedrag van de robot hun menselijke teamgenoten beïnvloedt, is cruciaal voor de ontwikkeling van effectieve mens-robotteams, evenals het ontwerp van interfaces en communicatiemethoden tussen teamleden, " zei dr. Julia Wright, hoofdonderzoeker voor dit project en onderzoeker bij het legeronderzoekslaboratorium van het Amerikaanse leger Combat Capabilities Development Command, ook wel ARL genoemd. "Dit onderzoek draagt ​​bij aan de inspanningen van het leger voor meerdere domeinen om te zorgen voor overmatch in capaciteiten die op kunstmatige intelligentie zijn gebaseerd. Maar het is ook interdisciplinair, aangezien zijn bevindingen het werk van psychologen zullen informeren, robotici, ingenieurs, en systeemontwerpers die werken aan een beter begrip tussen mensen en autonome agenten in een poging om autonome teamgenoten te maken in plaats van alleen maar hulpmiddelen.

Dit onderzoek was een gezamenlijke inspanning van ARL en het University of Central Florida Institute for Simulations and Training, en is de derde en laatste studie in het project Autonomous Squad Member (ASM), gesponsord door het Autonomy Research Pilot Initiative van de minister van Defensie. De ASM is een kleine grondrobot die interageert met en communiceert met een infanterieploeg.

Eerdere ASM-onderzoeken onderzochten hoe een robot zou communiceren met een menselijke teamgenoot. Met behulp van het Situation Awareness-based Agent Transparency-model als richtlijn, verschillende visualisatiemethoden om de doelen van de agent over te brengen, bedoelingen, redenering, beperkingen, en geprojecteerde resultaten werden verkend en getest. Op basis van deze vroege onderzoeksresultaten werd een in één oogopslag een iconografische module ontwikkeld. en werd vervolgens in daaropvolgende onderzoeken gebruikt om de werkzaamheid van agenttransparantie in HAT te onderzoeken.

Onderzoekers voerden deze studie uit in een gesimuleerde omgeving, waarin deelnemers een militair-agent-team observeerden, waaronder de ASM, een opleiding volgen. De taak van de deelnemers was om het team te monitoren en de robot te evalueren. Het Soldier-robot-team kwam verschillende gebeurtenissen langs het parcours tegen en reageerde dienovereenkomstig. Terwijl de Soldiers altijd correct reageerden op de gebeurtenis, af en toe begreep de robot de situatie verkeerd, leidt tot verkeerde handelingen. De hoeveelheid informatie die de robot deelde, varieerde tussen de proeven. Terwijl de robot altijd zijn acties uitlegde, de redenen achter zijn acties en het verwachte resultaat van zijn acties, in sommige proeven deelde de robot ook de redenering achter zijn beslissingen, zijn onderliggende logica. Deelnemers bekeken meerdere Soldier-robot teams, en hun beoordelingen van de robots werden vergeleken.

Uit de studie bleek dat, ongeacht de transparantie van de robot bij het uitleggen van zijn redenering, de betrouwbaarheid van de robot was de ultieme bepalende factor bij het beïnvloeden van de projecties van de deelnemers over de toekomstige betrouwbaarheid van de robot, vertrouwen in de robot en percepties van de robot. Dat is, nadat deelnemers getuige waren van een fout, ze bleven de betrouwbaarheid van de robot lager beoordelen, zelfs als de robot daarna geen fouten meer maakte. Hoewel deze evaluaties in de loop van de tijd langzaam verbeterden, zolang de robot geen verdere fouten maakte, het vertrouwen van de deelnemers in hun eigen beoordeling van de betrouwbaarheid van de robot bleef gedurende de rest van de proeven verminderd, in vergelijking met deelnemers die nooit een fout hebben gezien. Verder, deelnemers die getuige waren van een robotfout rapporteerden een lager vertrouwen in de robot, in vergelijking met degenen die nog nooit een robotfout hebben gezien.

Het vergroten van de transparantie van agenten bleek het vertrouwen van deelnemers in de robot te vergroten, maar alleen wanneer de robot informatie aan het verzamelen of filteren was. Dit zou erop kunnen wijzen dat het delen van diepgaande informatie enkele van de effecten van onbetrouwbare automatisering voor specifieke taken kan verminderen, zei Wright. Aanvullend, deelnemers beoordeelden de onbetrouwbare robot als minder levendig, sympathiek, intelligent, en veilig dan de betrouwbare robot.

"Eerdere studies suggereren dat context van belang is bij het bepalen van het nut van transparantie-informatie, Wright zei. "We moeten beter begrijpen welke taken een meer diepgaand begrip van de redenering van de agent vereisen, en hoe te onderscheiden wat die diepte zou inhouden. Toekomstig onderzoek moet manieren onderzoeken om transparantie-informatie te leveren op basis van de taakvereisten."