Kinderen met autismespectrumaandoeningen hebben vaak moeite met het herkennen van de emotionele toestand van mensen om hen heen - het onderscheiden van een blij gezicht van een angstig gezicht, bijvoorbeeld. Om dit te verhelpen, sommige therapeuten gebruiken een kindvriendelijke robot om die emoties te demonstreren en om de kinderen te betrekken bij het imiteren van de emoties en om er op een gepaste manier op te reageren.

Deze vorm van therapie werkt het beste, echter, of de robot het eigen gedrag van het kind vlot kan interpreteren - of het nu geïnteresseerd en opgewonden is of oplettend - tijdens de therapie. Onderzoekers van het MIT Media Lab hebben nu een soort gepersonaliseerde machine learning ontwikkeld waarmee robots de betrokkenheid en interesse van elk kind tijdens deze interacties kunnen inschatten. gegevens gebruiken die uniek zijn voor dat kind.

Gewapend met dit gepersonaliseerde "deep learning"-netwerk, de perceptie van de robots van de reacties van de kinderen kwam overeen met beoordelingen door menselijke experts, met een correlatiescore van 60 procent, de wetenschappers rapporteren 27 juni in Wetenschap Robotica .

Het kan een uitdaging zijn voor menselijke waarnemers om een ​​hoge mate van overeenstemming te bereiken over de betrokkenheid en het gedrag van een kind. Hun correlatiescores liggen meestal tussen de 50 en 55 procent. Rudovic en zijn collega's suggereren dat robots die zijn getraind op menselijke observaties, zoals in deze studie, zou op een dag meer consistente schattingen van dit gedrag kunnen opleveren.

"Het doel op lange termijn is niet om robots te maken die menselijke therapeuten zullen vervangen, maar om ze aan te vullen met belangrijke informatie die de therapeuten kunnen gebruiken om de therapie-inhoud te personaliseren en ook meer boeiende en naturalistische interacties tussen de robots en kinderen met autisme te maken, " legt Oggi Rudovic uit, een postdoc bij het Media Lab en eerste auteur van de studie.

Rosalind Picard, een co-auteur van het papier en professor aan het MIT die onderzoek leidt naar affective computing, zegt dat personalisatie vooral belangrijk is bij autismetherapie:een bekend gezegde is:"Als je één persoon hebt ontmoet, met autisme, je hebt een persoon met autisme ontmoet."

"De uitdaging van het creëren van machine learning en AI [kunstmatige intelligentie] die werkt bij autisme is bijzonder vervelend, omdat de gebruikelijke AI-methoden veel gegevens vereisen die vergelijkbaar zijn voor elke categorie die wordt geleerd. Bij autisme waar heterogeniteit heerst, de normale AI-benaderingen mislukken, " zegt Picard. Rudovic, Picard, en hun teamgenoten gebruiken ook gepersonaliseerd diep leren op andere gebieden, vinden dat het de resultaten verbetert voor pijnmonitoring en voor het voorspellen van de progressie van de ziekte van Alzheimer.

Ontmoeting met NAO

Robot-geassisteerde therapie voor autisme werkt vaak ongeveer als volgt:een menselijke therapeut laat een kind foto's of flashcards zien van verschillende gezichten die bedoeld zijn om verschillende emoties weer te geven, om hen te leren hoe ze uitingen van angst kunnen herkennen, droefheid, of vreugde. De therapeut programmeert vervolgens de robot om dezelfde emoties aan het kind te tonen, en observeert het kind terwijl zij of hij zich bezighoudt met de robot. Het gedrag van het kind levert waardevolle feedback op die de robot en de therapeut nodig hebben om verder te gaan met de les.

De onderzoekers gebruikten in dit onderzoek humanoïde robots van SoftBank Robotics NAO. Bijna 2 voet lang en lijkt op een gepantserde superheld of een droid, NAO brengt verschillende emoties over door de kleur van zijn ogen te veranderen, de beweging van zijn ledematen, en de toon van zijn stem.

De 35 kinderen met autisme die deelnamen aan dit onderzoek, 17 uit Japan en 18 uit Servië, varieerden in leeftijd van 3 tot 13. Ze reageerden op verschillende manieren op de robots tijdens hun 35 minuten durende sessies, van verveeld en slaperig kijken in sommige gevallen tot opgewonden door de kamer springen, in hun handen klappen, en lachen of de robot aanraken.

De meeste kinderen in het onderzoek reageerden op de robot "niet alleen als speelgoed, maar hadden respectvol contact met NAO alsof het een echt persoon was, "vooral tijdens het vertellen van verhalen, waar de therapeuten vroegen hoe NAO zich zou voelen als de kinderen de robot meenamen voor een ijsje, volgens Rudovic.

Een 4-jarig meisje verstopte zich achter haar moeder tijdens de sessie, maar stond veel meer open voor de robot en moest lachen aan het einde van de therapie. De zus van een van de Servische kinderen gaf NAO een knuffel en zei:"Robot, Ik hou van je!" aan het einde van een sessie, zei dat ze blij was om te zien hoeveel haar broer graag met de robot speelde.

"Therapeuten zeggen dat het voor hen een grote uitdaging kan zijn om het kind zelfs maar een paar seconden te betrekken, en robots trekken de aandacht van het kind, " zegt Rudovic, uitleggen waarom robots nuttig zijn geweest bij dit soort therapie. "Ook, mensen veranderen hun uitdrukkingen op veel verschillende manieren, maar de robots doen het altijd op dezelfde manier, en dit is minder frustrerend voor het kind omdat het kind op een zeer gestructureerde manier leert hoe de uitdrukkingen getoond zullen worden."

Gepersonaliseerde machine learning

Het MIT-onderzoeksteam realiseerde zich dat een soort machine learning, deep learning genaamd, nuttig zou zijn voor de therapierobots, om het gedrag van de kinderen natuurlijker waar te nemen. Een deep-learning systeem maakt gebruik van hiërarchische, meerdere lagen van gegevensverwerking om zijn taken te verbeteren, waarbij elke volgende laag neerkomt op een iets abstractere weergave van de oorspronkelijke onbewerkte gegevens.

Hoewel het concept van deep learning al bestaat sinds de jaren tachtig, zegt Rudovic, het is pas sinds kort dat er voldoende rekenkracht is om dit soort kunstmatige intelligentie te implementeren. Deep learning is gebruikt in automatische spraak- en objectherkenningsprogramma's, waardoor het zeer geschikt is voor een probleem zoals het begrijpen van de meerdere kenmerken van het gezicht, lichaam, en stem die ingaan op het begrijpen van een meer abstract concept zoals de betrokkenheid van een kind.

"In het geval van gezichtsuitdrukkingen, bijvoorbeeld, welke delen van het gezicht zijn het belangrijkst voor het inschatten van de betrokkenheid?" zegt Rudovic. "Door deep learning kan de robot direct de belangrijkste informatie uit die gegevens halen zonder dat mensen die functies handmatig hoeven te maken." , Rudovic en zijn collega's gingen nog een stap verder met het idee van deep learning en bouwden een gepersonaliseerd raamwerk dat kon leren van gegevens die over elk individueel kind werden verzameld. De onderzoekers maakten video's van de gezichtsuitdrukkingen van elk kind, hoofd- en lichaamsbewegingen, poses en gebaren, audio-opnames en gegevens over hartslag, lichaamstemperatuur, en huidzweetreactie van een monitor op de pols van het kind.

De gepersonaliseerde deep learning-netwerken van de robots zijn opgebouwd uit lagen van deze video, geluid, en fysiologische gegevens, informatie over de autismediagnose en -vaardigheden van het kind, hun cultuur en hun geslacht. De onderzoekers vergeleken vervolgens hun schattingen van het gedrag van de kinderen met schattingen van vijf menselijke experts, die de video- en audio-opnames van de kinderen op een continue schaal codeerde om te bepalen hoe blij of overstuur, hoe geïnteresseerd, en hoe betrokken het kind leek tijdens de sessie.

Getraind in deze gepersonaliseerde gegevens gecodeerd door de mens, en getest op gegevens die niet zijn gebruikt bij het trainen of afstemmen van de modellen, de netwerken hebben de automatische inschatting van het gedrag van het kind door de robot aanzienlijk verbeterd voor de meeste kinderen in het onderzoek, dan wat zou worden geschat als het netwerk alle gegevens van de kinderen zou combineren in een "one-size-fits-all"-benadering, vonden de onderzoekers.

Rudovic en collega's konden ook onderzoeken hoe het deep learning-netwerk zijn schattingen maakte, die enkele interessante culturele verschillen tussen de kinderen aan het licht bracht. "Bijvoorbeeld, kinderen uit Japan vertoonden meer lichaamsbewegingen tijdens afleveringen van hoge betrokkenheid, terwijl in Serviërs grote lichaamsbewegingen werden geassocieerd met terugtrekkingsepisodes, ' zegt Rudovic.