Onderzoekers van het Computer Science and Artificial Intelligence Laboratory (CSAIL) van MIT hebben een algoritme ontwikkeld dat robots een intuïtieve benadering kan geven bij het gebruik van tools. Deze methode, genaamd "TL;DR (Too Long; Didn't Read)", heeft tot doel de problemen aan te pakken waarmee robots worden geconfronteerd bij het leren van object-tool-interacties uit demonstraties of taalinstructies.

Een van de belangrijkste uitdagingen is dat robots vaak moeten leren hoe ze gereedschappen met verschillende oriëntaties en afmetingen moeten gebruiken. Bovendien moeten ze de effecten van hun acties op de objecten die worden gemanipuleerd begrijpen, die aanzienlijk kunnen variëren, afhankelijk van het gebruikte hulpmiddel.

Om deze uitdagingen te overwinnen, gebruikt TL;DR een combinatie van diepgaand versterkend leren en natuurlijke taalverwerking. Het algoritme begint met het leren van een algemeen begrip van hoe tools omgaan met objecten uit een reeks demonstraties. Deze kennis wordt vervolgens gebruikt om tekstbeschrijvingen te genereren van de acties die nodig zijn voor specifieke taken, zoals 'de spijker in het hout slaan' of 'de beker optillen met de vork'.

Zodra de tekstinstructies zijn gegenereerd, gebruikt TL;DR een natuurlijk taalverwerkingsmodel om de belangrijkste acties en objecten te extraheren. Deze acties worden vervolgens weergegeven met behulp van het SMPL-formaat, een standaardweergave voor bewegingsgegevens.

Ten slotte maakt het algoritme gebruik van diepgaand bekrachtigingsleren om de acties van de robot te verfijnen op basis van zijn ervaringen uit de echte wereld. Hierdoor kan de robot zich aanpassen aan variaties in de omgeving en leren hoe hij gereedschappen effectief kan gebruiken.

In experimenten hebben de onderzoekers aangetoond dat TL;DR aanzienlijk beter presteert dan de bestaande benaderingen van het leren van robotgereedschappen, vooral als het gaat om nieuwe objecten en gereedschappen. Het algoritme kon ook leren hoe hij complexe gereedschappen, zoals een pincet, kon gebruiken om kleine objecten te manipuleren.

De onderzoekers verwachten dat TL;DR belangrijke implicaties kan hebben voor robottoepassingen in verschillende domeinen, waaronder productie, gezondheidszorg en autonome verkenning. Door robots in staat te stellen op intuïtieve wijze tools te leren gebruiken, kan TL;DR het scala aan taken die robots kunnen uitvoeren uitbreiden en de noodzaak voor menselijke tussenkomst verminderen.

De studie was co-auteur van Anirudha Parasuraman, Jialin Se en Peter Fazli. Het onderzoek werd ondersteund door ONR, NSF, Samsung, Toyota Research Institute en het MIT-IBM Watson AI Lab.