MIT-onderzoekers hebben een dataset samengesteld die het gedetailleerde gedrag van een robotsysteem vastlegt dat fysiek honderden verschillende objecten duwt. Met behulp van de dataset - de grootste en meest diverse in zijn soort - kunnen onderzoekers robots trainen om push-dynamieken te "leren" die fundamenteel zijn voor veel complexe objectmanipulatietaken, inclusief het heroriënteren en inspecteren van objecten, en overzichtelijke scènes.

Om de gegevens vast te leggen, ontwierpen de onderzoekers een geautomatiseerd systeem bestaande uit een industriële robotarm met nauwkeurige besturing, een 3D-bewegingsvolgsysteem, diepte en traditionele camera's, en software die alles samenvoegt. De arm duwt om modulaire objecten die kunnen worden aangepast voor gewicht, vorm, en massadistributie. Voor elke duw, het systeem legt vast hoe die kenmerken de duw van de robot beïnvloeden.

de gegevensset, genaamd "Omnipush, " bevat 250 verschillende duwtjes van 250 objecten, in totaal ongeveer 62, 500 unieke duwtjes. Het wordt al door onderzoekers gebruikt om, bijvoorbeeld, modellen bouwen die robots helpen voorspellen waar objecten zullen landen wanneer ze worden geduwd.

"We hebben veel rijke data nodig om ervoor te zorgen dat onze robots kunnen leren, " zegt Maria Bauza, een afgestudeerde student aan de afdeling Werktuigbouwkunde (MechE) en eerste auteur van een paper waarin Omnipush wordt beschreven die wordt gepresenteerd op de komende internationale conferentie over intelligente robots en systemen. "Hier, we verzamelen gegevens van een echt robotsysteem, [en] de objecten zijn gevarieerd genoeg om de rijkdom van de duwende verschijnselen vast te leggen. Dit is belangrijk om robots te helpen begrijpen hoe duwen werkt, en om die informatie te vertalen naar andere soortgelijke objecten in de echte wereld."

Bij Bauza op het papier staan:Ferran Alet en Yen-Chen Lin, afgestudeerde studenten in het Computer Science and Artificial Intelligence Laboratory en het Department of Electrical Engineering and Computer Science (EECS); Tomas Lozano-Perez, de School of Engineering Professor of Teaching Excellence; Leslie P. Kaelbling, de Panasonic-hoogleraar Computerwetenschappen en Engineering; Filip Isola, een assistent-professor in EECS; en Alberto Rodríguez, een universitair hoofddocent in MechE.

Gegevens diversifiëren

Waarom focussen op pushgedrag? Modelleren van duwende dynamiek die wrijving tussen objecten en oppervlakken met zich meebrengt, Rodriguez legt uit, is van cruciaal belang bij robottaken op een hoger niveau. Denk aan de visueel en technisch indrukwekkende robot die Jenga kan spelen, die Rodriguez onlangs mede heeft ontworpen. "De robot voert een complexe taak uit, maar de kern van de mechanica die die taak aanstuurt, is nog steeds die van het duwen van een object dat wordt beïnvloed door, bijvoorbeeld, de wrijving tussen blokken, ' zegt Rodríguez.

Omnipush bouwt voort op een vergelijkbare dataset gebouwd in het Manipulation and Mechanisms Laboratory (MCube) door Rodriguez, Bauza, en andere onderzoekers die pushgegevens van slechts 10 objecten hebben vastgelegd. Na het openbaar maken van de dataset in 2016, ze verzamelden feedback van onderzoekers. Een klacht was het gebrek aan objectdiversiteit:robots die op de dataset waren getraind, hadden moeite om informatie te generaliseren naar nieuwe objecten. Er was ook geen filmpje, wat belangrijk is voor computervisie, videovoorspelling, en andere taken.

Voor hun nieuwe dataset, de onderzoekers maken gebruik van een industriële robotarm met nauwkeurige controle van de snelheid en positie van een duwer, eigenlijk een verticale stalen staaf. Terwijl de arm de voorwerpen duwt, een "Vicon" bewegingsvolgsysteem - dat is gebruikt in films, virtuele realiteit, en voor onderzoek - volgt de objecten. Er is ook een RGB-D-camera, die diepte-informatie toevoegt aan vastgelegde video.

De sleutel was het bouwen van modulaire objecten. De uniforme middenstukken, gemaakt van aluminium, zien eruit als vierpuntige sterren en wegen ongeveer 100 gram. Elk centraal stuk bevat markeringen in het midden en punten, zodat het Vicon-systeem zijn houding binnen een millimeter kan detecteren.

Kleinere stukken in vier vormen - concaaf, driehoekig, rechthoekig, en cirkelvormig - kan magnetisch aan elke kant van het centrale stuk worden bevestigd. Elk stuk weegt tussen de 31 en 94 gram, maar extra gewichten, variërend van 60 tot 150 gram, kan in kleine gaatjes in de stukken worden gedropt. Alle stukjes van de puzzelachtige objecten zijn zowel horizontaal als verticaal uitgelijnd, wat helpt om de wrijving na te bootsen die een enkel object met dezelfde vorm en massaverdeling zou hebben. Alle combinaties van verschillende kanten, gewichten, en massadistributies opgeteld tot 250 unieke objecten.

Voor elke duw, de arm beweegt automatisch naar een willekeurige positie op enkele centimeters van het object. Vervolgens, het selecteert een willekeurige richting en duwt het object gedurende één seconde. Beginnend waar het stopte, het kiest dan een andere willekeurige richting en herhaalt het proces 250 keer. Elke druk registreert de pose van het object en RGB-D-video, die voor verschillende videovoorspellingsdoeleinden kan worden gebruikt. Het verzamelen van de gegevens duurde 12 uur per dag, gedurende twee weken, in totaal meer dan 150 uur. Alleen bij het handmatig herconfigureren van de objecten was tussenkomst van de mens nodig.

De objecten bootsen niet specifiek real-life items na. In plaats daarvan, ze zijn ontworpen om de diversiteit van "kinematica" en "massa-assymmetrieën" vast te leggen die verwacht worden van objecten in de echte wereld, die de fysica van de beweging van objecten in de echte wereld modelleren. Robots kunnen dan extrapoleren, zeggen, het fysica-model van een Omnipush-object met ongelijke massaverdeling naar een object in de echte wereld met vergelijkbare ongelijke gewichtsverdelingen.

"Stel je voor dat je een tafel met vier poten duwt, waar het meeste gewicht boven een van de benen ligt. Als je de tafel duwt, je ziet dat hij draait op het zware been en moet bijstellen. Inzicht in die massadistributie, en het effect ervan op de uitkomst van een push, is iets wat robots kunnen leren met deze set objecten, ' zegt Rodríguez.

Nieuw onderzoek mogelijk maken

In een experiment, de onderzoekers gebruikten Omnipush om een ​​model te trainen om de uiteindelijke pose van geduwde objecten te voorspellen, gegeven alleen de eerste pose en beschrijving van de push. Ze trainden het model op 150 Omnipush-objecten, en testte het op een vastgehouden deel van objecten. De resultaten toonden aan dat het door Omnipush getrainde model twee keer zo nauwkeurig was als modellen die waren getraind op een paar vergelijkbare datasets. In hun krant de onderzoekers legden ook nauwkeurig benchmarks vast die andere onderzoekers ter vergelijking kunnen gebruiken.

Omdat Omnipush video vastlegt van de pushes, een mogelijke toepassing is videovoorspelling. een medewerker, bijvoorbeeld, gebruikt nu de dataset om een ​​robot te trainen om zich in wezen voor te stellen dat hij objecten tussen twee punten duwt. Na de training op Omnipush, de robot wordt als invoer twee videoframes gegeven, het tonen van een object in zijn beginpositie en eindpositie. Met behulp van de startpositie, de robot voorspelt alle toekomstige videoframes die ervoor zorgen dat het object zijn eindpositie bereikt. Vervolgens, het duwt het object op een manier die overeenkomt met elk voorspeld videoframe, totdat het bij het frame met de eindpositie komt.

"De robot vraagt "Als ik deze actie doe, waar zal het object in dit frame zijn?" Dan, het selecteert de actie die de kans maximaliseert om het object in de gewenste positie te krijgen, " zegt Bauza. "Het bepaalt hoe objecten worden verplaatst door zich eerst voor te stellen hoe de pixels in de afbeelding zullen veranderen na een duw."

"Omnipush omvat nauwkeurige metingen van objectbeweging, evenals visuele gegevens, voor een belangrijke klasse van interacties tussen robot en objecten in de wereld, " zegt Matthew T. Mason, een professor in computerwetenschappen en robotica aan de Carnegie Melon University. "Robotica-onderzoekers kunnen deze gegevens gebruiken om nieuwe benaderingen voor het leren van robots te ontwikkelen en te testen... die de voortdurende vooruitgang in robotmanipulatie zullen stimuleren."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.