Een nieuw leersysteem ontwikkeld door MIT-onderzoekers verbetert het vermogen van robots om materialen in doelvormen te vormen en voorspellingen te doen over interactie met vaste objecten en vloeistoffen. Het systeem, bekend als een op leren gebaseerde deeltjessimulator, industriële robots een verfijnder tintje kan geven - en het kan leuke toepassingen hebben in persoonlijke robotica, zoals het boetseren van kleivormen of het rollen van kleefrijst voor sushi.

Bij robotplanning fysieke simulatoren zijn modellen die vastleggen hoe verschillende materialen reageren op kracht. Robots worden "getraind" met behulp van de modellen, om de resultaten van hun interacties met objecten te voorspellen, zoals het duwen van een stevige doos of het porren van vervormbare klei. Maar traditionele op leren gebaseerde simulatoren richten zich vooral op stijve objecten en kunnen geen vloeistoffen of zachtere objecten aan. Sommige nauwkeuriger op fysica gebaseerde simulatoren kunnen verschillende materialen aan, maar zijn sterk afhankelijk van benaderingstechnieken die fouten introduceren wanneer robots interageren met objecten in de echte wereld.

In een paper dat wordt gepresenteerd op de International Conference on Learning Representations in mei, de onderzoekers beschrijven een nieuw model dat leert hoe kleine porties van verschillende materialen - "deeltjes" - op elkaar inwerken wanneer ze worden gepord en gepord. Het model leert direct van gegevens in gevallen waarin de onderliggende fysica van de bewegingen onzeker of onbekend is. Robots kunnen het model vervolgens gebruiken als richtlijn om te voorspellen hoe vloeistoffen, evenals stijve en vervormbare materialen, zal reageren op de kracht van zijn aanraking. Terwijl de robot de objecten hanteert, het model helpt ook om de besturing van de robot verder te verfijnen.

Bij experimenten, een robothand met twee vingers, genaamd "RiceGrip, " nauwkeurig een vervormbaar schuim gevormd tot een gewenste configuratie - zoals een "T" -vorm - die dient als een proxy voor sushirijst. Kortom, het model van de onderzoekers dient als een soort 'intuïtief fysica'-brein dat robots kunnen gebruiken om driedimensionale objecten te reconstrueren, enigszins vergelijkbaar met hoe mensen dat doen.

"Mensen hebben een intuïtief natuurkundig model in ons hoofd, waar we ons kunnen voorstellen hoe een object zich zal gedragen als we erop duwen of knijpen. Op basis van dit intuïtieve model, mensen kunnen verbazingwekkende manipulatietaken uitvoeren die ver buiten het bereik van huidige robots liggen, " zegt eerste auteur Yunzhu Li, een afgestudeerde student in het Computer Science and Artificial Intelligence Laboratory (CSAIL). "We willen dit soort intuïtieve modellen voor robots bouwen, zodat ze kunnen doen wat mensen kunnen."

"Als kinderen 5 maanden oud zijn, ze hebben al verschillende verwachtingen voor vaste stoffen en vloeistoffen, " voegt co-auteur Jiajun Wu toe, een CSAIL-afgestudeerde student. "Dat weten we al op jonge leeftijd, dus misschien moeten we dat proberen te modelleren voor robots."

Deelnemen aan Li en Wu op het papier zijn:Russ Tedrake, een CSAIL-onderzoeker en een hoogleraar bij de afdeling Elektrotechniek en Informatica (EECS); Joshua Tenenbaum, een professor in de afdeling Hersenen en Cognitieve Wetenschappen; en Antonio Torralba, een professor in EECS en directeur van het MIT-IBM Watson AI Lab.

Dynamische grafieken

Een belangrijke innovatie achter het model, het "deeltjesinteractienetwerk" (DPI-Nets) genoemd, maakte dynamische interactiegrafieken, die bestaat uit duizenden knopen en randen die complexe gedragingen van zogenaamde deeltjes kunnen vastleggen. In de grafieken, elk knooppunt vertegenwoordigt een deeltje. Naburige knooppunten zijn met elkaar verbonden via gerichte randen, die de interactie vertegenwoordigen die van het ene deeltje naar het andere gaat. In de simulator, deeltjes zijn honderden kleine bolletjes die samen een vloeistof of een vervormbaar object vormen.

De grafieken zijn geconstrueerd als basis voor een machine-learningsysteem dat een graaf-neuraal netwerk wordt genoemd. In opleiding, het model leert in de loop van de tijd hoe deeltjes in verschillende materialen reageren en hervormen. Het doet dit door impliciet verschillende eigenschappen voor elk deeltje te berekenen, zoals de massa en elasticiteit, om te voorspellen of en waar het deeltje in de grafiek zal bewegen wanneer het wordt verstoord.

Het model maakt vervolgens gebruik van een "propagatie"-techniek, die onmiddellijk een signaal door de grafiek verspreidt. De onderzoekers pasten de techniek aan voor elk type materiaal:rigide, vervormbaar, en vloeistof - om een ​​signaal af te schieten dat de positie van deeltjes voorspelt in bepaalde incrementele tijdstappen. Bij elke stap, het beweegt en verbindt deeltjes opnieuw, indien nodig.

Bijvoorbeeld, als een stevige doos wordt geduwd, verstoorde deeltjes zullen naar voren worden bewogen. Omdat alle deeltjes in de doos star met elkaar zijn verbonden, elk ander deeltje in het object beweegt dezelfde berekende afstand, rotatie, en elke andere dimensie. Deeltjesverbindingen blijven intact en de box beweegt als één geheel. Maar als een gebied van vervormbaar schuim wordt ingedeukt, het effect zal anders zijn. Verstoorde deeltjes bewegen veel naar voren, omringende deeltjes bewegen slechts een klein beetje naar voren, en deeltjes verder weg zullen helemaal niet bewegen. Met vloeistoffen die in een kopje klotsen, deeltjes kunnen volledig van het ene uiteinde van de grafiek naar het andere springen. De grafiek moet leren voorspellen waar en hoeveel alle aangetaste deeltjes bewegen, wat rekenkundig complex is.

Vormgeven en aanpassen

In hun krant de onderzoekers demonstreren het model door de tweevingerige RiceGrip-robot te belasten met het vastklemmen van doelvormen uit vervormbaar schuim. De robot gebruikt eerst een dieptegevoelige camera en objectherkenningstechnieken om het schuim te identificeren. De onderzoekers selecteren willekeurig deeltjes binnen de waargenomen vorm om de positie van de deeltjes te initialiseren. Vervolgens, het model voegt randen tussen deeltjes toe en reconstrueert het schuim in een dynamische grafiek die is aangepast voor vervormbare materialen.

Door de geleerde simulaties, de robot heeft al een goed idee van hoe elke aanraking, met een bepaalde kracht, zal elk van de deeltjes in de grafiek beïnvloeden. Terwijl de robot het schuim begint in te drukken, het komt iteratief overeen met de werkelijke positie van de deeltjes met de beoogde positie van de deeltjes. Wanneer de deeltjes niet op één lijn liggen, het stuurt een foutsignaal naar het model. Dat signaal past het model aan om beter overeen te komen met de fysieke fysica van het materiaal.

Volgende, de onderzoekers willen het model verbeteren om robots te helpen interacties beter te voorspellen met gedeeltelijk waarneembare scenario's, zoals weten hoe een stapel dozen zal bewegen als ze worden geduwd, zelfs als alleen de dozen aan de oppervlakte zichtbaar zijn en de meeste andere dozen verborgen zijn.

De onderzoekers onderzoeken ook manieren om het model te combineren met een end-to-end perceptiemodule door direct op afbeeldingen te werken. Dit wordt een gezamenlijk project met de groep van Dan Yamins; Yamin voltooide onlangs zijn postdoc aan het MIT en is nu een assistent-professor aan de Stanford University. "Je hebt de hele tijd te maken met deze gevallen waarin er slechts gedeeltelijke informatie is, Wu zegt. "We breiden ons model uit om de dynamiek van alle deeltjes te leren, terwijl je maar een klein deel ziet."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.