Boodschappen uitpakken is een eenvoudige, zij het vervelende taak:je reikt in een tas, voel rond voor een item, en trek het eruit. Een snelle blik zal u vertellen wat het item is en waar het moet worden opgeslagen.

Nu hebben ingenieurs van MIT en Princeton University een robotsysteem ontwikkeld dat ooit een handje kan helpen bij dit huishoudelijke karwei, en assisteren bij andere pick- en sorteertaken, van het organiseren van producten in een magazijn tot het opruimen van puin uit een rampgebied.

Het "pick-and-place" -systeem van het team bestaat uit een standaard industriële robotarm die de onderzoekers hebben uitgerust met een aangepaste grijper en zuignap. Ze ontwikkelden een "objectonafhankelijk" grijpalgoritme waarmee de robot een bak met willekeurige objecten kan beoordelen en de beste manier kan bepalen om een ​​item te midden van de rommel vast te pakken of op te zuigen. zonder iets over het object te hoeven weten voordat u het oppakt.

Zodra het een item met succes heeft begrepen, de robot tilt het uit de bak. Een set camera's maakt vervolgens beelden van het object vanuit verschillende hoeken, en met behulp van een nieuw algoritme voor het matchen van afbeeldingen kan de robot de afbeeldingen van het gekozen object vergelijken met een bibliotheek met andere afbeeldingen om de beste overeenkomst te vinden. Op deze manier, de robot identificeert het object, bergt het dan op in een aparte bak.

In het algemeen, de robot volgt een "eerst begrijpen, dan herkennen" workflow, wat een effectieve volgorde blijkt te zijn in vergelijking met andere pick-and-place-technologieën.

"Dit kan worden toegepast op magazijnsortering, maar kan ook worden gebruikt om dingen uit uw keukenkast te halen of puin te verwijderen na een ongeluk. Er zijn veel situaties waarin picktechnologieën een impact kunnen hebben, " zegt Alberto Rodriguez, de Walter Henry Gale Career Development Professor in Mechanical Engineering aan het MIT.

Rodriguez en zijn collega's bij MIT en Princeton zullen een paper presenteren waarin hun systeem wordt beschreven op de IEEE International Conference on Robotics and Automation, in mei.

Een bibliotheek met successen en mislukkingen bouwen

Hoewel pick-and-place-technologieën veel toepassingen kunnen hebben, bestaande systemen zijn doorgaans ontworpen om alleen te functioneren in streng gecontroleerde omgevingen.

Vandaag, de meeste industriële orderverzamelrobots zijn ontworpen voor één specifieke, repetitieve taak, zoals het vastpakken van een auto-onderdeel van een lopende band, altijd in hetzelfde zorgvuldig gekalibreerde oriëntatie. Echter, Rodriguez werkt eraan om robots zo flexibeler, aanpasbaar, en intelligente plukkers, voor ongestructureerde omgevingen zoals detailhandelsmagazijnen, waar een picker constant honderden tegenkomt en moet sorteren, zo niet duizenden nieuwe objecten per dag, vaak tussen dichte rommel.

Het ontwerp van het team is gebaseerd op twee algemene operaties:plukken - het succesvol vastpakken van een object, en waarnemen - het vermogen om een ​​object te herkennen en te classificeren, eens gegrepen.

De onderzoekers trainden de robotarm om nieuwe objecten uit een rommelige bak te halen, een van de vier belangrijkste grijpgedragingen gebruiken:op een object zuigen, ofwel verticaal, of vanaf de zijkant; het object verticaal vastgrijpen zoals de klauw in een arcadespel; of, voor objecten die vlak tegen een muur liggen, verticaal grijpen, gebruik vervolgens een flexibele spatel om tussen het object en de muur te schuiven.

Rodriguez en zijn team toonden robotbeelden van bakken vol met voorwerpen, vastgelegd vanaf het uitkijkpunt van de robot. Vervolgens lieten ze de robot zien welke objecten grijpbaar waren, met welk van de vier belangrijkste grijpgedragingen, en welke niet, elk voorbeeld markeren als een succes of een mislukking. Ze deden dit voor honderden voorbeelden, en na verloop van tijd, de onderzoekers bouwden een bibliotheek op van het plukken van successen en mislukkingen. Vervolgens hebben ze deze bibliotheek opgenomen in een "diep neuraal netwerk" - een klasse van leeralgoritmen waarmee de robot het huidige probleem kan matchen met een succesvol resultaat uit het verleden, gebaseerd op zijn bibliotheek van successen en mislukkingen.

"We hebben een systeem ontwikkeld waarbij gewoon door te kijken naar een tas vol met voorwerpen, de robot wist te voorspellen welke grijpbaar of zuigbaar waren, en welke configuratie van dit plukgedrag waarschijnlijk succesvol zou zijn, " zegt Rodriguez. "Eens zat het in de grijper, het object was veel gemakkelijker te herkennen, zonder alle rommel."

Van pixels tot labels

De onderzoekers ontwikkelden op een vergelijkbare manier een waarnemingssysteem, waardoor de robot een object kan herkennen en classificeren zodra het met succes is vastgepakt.

Om dit te doen, ze verzamelden eerst een bibliotheek met productafbeeldingen die afkomstig waren van online bronnen, zoals websites van retailers. Ze labelden elke afbeelding met de juiste identificatie, bijvoorbeeld ducttape versus maskeertape - en ontwikkelde vervolgens een ander leeralgoritme om de pixels in een bepaalde afbeelding te relateren aan het juiste label voor een bepaald object.

"We vergelijken dingen die voor mensen, kan heel gemakkelijk als hetzelfde worden geïdentificeerd, maar in werkelijkheid, als pixels, ze kunnen er aanzienlijk anders uitzien, " zegt Rodriguez. "We zorgen ervoor dat dit algoritme het goed doet voor deze trainingsvoorbeelden. Dan is de hoop dat we het genoeg trainingsvoorbeelden hebben gegeven die, wanneer we het een nieuw object geven, het zal ook het juiste label voorspellen."

Afgelopen juli, het team pakte de robot van 2 ton in en verscheepte hem naar Japan, waar, een maand later, ze hebben het weer in elkaar gezet om deel te nemen aan de Amazon Robotics Challenge, een jaarlijkse wedstrijd gesponsord door de online megaretailer om innovaties in magazijntechnologie aan te moedigen. Het team van Rodriguez was een van de 16 die deelnamen aan een wedstrijd om voorwerpen uit een rommelige bak te halen en op te bergen.

Uiteindelijk, de robot van het team had een slagingspercentage van 54 procent bij het oppakken van objecten met zuigkracht en een slagingspercentage van 75 procent bij het grijpen, en was in staat om nieuwe objecten met 100 procent nauwkeurigheid te herkennen. De robot heeft ook alle 20 objecten binnen de toegewezen tijd opgeborgen.

Voor zijn werk, Rodriguez heeft onlangs een Amazon Research Award gekregen en zal met het bedrijf samenwerken om de pick-and-place-technologie verder te verbeteren. zijn snelheid en reactievermogen.

"Kiezen in ongestructureerde omgevingen is niet betrouwbaar, tenzij je een zekere mate van reactievermogen toevoegt, " zegt Rodriguez. "Als mensen kiezen, we doen een beetje kleine aanpassingen terwijl we aan het plukken zijn. Uitzoeken hoe u dit meer responsieve picken kunt doen, I denk, is een van de belangrijkste technologieën waarin we geïnteresseerd zijn."

Het team heeft al enkele stappen in de richting van dit doel gezet door tactiele sensoren aan de grijper van de robot toe te voegen en het systeem een ​​nieuw trainingsregime te laten doorlopen.

"De grijper heeft nu tactiele sensoren, en we hebben een systeem mogelijk gemaakt waarbij de robot de hele dag bezig is om dingen van de ene plaats naar de andere te plukken. Het legt informatie vast over wanneer het wel en niet lukt, en hoe het voelt om op te pakken, of slaagt er niet in om voorwerpen op te pakken, " Zegt Rodriguez. "Hopelijk zal het die informatie gebruiken om die reactievermogen te begrijpen."