Onderzoekers van UC Berkeley hebben een reproduceerbare, goedkoop en compact benchmarkplatform om benaderingen voor robotleren te evalueren, die ze REPLAB noemden. Hun recente studie, gepresenteerd in een paper dat vooraf is gepubliceerd op arXiv, werd ondersteund door Berkeley DeepDrive, het Bureau voor Naval Research (ONR), Google, NVIDIA en Amazon.

"Op machinale leren gebaseerde benaderingen zijn recentelijk populair geworden in robotica, maar er is momenteel geen gemakkelijke manier om benaderingen te vergelijken vanwege grote verschillen in de hardware-instellingen die in verschillende laboratoria worden gebruikt, "Brian Yang, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde TechXplore. "Bijvoorbeeld, bij het begrijpen van onderzoek, alles, van het type arm of grijper tot het materiaal waarvan de grijper is gemaakt, beïnvloedt de grijpprestaties, dus zelfs als je een betere grijpnauwkeurigheid krijgt dan een methode van vorig jaar, het is niet duidelijk of dat komt door betere controle of gewoon door betere hardware."

In recente jaren, er is een groeiende behoefte aan gestandaardiseerde maatregelen en benchmarkplatforms om machine learning-benaderingen voor robotica te evalueren. Het vaststellen van effectieve benchmarks kan soms een uitdaging zijn, in het bijzonder voor het leren van robotica, waar van robots wordt verwacht dat ze geleerde modellen generaliseren naar nieuwe objecten en situaties. Het nieuwe benchmarkplatform dat aan UC Berkeley is ontwikkeld, biedt een goedkope en gemakkelijk reproduceerbare oplossing om benaderingen van robotica-objectmanipulatie te testen.

"Andere toepassingen van machine learning, zoals computervisie en natuurlijke taalverwerking, hebben enorm geprofiteerd van het hebben van datasets en benchmarks, omdat ze de onderzoeksfocus op belangrijke problemen stimuleren, een manier bieden om de voortgang van een onderzoeksgemeenschap in kaart te brengen, en helpen om snel te identificeren, verspreiden, en verbeter ideeën die goed werken, "Dinesh Jayaraman, een andere onderzoeker die bij het onderzoek betrokken was, vertelde TechXplore. "We hebben REPLAB ontworpen om deze functie te vervullen voor de onderzoeksgemeenschap voor robotleren."

REPLAB heeft verschillende componenten, inclusief een robotarm, een camera en een werkruimte, geplaatst in een kubusvormige ruimte van 70 x 40 x 60 cm. Het platform kost ongeveer $ 2000 om te bouwen en kan binnen een paar uur worden geassembleerd. Door het compacte en goedkope ontwerp zouden meer onderzoekers, zelfs degenen met een beperkt budget, om hun kaders en benaderingen te evalueren.

"REPLAB is een volledig gestandaardiseerd hardwareplatform voor robotmanipulatie dat is ontworpen met het oog op eenvoudige adoptie, Jayaraman legde uit. "Het bevat een enkele goedkope arm (Trossen WidowX), een RGB-D-camera (Intel Realsense SR300) en een gestandaardiseerde, compacte werkruimte die met onze montagehandleiding eenvoudig in een paar uur te monteren is. Alles bij elkaar, een hele REPLAB-cel kost ongeveer 2k USD (vergeleken met standaard armopstellingen die 40-50k kosten), ongeveer 10x minder ruimte innemen dan een standaard armopstelling."

Naast het platform zelf, de onderzoekers stelden een sjabloon voor voor een pakkende benchmark met een taakdefinitie en evaluatieprotocol, prestatiemetingen en een dataset van 92, 000 grijppogingen. De baselines voor deze benchmark zijn tot stand gekomen via de implementatie, evaluatie en analyse van verschillende bestaande grijpbenaderingen.

"Omdat we dit gestandaardiseerde hardwareplatform hebben, we zijn ook in staat om een ​​open-source softwarepakket te delen met implementaties van verschillende robotleeralgoritmen (tot nu toe, begeleide leeralgoritmen voor grijp- en versterkingsleeralgoritmen voor 3D-puntbereik), "Zei Jayamaran. "Als je zelf een REPLAB-cel bouwt, je kunt een Docker-afbeelding downloaden die deze implementaties bevat en ze direct op je mobiel uitvoeren."

Tot dusver, de onderzoekers hebben voornamelijk evaluaties uitgevoerd om de haalbaarheid van REPLAB als platform voor reproduceerbaar onderzoek in robotica-leren te verifiëren, focussen op twee specifieke taken:grijpen en 3D-puntbereiken. Met andere woorden, ze hebben hun platform gebruikt om meerdere benaderingen voor diep begeleid leren voor deze specifieke grijptaken te implementeren en te evalueren. Hun bevindingen suggereren dat het platform bestaande algoritmen blootstelt aan enigszins onderbelichte uitdagingen die cruciaal zijn voor de ontwikkeling van robots die goed presteren in het wild, zoals luidruchtige bediening.

"We hebben ook geverifieerd dat de resultaten consistent blijven in meerdere REPLAB-cellen, wat belangrijk is om op REPLAB gebaseerde algoritme-implementaties en evaluaties als reproduceerbaar te beschouwen, " zei Jayamaran. "Wij geloven dat REPLAB consistente en reproduceerbare voortgangsstatistieken voor robotleren zal vergemakkelijken, de drempel verlagen om in robotica te stappen voor onderzoekers in verwante disciplines zoals machine learning, en deelbare code en gegevens tussen onderzoekers aan te moedigen."

Het nieuwe platform geïntroduceerd door Yang, Jayaraman en hun collega's zouden binnenkort meer onderzoekers in staat kunnen stellen om benaderingen voor een breed scala aan manipulatietaken te evalueren. Net als andere benchmank-platforms, echter, om te slagen, bij het gebruik van REPLAB moet de onderzoeksgemeenschap voor robotleren in het algemeen betrokken zijn.

"Hoewel we nog vele jaren investeren in het onderhouden van het platform, we nodigen bijdragen uit de gemeenschap uit, zoals nieuwe algoritme-implementaties, gegevenssets, en benchmarks en naar ons open-sourceplatform, Jayaraman zei. "De grootse visie is om een ​​punt te bereiken waarop als een nieuw ultramodern algoritme voor het leren van robots wordt vrijgegeven, een onderzoeker die overal ter wereld zit, zou kunnen downloaden, evalueren, itereren en verbeteren van een implementatie binnen een paar dagen. Wij denken dat REPLAB onderzoek helpt versnellen door twee dingen te doen:de toetredingsdrempel verlagen en veel meer mensen laten deelnemen aan state-of-the-art onderzoek, en dit soort snelle iteratie en verbetering mogelijk te maken door middel van code-sharing."

In hun toekomstige werk, de onderzoekers van UC Berkeley zijn van plan hun platform verder te ontwikkelen, het toevoegen van een complete REPLAB-celsimulator en algoritmen voor robuuste controle, terwijl ook nieuwe manipulatie-uitdagingen worden aangepakt. Ze hopen ook de officiële REPLAB github repo en docker-image te verbreden, inclusief implementaties van meer state-of-the-art algoritmen.

© 2019 Wetenschap X Netwerk