science >> Wetenschap >  >> Elektronica

Een op deep learning gebaseerde methode voor vision-based tactiele sensing

Figuur die de door de onderzoekers geïntroduceerde strategie voor op visie gebaseerde tactiele detectie toont. Krediet:Sferrazza, et al., ieeexplore.ieee.org/document/8918082

Om effectief te communiceren met hun omgeving, robots moeten kenmerken van verschillende objecten kunnen identificeren door ze gewoon aan te raken, zoals mensen doen. Hierdoor zouden ze objecten efficiënter kunnen bemachtigen en beheren, gebruikmakend van feedback verzameld door sensoren om hun greep- en manipulatiestrategieën aan te passen.

Met dit in gedachten, onderzoeksgroepen over de hele wereld hebben geprobeerd technieken te ontwikkelen die robots een gevoel van aanraking kunnen geven door gegevens te analyseren die zijn verzameld door sensoren, waarvan vele gebaseerd zijn op het gebruik van deep learning-architecturen. Hoewel sommige van deze methoden veelbelovend zijn, ze vereisen doorgaans enorme hoeveelheden trainingsgegevens en kunnen niet altijd goed worden gegeneraliseerd over voorheen ongeziene objecten.

Onderzoekers van ETH Zürich hebben onlangs een nieuwe, op deep learning gebaseerde strategie geïntroduceerd die tactiele detectie in robots mogelijk maakt zonder dat er grote hoeveelheden gegevens uit de echte wereld nodig zijn. Hun aanpak, geschetst in een paper dat vooraf is gepubliceerd op arXiv, houdt in dat diepe neurale netwerken volledig worden getraind op simulatiegegevens.

"Onze techniek leert van gegevens hoe de verdeling van de krachten te voorspellen die worden uitgeoefend door een object dat in contact staat met het waarnemingsoppervlak, "Carlo Sferrazza, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde TechXplore. "Tot dusver, deze gegevens (in de orde van tienduizenden gegevenspunten) moesten gedurende enkele uren in een experimentele opstelling worden verzameld, wat duur was in termen van tijd en apparatuur. In dit werk, we hebben onze gegevens volledig in simulatie gegenereerd, hoge detectienauwkeurigheid behouden bij het toepassen van onze techniek in de echte wereld."

In hun experimenten, Sferrazza en zijn collega's gebruikten een sensor die ze bouwden met eenvoudige en goedkope componenten. Deze sensor bestaat uit een standaard camera die onder een zacht materiaal is geplaatst, die een willekeurige verspreiding van kleine plastic deeltjes bevat.

Als er een kracht op het oppervlak wordt uitgeoefend, het zachte materiaal vervormt en zorgt ervoor dat de plastic deeltjes gaan bewegen. Deze beweging wordt vervolgens vastgelegd door de camera van de sensor en vastgelegd.

"We exploiteren de beeldpatronen die door de bewegende deeltjes worden gecreëerd om informatie te extraheren over de krachten die de materiële vervorming veroorzaken, " legde Sferrazza uit. "Door de deeltjes dicht in het materiaal in te bedden, kunnen we een extreem hoge resolutie verkrijgen. Omdat we een datagestuurde aanpak hanteren om deze taak op te lossen, we kunnen de complexiteit van het modelleren van contact met zachte materialen overwinnen en de verdeling van deze krachten met hoge nauwkeurigheid schatten."

Eigenlijk, de onderzoekers creëerden modellen van het zachte materiaal van de sensor en cameraprojectie met behulp van ultramoderne computermethoden. Vervolgens gebruikten ze deze modellen in simulaties, om een ​​dataset van 13 te maken, 448 synthetische afbeeldingen die ideaal zijn voor het trainen van tactiele detectie-algoritmen. Het feit dat ze in simulaties trainingsgegevens voor hun tactiele waarnemingsmodel konden genereren, is zeer voordelig, omdat het hen verhinderde om gegevens in de echte wereld te verzamelen en te annoteren.

"We hebben ook een transfer learning-techniek ontwikkeld waarmee we hetzelfde model kunnen gebruiken op meerdere exemplaren van de tactiele sensoren die we in de echte wereld produceren, zonder dat er aanvullende gegevens nodig zijn, "Sferrazza zei. "Dit betekent dat elke sensor goedkoper te produceren wordt, omdat ze geen extra kalibratie-inspanningen vereisen."

De onderzoekers gebruikten de synthetische dataset die ze hadden gemaakt om een ​​neurale netwerkarchitectuur te trainen voor op visie gebaseerde tactiele detectietoepassingen en evalueerden vervolgens de prestaties ervan in een reeks tests. Het neurale netwerk behaalde opmerkelijke resultaten, nauwkeurige waarnemingsvoorspellingen maken op echte gegevens, zelfs als het op simulaties is getraind.

"De op maat gemaakte neurale netwerkarchitectuur die we hebben getraind, laat ook veelbelovende generalisatiemogelijkheden zien voor gebruik in andere situaties, wanneer toegepast op gegevens die heel anders zijn dan die in onze simulaties, bijv. voor de schatting van contact met enkele of meerdere objecten van willekeurige vormen, ' zei Sferrazza.

In de toekomst, de door Sferrazza en zijn collega's ontwikkelde deep learning-architectuur zou robots een kunstmatige tastzin kunnen geven, mogelijk hun grijp- en manipulatievaardigheden verbeteren. In aanvulling, de synthetische dataset die ze hebben samengesteld, kan worden gebruikt om andere modellen te trainen voor tactiele waarneming of kan de creatie van nieuwe op simulatie gebaseerde datasets inspireren.

"We willen onze algoritmen nu evalueren in taken die zeer algemene interacties met complexe objecten omvatten, en we werken ook aan het verbeteren van hun nauwkeurigheid, " zei Sferrazza. "We denken dat deze techniek zijn voordelen zal laten zien wanneer hij wordt toegepast op echte robottaken, zoals toepassingen die de fijne manipulatie van fragiele objecten met zich meebrengen, zoals een glas of een ei."

© 2020 Wetenschap X Netwerk