in 2018, onderzoekers van MIT en de autofabrikant BMW testten manieren waarop mensen en robots dicht bij elkaar kunnen werken om auto-onderdelen te assembleren. In een replica van een fabrieksvloer, het team monteerde een robot op rails, ontworpen om onderdelen tussen werkstations te leveren. In de tussentijd, af en toe kruisten menselijke arbeiders hun pad om op nabijgelegen stations te werken.

De robot is geprogrammeerd om even te stoppen als er iemand voorbij komt. Maar de onderzoekers merkten dat de robot vaak op zijn plaats bevroor, overdreven voorzichtig, lang voordat iemand zijn pad kruiste. Als dit plaatsvond in een echte productieomgeving, dergelijke onnodige pauzes kunnen zich ophopen in aanzienlijke inefficiënties.

Het team herleidde het probleem tot een beperking in de uitlijningsalgoritmen van de robot die worden gebruikt door de bewegingsvoorspellingssoftware van de robot. Hoewel ze redelijkerwijs konden voorspellen waar een persoon naartoe ging, vanwege de slechte tijduitlijning konden de algoritmen niet anticiperen hoe lang die persoon op een bepaald punt langs zijn voorspelde pad doorbracht - en in dit geval, hoe lang het zou duren voordat een persoon stopt, verdubbel dan terug en kruis het pad van de robot opnieuw.

Nutsvoorzieningen, leden van datzelfde MIT-team hebben een oplossing bedacht:een algoritme dat deeltrajecten nauwkeurig in realtime uitlijnt, waardoor bewegingsvoorspellers nauwkeurig kunnen anticiperen op de timing van de beweging van een persoon. Toen ze het nieuwe algoritme toepasten op de BMW fabrieksexperimenten, dat vonden ze, in plaats van op zijn plaats te bevriezen, de robot rolde gewoon verder en was veilig uit de weg tegen de tijd dat de persoon weer voorbij liep.

"Dit algoritme bouwt componenten in die een robot helpen om stops en overlappingen in beweging te begrijpen en te bewaken, die een essentieel onderdeel vormen van de menselijke beweging, " zegt Julie Shah, universitair hoofddocent luchtvaart en ruimtevaart aan het MIT. "Deze techniek is een van de vele manieren waarop we werken aan robots die mensen beter begrijpen."

Sjah en haar collega's, waaronder projectleider en afstudeerstudent Przemyslaw "Pem" Lasota, zullen hun resultaten deze maand presenteren op de Robotics:Science and Systems-conferentie in Duitsland.

Om robots in staat te stellen menselijke bewegingen te voorspellen, onderzoekers lenen doorgaans algoritmen van muziek- en spraakverwerking. Deze algoritmen zijn ontworpen om twee volledige tijdreeksen op elkaar af te stemmen, of sets van gerelateerde gegevens, zoals een audiotrack van een muziekuitvoering en een scrollende video van de muzieknotatie van dat stuk.

Onderzoekers hebben vergelijkbare uitlijningsalgoritmen gebruikt om realtime en eerder geregistreerde metingen van menselijke beweging te synchroniseren, om te voorspellen waar een persoon zal zijn, zeggen, vijf seconden vanaf nu. Maar in tegenstelling tot muziek of spraak, menselijke beweging kan rommelig en zeer variabel zijn. Zelfs voor repetitieve bewegingen, zoals over een tafel reiken om een ​​bout in te draaien, een persoon kan elke keer iets anders bewegen.

Bestaande algoritmen nemen doorgaans streaming bewegingsgegevens op, in de vorm van stippen die de positie van een persoon in de tijd vertegenwoordigen, en vergelijk het traject van die punten met een bibliotheek van gemeenschappelijke trajecten voor het gegeven scenario. Een algoritme brengt een traject in kaart in termen van de relatieve afstand tussen punten.

Maar Lasota zegt dat algoritmen die trajecten voorspellen op basis van alleen afstand gemakkelijk in de war kunnen raken in bepaalde veelvoorkomende situaties. zoals tijdelijke stops, waarin een persoon pauzeert voordat hij verder gaat op zijn pad. Terwijl gepauzeerd, stippen die de positie van de persoon vertegenwoordigen, kunnen op dezelfde plek samenkomen.

"Als je naar de gegevens kijkt, je hebt een hele reeks punten bij elkaar geclusterd wanneer een persoon wordt gestopt, " zegt Lasota. "Als je alleen naar de afstand tussen punten kijkt als je uitlijningsmetriek, dat kan verwarrend zijn, omdat ze allemaal dicht bij elkaar staan, en je hebt geen goed idee op welk punt je moet afstemmen."

Hetzelfde geldt voor overlappende trajecten - gevallen waarin een persoon heen en weer beweegt langs een vergelijkbaar pad. Lasota zegt dat hoewel de huidige positie van een persoon kan overeenkomen met een punt op een referentietraject, bestaande algoritmen kunnen geen onderscheid maken tussen of die positie deel uitmaakt van een weggaand traject, of langs dezelfde weg terugkomen.

"Misschien heb je punten dicht bij elkaar in termen van afstand, maar qua tijd iemands positie kan in feite ver verwijderd zijn van een referentiepunt, ' zegt Lasota.

Het zit 'm allemaal in de timing

Als oplossing, Lasota en Shah bedachten een "gedeeltelijk traject"-algoritme dat segmenten van het traject van een persoon in realtime uitlijnt met een bibliotheek van eerder verzamelde referentietrajecten. belangrijk, het nieuwe algoritme lijnt trajecten uit in zowel afstand als timing, en daarbij, kan nauwkeurig anticiperen op stops en overlappingen in iemands pad.

"Zeg dat je zo'n grote beweging hebt uitgevoerd, Lasota legt uit. "Oude technieken zullen zeggen, 'dit is het dichtstbijzijnde punt op dit representatieve traject voor die beweging'. het timinggedeelte van het algoritme zal zeggen:'op basis van de timing, het is onwaarschijnlijk dat je al op de terugweg bent, omdat je net begonnen bent met je motie.""

Het team testte het algoritme op twee datasets van menselijke bewegingen:een waarin een persoon met tussenpozen het pad van een robot kruiste in een fabrieksinstelling (deze gegevens zijn verkregen uit de experimenten van het team met BMW), en een andere waarin de groep eerder handbewegingen registreerde van deelnemers die over een tafel reikten om een ​​bout te installeren die een robot vervolgens zou bevestigen door afdichtmiddel op de bout te borstelen.

Voor beide datasets geldt het algoritme van het team was in staat om betere schattingen te maken van de voortgang van een persoon door een traject, vergeleken met twee veelgebruikte algoritmen voor gedeeltelijke trajectuitlijning. Verder, het team ontdekte dat toen ze het uitlijningsalgoritme integreerden met hun bewegingsvoorspellers, de robot kon nauwkeuriger anticiperen op de timing van iemands beweging. In het fabrieksscenario, bijvoorbeeld, ze ontdekten dat de robot minder snel bevroor op zijn plaats, en in plaats daarvan hervatte hij vlot zijn taak kort nadat een persoon zijn pad kruiste.

Hoewel het algoritme werd geëvalueerd in de context van bewegingsvoorspelling, het kan ook worden gebruikt als voorbewerkingsstap voor andere technieken op het gebied van mens-robotinteractie, zoals actieherkenning en bewegingsdetectie. Shah zegt dat het algoritme een belangrijk hulpmiddel zal zijn om robots in staat te stellen patronen van menselijke bewegingen en gedragingen te herkennen en erop te reageren. uiteindelijk, dit kan mensen en robots helpen samenwerken in gestructureerde omgevingen, zoals fabrieksinstellingen en zelfs, in sommige gevallen, het thuis.

"Deze techniek kan worden toegepast in elke omgeving waar mensen typische gedragspatronen vertonen, "zegt Shah. "De sleutel is dat het [robot]systeem patronen kan observeren die steeds weer voorkomen, zodat het iets kan leren over menselijk gedrag. Dit is allemaal in de lijn van het werk van de robot om aspecten van menselijke beweging beter te begrijpen, om beter met ons samen te kunnen werken."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.