Door in te zoomen op het looppatroon van mensen, lichaamssymmetrie en voetplaatsing, Onderzoekers van de Universiteit van Michigan leren zelfrijdende auto's om bewegingen van voetgangers met grotere precisie te herkennen en te voorspellen dan de huidige technologieën.

Gegevens verzameld door voertuigen via camera's, Met LiDAR en GPS kunnen de onderzoekers videofragmenten van mensen in beweging vastleggen en deze vervolgens opnieuw creëren in 3D-computersimulatie. Met dat, ze hebben een "biomechanisch geïnspireerd terugkerend neuraal netwerk" gecreëerd dat menselijke bewegingen catalogiseert.

ermee, ze kunnen houdingen en toekomstige locaties voor een of meerdere voetgangers voorspellen tot ongeveer 50 meter van het voertuig. Dat is ongeveer de schaal van een stadsknooppunt.

"Voorgaand werk op dit gebied keek meestal alleen naar stilstaande beelden. Het ging niet echt om hoe mensen zich in drie dimensies bewegen, " zei Ram Vasudevan, UM assistent-professor werktuigbouwkunde. "Maar als deze voertuigen in de echte wereld gaan werken en communiceren, we moeten ervoor zorgen dat onze voorspellingen van waar een voetganger naartoe gaat niet samenvallen met waar het voertuig vervolgens naartoe gaat."

Om voertuigen uit te rusten met de nodige voorspellende kracht, moet het netwerk in de details van menselijke bewegingen duiken:het tempo van het lopen van een mens (periodiciteit), de spiegelsymmetrie van ledematen, en de manier waarop de voetplaatsing de stabiliteit tijdens het lopen beïnvloedt.

Veel van de machine learning die werd gebruikt om autonome technologie naar het huidige niveau te brengen, had betrekking op tweedimensionale afbeeldingen - stilstaande foto's. Een computer die enkele miljoenen foto's van een stopbord laat zien, zal uiteindelijk stopborden in de echte wereld en in realtime gaan herkennen.

Maar door gebruik te maken van videoclips die enkele seconden duren, het U-M-systeem kan de eerste helft van het fragment bestuderen om zijn voorspellingen te doen, en controleer vervolgens de nauwkeurigheid met de tweede helft.

"Nutsvoorzieningen, we trainen het systeem om beweging te herkennen en voorspellingen te doen van niet slechts één ding - of het nu een stopbord is of niet - maar waar het lichaam van die voetganger zal zijn bij de volgende stap en de volgende en de volgende, " zei Matthew Johnson-Roberson, universitair hoofddocent bij de afdeling Naval Architecture and Marine Engineering van de UM.

Om uit te leggen wat voor soort extrapolaties het neurale netwerk kan maken, Vasudevan beschrijft een gemeenschappelijk gezicht.

"Als een voetganger met zijn telefoon speelt, je weet dat ze afgeleid zijn, "Zei Vasudevan. "Hun pose en waar ze naar kijken, zegt veel over hun aandachtsniveau. Het vertelt je ook veel over wat ze hierna kunnen doen."

De resultaten hebben aangetoond dat dit nieuwe systeem het vermogen van een voertuig zonder bestuurder om te herkennen wat er gaat gebeuren, verbetert.

"De mediane vertaalfout van onze voorspelling was ongeveer 10 cm na één seconde en minder dan 80 cm na zes seconden. Alle andere vergelijkingsmethoden waren tot 7 meter verwijderd, "Zei Johnson-Roberson. "We zijn beter in het uitzoeken waar een persoon zal zijn."

Om het aantal opties voor het voorspellen van de volgende beweging in toom te houden, de onderzoekers pasten de fysieke beperkingen van het menselijk lichaam toe:ons onvermogen om te vliegen of onze snelst mogelijke snelheid te voet.

Om de dataset te maken die wordt gebruikt om het neurale netwerk van U-M te trainen, onderzoekers parkeerden een voertuig met autonome functies van niveau 4 op verschillende kruispunten in Ann Arbor. Met de camera's van de auto en LiDAR naar het kruispunt gericht, het voertuig kan meerdere dagen aan gegevens tegelijk registreren.

Onderzoekers versterkten die echte wereld, "in het wild"-gegevens van traditionele pose-datasets vastgelegd in een laboratorium. Het resultaat is een systeem dat de lat hoger legt voor waartoe zelfrijdende voertuigen in staat zijn.

"We staan ​​open voor diverse toepassingen en spannende interdisciplinaire samenwerkingsmogelijkheden, en we hopen te creëren en bij te dragen aan een veiliger, gezonder, en efficiëntere leefomgeving, " zei U-M-onderzoeksingenieur Xiaoxiao Du.