Om de veiligheid van autonome systemen te verbeteren, MIT-ingenieurs hebben een systeem ontwikkeld dat kleine veranderingen in schaduwen op de grond kan detecteren om te bepalen of er een bewegend object om de hoek komt.

Zelfrijdende auto's zouden het systeem op een dag kunnen gebruiken om snel een mogelijke aanrijding met een andere auto of voetganger die uit de hoek van een gebouw of tussen geparkeerde auto's komt te voorkomen. In de toekomst, robots die door ziekenhuisgangen kunnen navigeren om medicijnen of leveringen te bezorgen, kunnen het systeem gebruiken om te voorkomen dat mensen worden geraakt.

In een paper die volgende week wordt gepresenteerd op de International Conference on Intelligent Robots and Systems (IROS), de onderzoekers beschrijven succesvolle experimenten met een autonome auto die door een parkeergarage rijdt en een autonome rolstoel die door gangen rijdt. Bij het detecteren en stoppen voor een naderend voertuig, het op auto's gebaseerde systeem verslaat traditionele LiDAR - die alleen zichtbare objecten kan detecteren - met meer dan een halve seconde.

Dat lijkt misschien niet veel, maar een fractie van een seconde telt als het gaat om snel rijdende autonome voertuigen, zeggen de onderzoekers.

"Voor toepassingen waarbij robots zich in een omgeving verplaatsen met andere bewegende objecten of mensen, onze methode kan de robot een vroege waarschuwing geven dat er iemand om de hoek komt, zodat het voertuig kan vertragen, zijn pad aanpassen, en bereid u van tevoren voor om een ​​aanrijding te voorkomen, " voegt co-auteur Daniela Rus toe, directeur van het Computer Science and Artificial Intelligence Laboratory (CSAIL) en de Andrew en Erna Viterbi Professor of Electrical Engineering and Computer Science. "De grote droom is om voertuigen die snel door de straten rijden een soort 'röntgenvisie' te bieden."

Momenteel, het systeem is alleen getest in binnenomgevingen. De robotsnelheden zijn binnenshuis veel lager, en de lichtomstandigheden zijn consistenter, waardoor het voor het systeem gemakkelijker wordt om schaduwen waar te nemen en te analyseren.

Deelnemen aan Rus op het papier zijn:eerste auteur Felix Naser SM '19, een voormalig CSAIL-onderzoeker; Alexander Amini, een CSAIL-afgestudeerde student; Igor Gilitschenski, een CSAIL-postdoc; recent afgestudeerd Christina Liao '19; Guy Rosman van het Toyota Research Institute; en Sertac Karaman, een universitair hoofddocent luchtvaart en ruimtevaart aan het MIT.

ShadowCam uitbreiden

Voor hun werk, de onderzoekers bouwden voort op hun systeem, genaamd "ShadowCam, " die computervisietechnieken gebruikt om veranderingen in schaduwen op de grond te detecteren en te classificeren. MIT-professoren William Freeman en Antonio Torralba, die geen co-auteurs zijn van de IROS-paper, meegewerkt aan de eerdere versies van het systeem, die werden gepresenteerd op conferenties in 2017 en 2018.

Voor invoer, ShadowCam gebruikt reeksen videoframes van een camera die op een specifiek gebied is gericht, zoals de vloer voor een hoek. Het detecteert veranderingen in lichtintensiteit in de tijd, van beeld naar beeld, dat kan erop wijzen dat iets weg beweegt of dichterbij komt. Sommige van die veranderingen kunnen moeilijk te detecteren of onzichtbaar zijn voor het blote oog, en kan worden bepaald door verschillende eigenschappen van het object en de omgeving. ShadowCam berekent die informatie en classificeert elke afbeelding als een stilstaand object of een dynamisch, een verplaatsen. Als het een dynamisch beeld krijgt, het reageert dienovereenkomstig.

Het aanpassen van ShadowCam voor autonome voertuigen vereiste een paar vorderingen. De vroege versie, bijvoorbeeld, vertrouwde op het bekleden van een gebied met augmented reality-labels genaamd "AprilTags, " die lijken op vereenvoudigde QR-codes. Robots scannen AprilTags om hun precieze 3D-positie en oriëntatie ten opzichte van de tag te detecteren en te berekenen. ShadowCam gebruikte de tags als kenmerken van de omgeving om in te zoomen op specifieke stukjes pixels die mogelijk schaduwen bevatten. Maar het aanpassen van real-world omgevingen met AprilTags is niet praktisch.

De onderzoekers ontwikkelden een nieuw proces dat beeldregistratie combineert met een nieuwe visuele-odometrietechniek. Vaak gebruikt in computervisie, beeldregistratie overlapt in wezen meerdere afbeeldingen om variaties in de afbeeldingen te onthullen. Medische beeldregistratie, bijvoorbeeld, overlapt medische scans om anatomische verschillen te vergelijken en te analyseren.

visuele odometrie, gebruikt voor Mars Rovers, schat de beweging van een camera in realtime door pose en geometrie in reeksen afbeeldingen te analyseren. De onderzoekers maken specifiek gebruik van "Direct Sparse Odometry" (DSO), die feature points kan berekenen in omgevingen die vergelijkbaar zijn met die vastgelegd door AprilTags. Eigenlijk, DSO plot kenmerken van een omgeving op een 3D-puntenwolk, en vervolgens selecteert een computervisiepijplijn alleen de functies in een interessegebied, zoals de vloer bij een hoek. (Belangrijke regio's zijn vooraf handmatig geannoteerd.)

Omdat ShadowCam invoerbeeldsequenties van een interessegebied neemt, het gebruikt de DSO-beeldregistratiemethode om alle afbeeldingen vanuit hetzelfde gezichtspunt van de robot te overlappen. Zelfs als een robot beweegt, het kan inzoomen op exact hetzelfde stukje pixels waar een schaduw zich bevindt om subtiele afwijkingen tussen afbeeldingen te detecteren.

Het volgende is signaalversterking, een techniek die in het eerste artikel werd geïntroduceerd. Pixels die mogelijk schaduwen bevatten, krijgen een kleurversterking die de signaal-ruisverhouding vermindert. Dit maakt extreem zwakke signalen van schaduwveranderingen veel beter waarneembaar. Als het versterkte signaal een bepaalde drempel bereikt - gedeeltelijk gebaseerd op hoeveel het afwijkt van andere nabijgelegen schaduwen - classificeert ShadowCam het beeld als 'dynamisch'. Afhankelijk van de sterkte van dat signaal, het systeem kan de robot vertellen om te vertragen of te stoppen.

"Door dat signaal te detecteren, dan kun je voorzichtig zijn. Het kan een schaduw zijn van iemand die van achter de hoek rent of een geparkeerde auto, zodat de autonome auto kan vertragen of volledig kan stoppen, ' zegt Naser.

Tag-vrij testen

In een proef, de onderzoekers evalueerden de prestaties van het systeem bij het classificeren van bewegende of stationaire objecten met behulp van AprilTags en de nieuwe DSO-gebaseerde methode. Een autonome rolstoel stuurde naar verschillende ganghoeken terwijl mensen de hoek omsloeg in het pad van de rolstoel. Beide methoden behaalden dezelfde classificatienauwkeurigheid van 70 procent, wat aangeeft dat AprilTags niet langer nodig zijn.

In een aparte toets de onderzoekers implementeerden ShadowCam in een zelfrijdende auto in een parkeergarage, waar de koplampen uit waren, het nabootsen van nachtelijke rijomstandigheden. Ze vergeleken autodetectietijden met LiDAR. In een voorbeeldscenario ShadowCam ontdekte dat de auto ongeveer 0,72 seconden sneller rond pilaren draaide dan LiDAR. Bovendien, omdat de onderzoekers ShadowCam specifiek hadden afgestemd op de lichtomstandigheden in de garage, het systeem behaalde een classificatienauwkeurigheid van ongeveer 86 procent.

Volgende, de onderzoekers ontwikkelen het systeem verder om te werken in verschillende binnen- en buitenverlichtingsomstandigheden. In de toekomst, er kunnen ook manieren zijn om de schaduwdetectie van het systeem te versnellen en het proces van het annoteren van doelgebieden voor schaduwdetectie te automatiseren.

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.