Drones trainen om snel te vliegen, rond zelfs de eenvoudigste obstakels, is een crash-gevoelige oefening waarbij ingenieurs voertuigen kunnen repareren of vervangen met frustrerende regelmaat.

Nu hebben MIT-ingenieurs een nieuw virtual reality-trainingssysteem voor drones ontwikkeld waarmee een voertuig een rijke, virtuele omgeving tijdens het vliegen in een lege fysieke ruimte.

Het systeem, die het team "Flight Goggles, " kan het aantal crashes dat drones ervaren tijdens daadwerkelijke trainingssessies aanzienlijk verminderen. Het kan ook dienen als een virtueel testbed voor een willekeurig aantal omgevingen en omstandigheden waarin onderzoekers snel vliegende drones willen trainen.

"We denken dat dit een game-changer is in de ontwikkeling van drone-technologie, voor drones die snel gaan, " zegt Sertac Karaman, universitair hoofddocent luchtvaart en ruimtevaart aan het MIT. "Als iets, het systeem kan autonome voertuigen responsiever maken, sneller, en efficiënter."

Karaman en zijn collega's zullen volgende week details van hun virtuele trainingssysteem presenteren op de IEEE International Conference on Robotics and Automation. Co-auteurs zijn onder meer Thomas Sayre-McCord, Winter Guerra, Amado Antonini, Jasper Arneberg, Austin Bruin, Guilherme Cavalheiro, Dave McCoy, Sebastiaan Quilter, Fabian Riether, Ezra Tal, Yunus Terzioglu, en Luca Carlone van MIT's Laboratory for Information and Decision Systems, samen met Yajun Fang van MIT's Computer Science and Artificial Intelligence Laboratory, en Alex Gorodetsky van Sandia National Laboratories.

Grenzen verleggen

Karaman werd aanvankelijk gemotiveerd door een nieuwe, extreme robo-sport:competitieve droneraces, waarin op afstand bestuurbare drones, gedreven door menselijke spelers, proberen elkaar te ontvluchten door een ingewikkeld doolhof van ramen, deuren, en andere obstakels. Karaman vroeg zich af:kan een autonome drone worden getraind om net zo snel te vliegen, als het niet sneller is, dan deze door mensen bestuurde voertuigen, met nog meer precisie en controle?

"In de komende twee of drie jaar, we willen deelnemen aan een drone-racewedstrijd met een autonome drone, en versla de beste menselijke speler, " zegt Karaman. Om dit te doen, het team zou een geheel nieuw trainingsregime moeten ontwikkelen.

Momenteel, het trainen van autonome drones is een fysieke taak:onderzoekers vliegen met drones in grote, afgesloten proeftuinen, waarin ze vaak grote netten hangen om opkomende voertuigen op te vangen. Ze zetten ook rekwisieten op, zoals ramen en deuren, waardoor een drone kan leren vliegen. Wanneer voertuigen crashen, ze moeten worden gerepareerd of vervangen, wat de ontwikkeling vertraagt ​​en bijdraagt ​​aan de kosten van een project.

Karaman zegt dat het testen van drones op deze manier kan werken voor voertuigen die niet bedoeld zijn om snel te vliegen. zoals drones die zijn geprogrammeerd om hun omgeving langzaam in kaart te brengen. Maar voor snel vliegende voertuigen die visuele informatie snel moeten verwerken terwijl ze door een omgeving vliegen, een nieuw opleidingssysteem is noodzakelijk.

"Op het moment dat u high-throughput computing wilt doen en snel wilt gaan, zelfs de kleinste veranderingen die je aanbrengt in de omgeving zullen ervoor zorgen dat de drone crasht, ' zegt Karaman. 'In die omgeving kun je niet leren. Als je grenzen wilt verleggen met betrekking tot hoe snel je kunt gaan en rekenen, je hebt een soort virtual reality-omgeving nodig."

Vliegbril

Het nieuwe virtuele trainingssysteem van het team omvat een motion capture-systeem, een beeldweergaveprogramma, en elektronica waarmee het team snel beelden kan verwerken en naar de drone kan sturen.

De eigenlijke testruimte - een hangarachtig gymnasium in de nieuwe drone-testfaciliteit van MIT in gebouw 31 - is bekleed met camera's voor het vastleggen van bewegingen die de oriëntatie van de drone volgen terwijl deze vliegt.

Met het beeldweergavesysteem Karaman en zijn collega's kunnen fotorealistische scènes maken, zoals een loft appartement of een woonkamer, en stuur deze virtuele beelden naar de drone terwijl deze door de lege faciliteit vliegt.

"De drone zal in een lege kamer vliegen, maar zal een heel andere omgeving 'hallucineren', en zal leren in die omgeving, ' legt Karaman uit.

De virtuele beelden kunnen door de drone worden verwerkt met een snelheid van ongeveer 90 frames per seconde, ongeveer drie keer zo snel als het menselijk oog kan zien en beelden kan verwerken. Om dit mogelijk te maken, het team heeft op maat gemaakte printplaten die een krachtige embedded supercomputer integreren, samen met een traagheidsmeeteenheid en een camera. Ze passen al deze hardware in een kleine, 3D-geprint nylon en met koolstofvezel versterkt droneframe.

Een spoedcursus

De onderzoekers voerden een reeks experimenten uit, waaronder een waarin de drone leerde vliegen door een virtueel raam dat ongeveer twee keer zo groot was. Het raam werd geplaatst in een virtuele woonkamer. Terwijl de drone in de werkelijke, lege testfaciliteit, de onderzoekers straalden beelden uit van de woonkamerscène, vanuit het perspectief van de drone, terug naar het voertuig. Terwijl de drone door deze virtuele kamer vloog, de onderzoekers stemden een navigatie-algoritme af, waardoor de drone on-the-fly kan leren.

Meer dan 10 vluchten, de drone, vliegen met ongeveer 2,3 meter per seconde (5 mijl per uur), vloog 361 keer met succes door het virtuele venster, slechts drie keer tegen het raam "crasht", volgens de positie-informatie van de motion-capture camera's van de faciliteit. Karaman wijst erop dat, zelfs als de drone duizenden keren is neergestort, het zou niet veel invloed hebben op de kosten of de tijd van ontwikkeling, omdat het crasht in een virtuele omgeving en geen fysiek contact maakt met de echte wereld.

In een laatste proef, het team heeft een echt raam opgezet in de testfaciliteit, en zette de camera aan boord van de drone aan, zodat deze de werkelijke omgeving kon zien en verwerken. Met behulp van het navigatie-algoritme dat de onderzoekers in het virtuele systeem hebben afgestemd, de drone, meer dan acht vluchten, kon 119 keer door het echte raam vliegen, slechts zes keer crashen of menselijke tussenkomst vereisen.

"Het doet in werkelijkheid hetzelfde, " zegt Karaman. "Het is iets waarvoor we het hebben geprogrammeerd in de virtuele omgeving, door fouten te maken, uit elkaar vallen, en leren. Maar we hebben tijdens dit proces geen echte ramen gebroken."

Hij zegt dat het virtuele trainingssysteem zeer kneedbaar is. Bijvoorbeeld, onderzoekers kunnen in hun eigen scènes of lay-outs pijpen om drones te trainen, inclusief gedetailleerde, met drones in kaart gebrachte replica's van echte gebouwen - iets wat het team overweegt te doen met het Stata Center van MIT. Het trainingssysteem kan ook worden gebruikt om nieuwe sensoren uit te testen, of specificaties voor bestaande sensoren, om te zien hoe ze het zouden doen op een snel vliegende drone.

"We zouden verschillende specificaties in deze virtuele omgeving kunnen proberen en zeggen:'Als je een sensor bouwt met deze specificaties, hoe zou het een drone in deze omgeving helpen?'', zegt Karaman.

Het systeem kan ook worden gebruikt om drones te trainen om veilig rond mensen te vliegen. Bijvoorbeeld, Karaman overweegt de eigenlijke testfaciliteit in tweeën te splitsen, met een drone die in de ene helft vliegt, terwijl een mens, het dragen van een motion-capture pak, loopt in de andere helft. De drone zou de mens in virtual reality "zien" terwijl hij door zijn eigen ruimte vliegt. Als het tegen de persoon botst, het resultaat is virtueel, en ongevaarlijk.

"Op een dag, als je echt zeker bent, je kunt het in het echt doen, en laat een drone rond een persoon vliegen terwijl ze rennen, op een veilige manier, "Zegt Karaman. "Er zijn veel hersenkrakende experimenten die je kunt doen in dit hele virtual reality-gedoe. Overuren, we zullen laten zien wat je allemaal kunt doen."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.