Computerwetenschapper Dinesh Manocha van de Universiteit van Maryland, in samenwerking met een team van collega's van Baidu Research en de Universiteit van Hong Kong, heeft een fotorealistisch simulatiesysteem ontwikkeld voor het trainen en valideren van zelfrijdende voertuigen. Het nieuwe systeem biedt een rijkere, meer authentieke simulatie dan de huidige systemen die game-engines of high-fidelity computergraphics en wiskundig weergegeven verkeerspatronen gebruiken.

hun systeem, genaamd Augmented Autonomous Driving Simulation (AADS), zou de zelfrijdende technologie gemakkelijker kunnen maken om in het laboratorium te evalueren en tegelijkertijd een betrouwbaardere veiligheid te garanderen voordat dure tests op de weg beginnen.

De wetenschappers beschreven hun methodologie in een onderzoekspaper gepubliceerd op 27 maart, 2019 in het journaal Wetenschap Robotica .

"Dit werk vertegenwoordigt een nieuw simulatieparadigma waarin we de betrouwbaarheid en veiligheid van automatische rijtechnologie kunnen testen voordat we deze op echte auto's inzetten en testen op de snelwegen of stadswegen, " zei Manocha, een van de corresponderende auteurs van het artikel, en een professor met gezamenlijke aanstellingen in de informatica, elektrotechniek en computertechniek, en het University of Maryland Institute for Advanced Computer Studies.

Een potentieel voordeel van zelfrijdende auto's is dat ze veiliger kunnen zijn dan menselijke bestuurders die snel afgeleid worden, vermoeidheid en emotionele beslissingen die tot fouten leiden. Maar om de veiligheid te garanderen, autonome voertuigen moeten de rijomgeving zonder mankeren evalueren en erop reageren. Gezien de talloze situaties die een auto op de weg kan tegenkomen, een autonoom rijsysteem vereist honderden miljoenen kilometers aan testritten onder uitdagende omstandigheden om de betrouwbaarheid aan te tonen.

Hoewel dat op de weg tientallen jaren kan duren, voorlopige evaluaties snel kunnen worden uitgevoerd, efficiënter en veiliger door computersimulaties die de echte wereld nauwkeurig weergeven en het gedrag van omringende objecten modelleren. De huidige ultramoderne simulatiesystemen die in de wetenschappelijke literatuur worden beschreven, schieten tekort in het weergeven van fotorealistische omgevingen en het weergeven van verkeersstroompatronen of rijgedrag in de echte wereld.

AADS is een gegevensgestuurd systeem dat nauwkeuriger de input weergeeft die een zelfrijdende auto op de weg zou ontvangen. Zelfrijdende auto's vertrouwen op een waarnemingsmodule, die informatie over de echte wereld ontvangt en interpreteert, en een navigatiemodule die beslissingen neemt, zoals waar te sturen of te remmen of te versnellen, gebaseerd op de waarnemingsmodule.

In de echte wereld, de waarnemingsmodule van een zelfrijdende auto ontvangt typisch input van camera's en lidar-sensoren, die lichtpulsen gebruiken om afstanden van de omgeving te meten. In de huidige simulatortechnologie de waarnemingsmodule ontvangt input van computergegenereerde beelden en wiskundig gemodelleerde bewegingspatronen voor voetgangers, fietsen, en andere auto's. Het is een relatief ruwe weergave van de echte wereld. Het is ook duur en tijdrovend om te maken, omdat computergegenereerde beeldmodellen met de hand moeten worden gegenereerd.

Het AADS-systeem combineert foto's, videos, en lidar-puntenwolken - die lijken op 3D-vormweergaven - met real-world trajectgegevens voor voetgangers, fietsen, en andere auto's. Deze trajecten kunnen worden gebruikt om het rijgedrag en toekomstige posities van andere voertuigen of voetgangers op de weg te voorspellen voor een veiligere navigatie.

"We geven en simuleren de echte wereld visueel, het gebruik van video's en foto's, " zei Manocha, "maar we leggen ook echt gedrag en bewegingspatronen vast. De manier waarop mensen rijden is niet gemakkelijk vast te leggen door wiskundige modellen en natuurkundige wetten. Dus, we hebben gegevens over echte trajecten geëxtraheerd uit alle beschikbare video's, en we hebben rijgedrag gemodelleerd met behulp van sociaalwetenschappelijke methoden. Deze datagedreven aanpak heeft ons een veel realistischere en voordeligere verkeerssimulator opgeleverd."

De wetenschappers hadden een langdurige uitdaging te overwinnen bij het gebruik van echte videobeelden en lidar-gegevens voor hun simulatie:elke scène moet reageren op de bewegingen van een zelfrijdende auto, ook al zijn die bewegingen mogelijk niet vastgelegd door de originele camera of lidar-sensor. Welke hoek of gezichtspunt ook niet wordt vastgelegd door een foto of video, het moet worden weergegeven of gesimuleerd met behulp van voorspellingsmethoden. Dit is de reden waarom simulatietechnologie altijd zo sterk heeft vertrouwd op computergegenereerde grafische afbeeldingen en op fysica gebaseerde voorspellingstechnieken.

Om deze uitdaging te overwinnen, de onderzoekers ontwikkelden technologie die de verschillende componenten van een echt straatbeeld isoleert en deze weergeeft als individuele elementen die opnieuw kunnen worden gesynthetiseerd om een ​​groot aantal fotorealistische rijscenario's te creëren.

Met AADS, voertuigen en voetgangers kunnen met de juiste verlichting en bewegingspatronen uit de ene omgeving worden getild en in een andere worden geplaatst. Wegen kunnen opnieuw worden gemaakt met verschillende verkeersniveaus. Meerdere kijkhoeken van elke scène zorgen voor meer realistische perspectieven tijdens rijstrookwisselingen en bochten. In aanvulling, geavanceerde beeldverwerkingstechnologie maakt vloeiende overgangen mogelijk en vermindert vervorming in vergelijking met andere videosimulatietechnieken. De beeldverwerkingstechnieken worden ook gebruikt om trajecten te extraheren, en daarmee het rijgedrag van de bestuurder te modelleren.

"Omdat we real-world video en real-world bewegingen gebruiken, onze waarnemingsmodule heeft nauwkeurigere informatie dan eerdere methoden, ' zei Manocha. 'En toen, vanwege het realisme van de simulator, we kunnen de navigatiestrategieën van een autonoom rijdend systeem beter evalueren."

Manocha zei dat door dit werk te publiceren, de wetenschappers hopen dat een aantal van de bedrijven die zelfrijdende voertuigen ontwikkelen, dezelfde datagestuurde benadering kunnen toepassen om hun eigen simulatoren te verbeteren voor het testen en evalueren van autonome rijsystemen.