De rijsimulators van tegenwoordig hebben een groot probleem:ze zien er niet realistisch genoeg uit, met name achtergrondobjecten, zoals bomen en wegmarkeringen. Maar onderzoekers hebben een nieuwe manier ontwikkeld om fotorealistische afbeeldingen voor simulatoren te maken, wat de weg vrijmaakt voor het beter testen van auto's zonder bestuurder.

Conventionele computergraphics gebruiken gedetailleerde modellen, meshes en texturen om 2D-beelden van 3D-scènes weer te geven, een arbeidsintensief proces dat beelden produceert die vaak niet realistisch zijn, vooral op de achtergrond. Maar door gebruik te maken van een machine learning-framework dat een Generative Adversarial Network (GAN) wordt genoemd, konden onderzoekers hun programma trainen om willekeurig levensechte omgevingen te genereren door de visuele betrouwbaarheid van het programma te verbeteren - het niveau van representatie dat computergraphics delen met de werkelijkheid.

Dit is vooral belangrijk bij het testen hoe mensen reageren wanneer ze zich in voertuigen zonder bestuurder bevinden of, als alternatief, ermee op weg zijn.

"Als rijsimulaties eruitzien als computerspellen, nemen de meeste mensen ze niet serieus", zegt Ekim Yurtsever, hoofdauteur van de studie en een onderzoeksmedewerker van elektrotechniek en computertechniek aan de Ohio State University. "Daarom willen we onze simulaties zo veel mogelijk laten lijken op de echte wereld."

De studie is gepubliceerd in het tijdschrift IEEE Transactions on Intelligent Transportation Systems .

De onderzoekers begonnen met CARLA, een open source rijsimulator, als basis. Vervolgens gebruikten ze een op GAN gebaseerde beeldsynthesizer om de achtergrondelementen zoals gebouwen, vegetatie en zelfs de lucht weer te geven en te combineren met meer traditioneel weergegeven objecten.

Yurtsever zei dat rijsimulaties conventionele, arbeidsintensieve grafische weergavetechnieken nodig zullen blijven hebben om de primaire objecten van belang weer te geven, zoals auto's in de buurt. Maar met behulp van kunstmatige intelligentie kan GAN worden getraind om realistische achtergronden en voorgronden te genereren met behulp van gegevens uit de echte wereld.

Een van deze uitdagingen waarmee de onderzoekers werden geconfronteerd, was hun programma te leren patronen in hun omgeving te herkennen, een vaardigheid die nodig is om objecten zoals voertuigen, bomen en schaduwen te detecteren en te creëren, en om deze objecten van elkaar te onderscheiden.

"Het mooie is dat deze patronen en texturen in ons model niet door ingenieurs zijn ontworpen", zegt Yurtsever. "We hebben een sjabloon voor functieherkenning, maar het neurale netwerk leert het vanzelf."

Hun bevindingen toonden aan dat het fotorealisme van de hele afbeelding verbeterde door objecten op de voorgrond anders te mengen dan achtergronden.

Maar in plaats van een hele simulatie in één keer aan te passen, moest het proces frame voor frame worden uitgevoerd. Maar aangezien we niet in een frame-voor-frame wereld leven, zal de volgende stap van het project zijn om de temporele consistentie van het programma te verbeteren, waarbij elk frame consistent is met die ervoor en erna, zodat gebruikers een naadloze en visueel meeslepende ervaring ervaren. , zei Yurtsever.

De ontwikkeling van fotorealistische technologieën kan wetenschappers ook helpen bij het bestuderen van de fijne kneepjes van afleiding van de bestuurder en helpen bij het verbeteren van experimenten met echte bestuurders, zei Yurtsever. En met toegang tot grotere datasets van scènes langs de weg, kunnen meer meeslepende rijsimulaties veranderen hoe mensen en AI de weg beginnen te delen.

"Our research is an extremely important step in conceptualizing and testing new ideas," Yurtsever said. "We can never actually replace real world testing, but if we can make simulations a little bit better, we can get better insight on how we can improve autonomous driving systems and how we interact with them." + Verder verkennen

Technique enables real-time rendering of scenes in 3D