Een onderzoeksteam bestaande uit Oskar Natan, een Ph.D. student, en zijn supervisor, professor Jun Miura, die verbonden zijn aan het Active Intelligent System Laboratory (AISL), Department of Computer Science Engineering, Toyohashi University of Technology, hebben een AI-model ontwikkeld dat waarneming en controle tegelijkertijd kan verwerken voor autonoom rijden voertuig.

Het AI-model neemt de omgeving waar door verschillende zichttaken uit te voeren terwijl het voertuig een reeks routepunten volgt. Bovendien kan het AI-model het voertuig onder verschillende scenario's veilig besturen in verschillende omgevingsomstandigheden. Geëvalueerd onder punt-naar-punt navigatietaken, bereikt het AI-model de beste rijeigenschappen van bepaalde recente modellen in een standaard simulatieomgeving.

Autonoom rijden is een complex systeem dat bestaat uit verschillende subsystemen die meerdere waarnemings- en controletaken afhandelen. Het implementeren van meerdere taakspecifieke modules is echter kostbaar en inefficiënt, aangezien er nog steeds talloze configuraties nodig zijn om een ​​geïntegreerd modulair systeem te vormen.

Bovendien kan het integratieproces leiden tot informatieverlies omdat veel parameters handmatig worden aangepast. Met snel deep learning-onderzoek kan dit probleem worden aangepakt door een enkel AI-model te trainen met end-to-end en multi-task-manieren. Het model kan dus navigatiecontroles bieden die uitsluitend zijn gebaseerd op de waarnemingen van een reeks sensoren. Omdat handmatige configuratie niet langer nodig is, kan het model de informatie helemaal zelf beheren.

De uitdaging die overblijft voor een end-to-end model is hoe nuttige informatie eruit te halen, zodat de controller de navigatiebesturingen goed kan inschatten. Dit kan worden opgelost door veel gegevens aan de waarnemingsmodule te verstrekken om de omgeving beter waar te nemen. Bovendien kan een sensorfusietechniek worden gebruikt om de prestaties te verbeteren, omdat verschillende sensoren worden samengevoegd om verschillende gegevensaspecten vast te leggen.

Een enorme rekenbelasting is echter onvermijdelijk omdat er een groter model nodig is om meer gegevens te verwerken. Bovendien is een techniek voor het voorbewerken van gegevens noodzakelijk, aangezien verschillende sensoren vaak met verschillende gegevensmodaliteiten komen. Bovendien kan onevenwichtig leren tijdens het trainingsproces een ander probleem zijn, aangezien het model zowel waarnemings- als controletaken tegelijkertijd uitvoert.

Om deze uitdagingen aan te gaan, stelt het team een ​​AI-model voor dat is getraind met end-to-end en multi-task-manieren. Het model is opgebouwd uit twee hoofdmodules, namelijk perceptie- en controllermodules. De waarnemingsfase begint met het verwerken van RGB-afbeeldingen en dieptekaarten die worden geleverd door een enkele RGBD-camera.

Vervolgens wordt de informatie die wordt geëxtraheerd uit de waarnemingsmodule samen met de meting van de voertuigsnelheid en de coördinaten van het routepunt gedecodeerd door de besturingsmodule om de navigatiebedieningen te schatten. Om ervoor te zorgen dat alle taken gelijk kunnen worden uitgevoerd, gebruikt het team een ​​algoritme dat gemodificeerde gradiëntnormalisatie (MGN) wordt genoemd om het leersignaal tijdens het trainingsproces in evenwicht te brengen.

Het team beschouwt imitatieleren omdat het het model in staat stelt te leren van een grootschalige dataset om te voldoen aan een bijna menselijke standaard. Bovendien heeft het team het model zo ontworpen dat het een kleiner aantal parameters gebruikt dan andere om de rekenbelasting te verminderen en de inferentie op een apparaat met beperkte middelen te versnellen.

Op basis van het experimentele resultaat in een standaard autonome rijsimulator, CARLA, is gebleken dat het samensmelten van RGB-afbeeldingen en dieptekaarten om een ​​semantische kaart met vogelperspectief (BEV) te vormen, de algehele prestaties kan verbeteren. Omdat de perceptiemodule een beter algemeen begrip van de scène heeft, kan de controllermodule nuttige informatie gebruiken om de navigatiebedieningen correct in te schatten. Verder stelt het team dat het voorgestelde model de voorkeur verdient voor implementatie, omdat het beter bestuurbaar is met minder parameters dan andere modellen.

Het onderzoek is gepubliceerd in IEEE Transactions on Intelligent Vehicles , en het team werkt momenteel aan aanpassingen en verbeteringen aan het model om verschillende problemen aan te pakken bij het rijden in slechte lichtomstandigheden, zoals 's nachts, bij hevige regen, enz. Als hypothese is het team van mening dat het toevoegen van een sensor die wordt niet beïnvloed door veranderingen in helderheid of verlichting, zoals LiDAR, zal de mogelijkheden van het model voor het begrijpen van scènes verbeteren en resulteren in betere rijeigenschappen. Een andere toekomstige taak is om het voorgestelde model toe te passen op autonoom rijden in de echte wereld. + Verder verkennen

Nieuw basismodel verbetert de nauwkeurigheid voor beeldinterpretatie via teledetectie