Een zelfrijdend voertuig moet objecten detecteren, volg ze in de loop van de tijd, en voorspellen waar ze in de toekomst zullen zijn om een ​​veilige manoeuvre te plannen. Deze taken worden meestal onafhankelijk van elkaar getraind, wat tot rampen kan leiden als een taak mislukt.

Onderzoekers van de afdeling computerwetenschappen van de Universiteit van Toronto en Uber's Advanced Technologies Group (ATG) in Toronto hebben een algoritme ontwikkeld dat samen redeneert over al deze taken - de eerste die ze allemaal samenbrengt. belangrijk, hun oplossing duurt slechts 30 milliseconden per frame.

"We proberen als geheel te optimaliseren, zodat we fouten tussen elk van de taken zelf kunnen corrigeren, " zegt Wenjie Luo, een doctoraat student informatica. "Als je het samen doet, onzekerheid kan worden gepropageerd en berekening gedeeld."

Luo en Bin Yang, een doctoraat student informatica, samen met hun afstudeerbegeleider, Raquel Urtasun, een universitair hoofddocent computerwetenschappen en hoofd van Uber ATG Toronto, presenteren hun paper, Fast and Furious:realtime end-to-end 3D-detectie, Tracking en bewegingsvoorspelling met een enkel convolutienet, op de Computer Vision and Pattern Recognition (CVPR)-conferentie van deze week in Salt Lake City, het belangrijkste jaarlijkse computervisie-evenement.

Beginnen, Uber verzamelde een grootschalige dataset van verschillende Noord-Amerikaanse steden met behulp van op het dak gemonteerde Li-DAR-scanners die laserstralen uitzenden om afstanden te meten. De dataset bevat meer dan een miljoen frames, verzameld vanaf 6, 500 verschillende scènes.

Urtasun zegt dat de output van de LiDAR een puntenwolk is in een driedimensionale ruimte die moet worden begrepen door een kunstmatige intelligentie (AI) -systeem. Deze gegevens zijn ongestructureerd van aard, en verschilt dus aanzienlijk van gestructureerde gegevens die doorgaans in AI-systemen worden ingevoerd, zoals afbeeldingen.

"Als de taak objecten detecteert, je kunt overal objecten proberen te detecteren, maar er is te veel vrije ruimte, dus veel rekenwerk wordt voor niets gedaan. In vogelvlucht, de objecten die we proberen te herkennen, zitten op de grond en daarom is het erg efficiënt om te redeneren over waar dingen zijn, ' zegt Urtasun.

Om met grote hoeveelheden ongestructureerde gegevens om te gaan, doctoraat student Shenlong Wang en onderzoekers van Uber ATG ontwikkelden een speciale AI-tool.

"Een afbeelding is een 2D-raster. Een 3D-model is een stel 3D-mazen. Maar hier, wat we vastleggen [met Li-DAR] is slechts een aantal punten, en ze zijn verspreid in die ruimte, die voor traditionele AI erg moeilijk is om mee om te gaan, " zegt Wang (foto links).

Urtasun legt uit dat er een reden is waarom AI echt goed werkt op afbeeldingen. Afbeeldingen zijn rechthoekige objecten, opgebouwd uit kleine pixels, ook rechthoekig, dus de algoritmen werken goed bij het analyseren van rasterachtige structuren. Maar de LiDAR-gegevens hebben geen vaste structuur, waardoor het voor AI-systemen moeilijk wordt om te leren.

Hun resultaten voor het rechtstreeks verwerken van verspreide punten zijn niet beperkt tot zelfrijdende, maar elk domein met ongestructureerde gegevens, inclusief scheikunde en sociale netwerken.

Negen papers zullen worden gepresenteerd op CVPR vanuit het laboratorium van Urtasun. Mengye Ren, een doctoraat student informatica, Andrei Pokrovski, een stafsoftware-engineer bij Uber ATG, Yang en Urtasun zochten ook naar snellere berekeningen en ontwikkelden SBNet:Sparse Blocks Network for Fast Inference.

"We willen dat het netwerk zo snel mogelijk is, zodat het in realtime kan detecteren en beslissingen kan nemen. op basis van de huidige situatie, " zegt Ren. "Bijvoorbeeld, mensen kijken naar bepaalde regio's waarvan we denken dat ze belangrijk zijn om waar te nemen, dus passen we dit toe op zelfrijdende voertuigen."

Om de snelheid van de hele berekening te verhogen, zegt Ren, ze hebben een spaarzame berekening bedacht op basis van welke regio's belangrijk zijn. Als resultaat, hun algoritme bleek tot 10 keer sneller in vergelijking met bestaande methoden.

"De auto ziet alles, maar het richt het grootste deel van zijn berekeningen op wat belangrijk is, berekening opslaan, ' zegt Urtasun.

"Dus als er veel auto's [op de weg] zijn, de berekening wordt niet te schaars, zodat we geen voertuigen missen. Maar als het schaars is, het zal de berekening adaptief veranderen, " zegt Rens.

De onderzoekers hebben de SBNet-code vrijgegeven omdat deze op grote schaal nuttig is voor het verbeteren van de verwerking voor kleine apparaten, inclusief smartphones.

Urtasun zegt dat de algehele impact van het onderzoek van haar groep aanzienlijk is toegenomen toen ze hun algoritmen hebben geïmplementeerd in de zelfrijdende vloot van Uber. in plaats van alleen in academische papers te verblijven.

"We proberen zelfrijdende auto's op te lossen, " zegt Urtasun, "wat een van de fundamentele problemen van deze eeuw is."