drones, specifiek quadcopters, zijn een aanpasbaar perceel. Ze zijn gebruikt om schade na rampen te beoordelen, touwen en reddingsvesten afleveren in gebieden die te gevaarlijk zijn voor reddingswerkers op de grond, onderzoeken gebouwen in brand en leveren medische monsters.

Maar om hun volledige potentieel te bereiken, ze moeten hard zijn. In de echte wereld, drones worden gedwongen om door onzekere vormen te navigeren in instortende gebouwen, obstakels vermijden en omgaan met uitdagende omstandigheden, inclusief stormen en aardbevingen.

Aan de afdeling Computerwetenschappen van de USC Viterbi School of Engineering, onderzoekers hebben kunstmatig intelligente drones gemaakt die snel kunnen herstellen wanneer ze worden ingedrukt, geschopt of bij een botsing met een voorwerp. De autonome drone "leert" hoe hij kan herstellen van een hele reeks uitdagende situaties die hem tijdens een simulatieproces worden aangedaan.

"Momenteel, de controllers die zijn ontworpen om quadcopters te stabiliseren, vereisen zorgvuldige afstemming en zelfs dan, ze zijn beperkt in termen van robuustheid tegen verstoring en zijn modelspecifiek, " zei de hoofdauteur van de studie, Artem Molchanov, een doctoraat in computerwetenschappen kandidaat in USC's Robotic Systems Embedded Laboratory.

"We proberen dit probleem op te lossen en een aanpak te presenteren die gebruikmaakt van recente vooruitgang in het leren van versterking, zodat we hand-tuning-controllers volledig kunnen elimineren en drones super robuust kunnen maken tegen verstoringen."

De krant, genaamd "Sim-to-(Multi)-Real:overdracht van robuust controlebeleid op laag niveau naar meerdere quadrotoren, " werd gepresenteerd op de International Conference on Intelligent Robots and Systems.

Co-auteurs waren Tao Chen, Masterstudent informatica USC; Wolfgang Honig, een voormalig USC informatica Ph.D. student; James A. Preiss, een informatica Ph.D. student; Nora Ayaan, USC-assistent-professor informatica en Andrew en Erna Viterbi Early Career Chair; en Gaurav Sukhatme, hoogleraar informatica en elektrotechniek en computertechniek en uitvoerend vicedecaan van USC Viterbi.

Leren vliegen

Robotici wenden zich al jaren tot vogels voor vlieginspiratie. Maar drones hebben nog een lange weg te gaan voordat ze net zo wendbaar zijn als hun gevederde tegenhangers. Wanneer een drone in een ongewenste oriëntatie terechtkomt, zoals ondersteboven, het kan moeilijk zijn om zichzelf recht te zetten. "Een drone is een inherent onstabiel systeem, ’ zei Molchanov.

"Het besturen van een drone vereist veel precisie. Zeker als er iets plotseling gebeurt, je hebt een snelle en nauwkeurige opeenvolging van besturingsingangen nodig." als een drone zou kunnen leren van ervaring, zoals mensen, het zou beter in staat zijn om deze uitdagingen het hoofd te bieden.

Met dit is de geest, het USC-onderzoeksteam heeft een systeem gemaakt dat een soort machine learning gebruikt, een subset van kunstmatige intelligentie, genaamd wapening leren om de drone te trainen in een gesimuleerde omgeving. Preciezer, om de "hersenen van de drone te trainen, " of neurale netwerkcontroller.

"Reinforcement learning is geïnspireerd op biologie - het lijkt erg op hoe je een hond zou kunnen trainen met een beloning wanneer hij een commando voltooit, ’ zei Molchanov.

Natuurlijk, drones krijgen geen snacks. Maar in het proces van versterkend leren, ze ontvangen wel een algoritmische beloning:een wiskundig versterkingssignaal, dat is positieve bekrachtiging die het gebruikt om af te leiden welke acties het meest wenselijk zijn.

Leren in simulatie

De drone start in de simulatiemodus. Aanvankelijk, het weet niets over de wereld of wat het probeert te bereiken, zei Molchanov. Het probeert een klein beetje te springen of op de grond te draaien.

Eventueel, het leert een beetje vliegen en ontvangt het positieve versterkingssignaal. Geleidelijk, door dit proces, het begrijpt hoe het zichzelf in evenwicht moet houden en uiteindelijk kan vliegen. Vervolgens, dingen worden ingewikkelder.

Terwijl nog steeds in simulatie, de onderzoekers gooien gerandomiseerde voorwaarden naar de controller totdat deze leert er succesvol mee om te gaan. Ze voegen ruis toe aan de ingang om een ​​realistische sensor te simuleren. Ze veranderen de grootte en kracht van de motor en duwen de drone vanuit verschillende hoeken.

In de loop van 24 uur, het systeem verwerkt 250 uur praktijkgerichte training. Zoals zijwieltjes, leren in simulatiemodus stelt de drone in staat zelfstandig te leren in een veilige omgeving, voordat ze in het wild worden vrijgelaten. Eventueel, het vindt oplossingen voor elke uitdaging die op zijn pad komt.

"In simulatie kunnen we honderdduizenden scenario's uitvoeren, ’ zei Molchanov.

"We blijven de simulator lichtjes veranderen, waardoor de drone kan leren zich aan te passen aan alle mogelijke onvolkomenheden van de omgeving."

Een echte uitdaging

Om hun aanpak te bewijzen, de onderzoekers verplaatsten de getrainde controller naar echte drones die zijn ontwikkeld in Ayanian's Automatic Coordination of Teams Lab. In een overdekte dronefaciliteit met netten, ze vlogen met de drones en probeerden ze af te werpen door ze te schoppen en te duwen.

De drones waren succesvol in het corrigeren van matige treffers (inclusief duwen, lichte schoppen en botsen met een object) 90% van de tijd. Eenmaal getraind op één machine, de controller was in staat om snel te generaliseren naar quadcopters met verschillende afmetingen, gewichten en maten.

Terwijl de onderzoekers zich in dit onderzoek richtten op robuustheid, ze waren verrast toen ze ontdekten dat het systeem ook competitief presteerde op het gebied van trajecttracking - van punt A naar B naar C. Hoewel het niet specifiek voor dit doel was opgeleid, het lijkt erop dat de rigoureuze simulatietraining de controller ook heeft uitgerust om een ​​bewegend doel nauwkeurig te volgen.

De onderzoekers merken op dat er nog werk aan de winkel is. In dit experiment, ze hebben handmatig een paar parameters op de drones aangepast, bijvoorbeeld, maximale stuwkracht beperken, maar de volgende stap is om de drones volledig onafhankelijk te maken. Het experiment is een veelbelovende stap in de richting van het bouwen van stevige drones die zichzelf kunnen afstemmen en van ervaring kunnen leren.

Professor Sukhatme, adviseur van Molchanov en een bijzonder leerstoel van de Fletcher Jones Foundation in computerwetenschappen, zei dat het onderzoek twee belangrijke problemen in robotica oplost:robuustheid en generalisatie.

“Vanuit veiligheidsoogpunt robuustheid is super belangrijk. Als je een vluchtcontrolesysteem bouwt, het kan niet broos zijn en uit elkaar vallen als er iets misgaat, ' zei Sukhatme.

"Het andere belangrijke is generalisatie. Soms bouw je misschien een heel veilig systeem, maar het zal zeer specialistisch zijn. Dit onderzoek laat zien wat een volwassen en volleerde Ph.D. leerling kan bereiken, en ik ben erg trots op Artem en het team dat hij heeft samengesteld."