Commerciële drone-producten kunnen sommige geautomatiseerde taken aan, maar een ding dat die systemen niet aanpakken, is artistiek filmen. Een team onder leiding van onderzoekers van de Carnegie Mellon University heeft een compleet systeem voorgesteld voor luchtcinematografie dat de visuele voorkeuren van mensen leert. Het volledig autonome systeem vereist geen gescripte scènes, GPS-tags om doelen of eerdere kaarten van de omgeving te lokaliseren.

"We plaatsen de kracht van een regisseur in de drone, " zei Rogerio Bonatti, een doctoraat student in CMU's Robotics Institute. "De drone positioneert zichzelf om de belangrijkste aspecten in een scène vast te leggen. Hij begrijpt autonoom de context van de scène - waar obstakels zijn, waar acteurs zijn - en het redeneert actief over welke gezichtspunten een visueel interessantere scène gaan maken. Het redeneert ook om veilig te blijven en niet te crashen."

Als doel, "artistiek interessant" is subjectief en moeilijk wiskundig te kwantificeren, dus het systeem werd getraind met behulp van een techniek die diep versterkend leren wordt genoemd. In een gebruikersonderzoek mensen bekeken scènes op een fotorealistische simulator die wisselde tussen frontale, rug, links en rechts perspectief. Schot schaal en afstand werden ook onderzocht, evenals de positie van de acteur op het scherm. Gebruikers scoorden scènes op basis van hoe visueel aantrekkelijk ze waren en hoe artistiek interessant ze ze vonden.

Het systeem leerde dat sommige bewegingen interessanter waren dan andere. Bijvoorbeeld, andere autonome drone-producten gebruiken vaak een continue backshot omdat de drone hierdoor een duidelijk, veilige weg achter de acteur. Maar in het gebruikersonderzoek deelnemers meldden dat een constante backshot na een tijdje saai wordt. Ze ontdekten ook dat de drone vaak van hoek moest wisselen om de opname interessant te houden, maar ze konden niet te vaak wisselen.

Bonatti zei dat het team het aangeleerde gedrag generaliseerbaar wilde maken. gaande van training in simulatie tot implementatie in real-life scenario's. Terwijl het systeem het gemiddelde nam van de voorkeuren van gebruikers voor opnamen terwijl een acteur door een smalle gang tussen gebouwen liep, het kan die voorkeuren toepassen op soortgelijke obstakels zoals een bospad met behulp van topografische kaarten.

"Toekomstig werk zou veel verschillende parameters kunnen verkennen of aangepaste artistieke voorkeuren kunnen creëren op basis van de stijl of het genre van een regisseur, " zei Sebastiaan Scherer, een universitair hoofddocent onderzoek aan het Robotics Institute.

Het antennesysteem is ook bedreven in het behouden van een duidelijk zicht op de acteur, het vermijden van wat bekend staat als occlusies. "We waren de eerste groep die nieuwe manieren bedacht om met occlusie om te gaan die niet alleen binair zijn, maar kan feitelijk kwantificeren hoe erg de occlusie is, ' zei Bonati.

Andere innovaties zijn onder meer efficiënte bewegingsplanners om te anticiperen op de trajecten van actoren, en een incrementeel en efficiënt kaartsysteem van de omgeving met behulp van LiDAR.

Dit systeem kan nuttig zijn buiten entertainment en sport. Overheden en politiediensten gebruiken tegenwoordig al handmatig gevlogen drones voor veel toepassingen, inclusief het monitoren van drukte en het begrijpen van verkeerspatronen. Maar handmatig vliegende drones vraagt ​​veel aandacht, en een officier kan zijn energie niet besteden aan het kijken naar het tafereel. "Net als het leren van artistieke principes, de machine zou de schoten kunnen leren die nodig zijn voor andere toepassingen zoals beveiliging, ' zei Bonati.

"Het doel van het onderzoek is niet om mensen te vervangen. We zullen nog steeds een markt hebben voor hoogopgeleide professionele experts, " zei Bonatti. "Het doel is om drone-cinematografie te democratiseren en mensen in staat te stellen zich echt te concentreren op wat voor hen belangrijk is."

Dit werk zal worden gepresenteerd op de internationale conferentie over intelligente robots en systemen van 2019, en is geaccepteerd voor publicatie in de Journal of Field Robotics .