science >> Wetenschap >  >> Elektronica

LeRop:een op deep learning gebaseerd model om automatisch menselijke portretten vast te leggen

De door LeRop aangedreven robot aan het werk. Krediet:Kang et al.

Het maken van foto's van goede kwaliteit kan een uitdagende taak zijn, omdat het meestal het vinden van ideale locaties vereist, hoeken en lichtomstandigheden. Hoewel artistieke foto's tot nu toe voornamelijk door menselijke fotografen zijn gemaakt, in recente jaren, sommige onderzoekers zijn begonnen met het onderzoeken van de mogelijkheid om automatisch foto's te maken met behulp van robots.

Hiertoe, een team van onderzoekers van Purdue University en Adobe Research heeft onlangs een nieuw raamwerk ontwikkeld waarmee een robot automatisch foto's van mensen kan maken, specifiek portretten. Dit kader, gepresenteerd in een paper dat vooraf is gepubliceerd op arXiv, laat robots een menselijke gebruiker volgen naar een ideale plek en er vervolgens een foto van maken.

LeRop, het door de onderzoekers ontwikkelde raamwerk, is speciaal ontworpen om portretten van mensen binnenshuis te maken. Eerst, het raamwerk leidt een robot naar een gunstige of gewenste locatie om foto's te maken en gebruikt vervolgens een foto-evaluatiemodel om de beste uitzichten voor te stellen, evenals een DRL-model (Deep Reinforcement Learning) om de positie en oriëntatie van de robot aan te passen om de beste lichtomstandigheden te garanderen.

"Als componeren is geactiveerd, de robot probeert zijn positie aan te passen om het beeld te vormen dat het beste past bij de gegeven sjabloonafbeelding en maakt uiteindelijk een foto, " schreven de onderzoekers in hun paper. "Een sjabloonafbeelding kan dynamisch worden voorspeld met behulp van een kant-en-klaar foto-evaluatiemodel door het raamwerk, of handmatig geselecteerd uit een vooraf gedefinieerde set door de gebruiker."

LeRop is een interactief raamwerk, omdat gebruikers het kunnen programmeren om één doelwit te volgen naar de plek waar ze een foto wil maken. Zodra de gebruiker die plek heeft bereikt, de robot begint te zoeken naar het beste beeld om vast te leggen. Dankzij de DRL-component van LeRop kan het uiteindelijk zijn gezichtspunt aanpassen op basis van hoe het overeenkomt met sjabloonafbeeldingen.

De onderzoekers besloten de robot uit te rusten met een 360-gradencamera en een hoogwaardige hoofdcamera, omdat het hierdoor te allen tijde een volledig zicht op zijn omgeving heeft zonder voortdurend te draaien of te schakelen naar verschillende gezichtspunten. interessant, het raamwerk is modulair opgebouwd, wat betekent dat al zijn modellen kunnen worden vervangen of aangepast op basis van de behoeften van de gebruiker.

Het team evalueerde LeRop in verschillende proeftests op drie binnenscènes, integreren in een eenvoudige robot genaamd Turtlebot. De robot nam 20 foto's van een menselijke gebruiker in elk van deze drie instellingen, 10 met een vooraf gedefinieerde sjabloon en 10 met behulp van sjablonen die dynamisch zijn gegenereerd.

Het gemiddelde aantal aanpassingen door de robot was 11,20 voor vooraf gedefinieerde sjablonen en 12,76 voor dynamisch gegenereerde. In aanvulling, met behulp van het kader van de onderzoekers, de robot kon foto's maken in een gemiddelde tijd van 22,11 seconden met vooraf gedefinieerde sjablonen en 22,40 seconden met dynamisch gegenereerde.

Het LeRop-framework zou een eerste stap kunnen zijn in de richting van het creëren van een efficiënt robotfotografiesysteem dat snel en automatisch hoogwaardige portretten kan maken. Echter, het door de onderzoekers ontwikkelde systeem kent nog een aantal beperkingen die kunnen verhinderen dat het op grote schaal wordt toegepast. Bijvoorbeeld, tot dusver, het heeft beperkte rekenkracht aan boord, en werkt dus alleen op een krachtige externe computer.

In aanvulling, de onderzoekers hebben het tot nu toe alleen geïntegreerd in Turtlebot, dat is een eenvoudige robot met zeer weinig vrijheidsgraden. In hun volgende werken, ze willen hun systeem testen op een complexere robot met meer vrijheidsgraden.

"Ons systeem ondersteunt momenteel alleen een eenpersoonsportret, " schreven de onderzoekers. "Nieuw beleid zou opnieuw moeten worden getraind om betere ondersteuning te krijgen bij het maken van groepsfoto's. Bij toekomstig werk, we willen ook verschillende esthetische modellen voor foto-evaluatie testen en het werk uitbreiden naar buitenscènes."

© 2019 Wetenschap X Netwerk