Wetenschap
Invoerbeeldstapel die naar de algoritmen wordt gevoerd. Krediet:Saran et al.
Psychologische studies uit het verleden suggereren dat de menselijke blik de bedoelingen van mensen kan coderen bij het uitvoeren van alledaagse taken, zoals het maken van een broodje of een warme drank. evenzo, menselijke blik blijkt de prestaties van imitatieleermethoden te verbeteren, waarmee robots kunnen leren hoe ze taken moeten uitvoeren door menselijke demonstranten te imiteren.
Geïnspireerd door deze eerdere bevindingen, onderzoekers van de Universiteit van Texas in Austin en Tufts University hebben onlangs een nieuwe strategie bedacht om algoritmen voor imitatieleer te verbeteren met behulp van menselijke blikgerelateerde gegevens. De methode die ze ontwikkelden, geschetst in een paper dat vooraf is gepubliceerd op arXiv, gebruikt de blik van een menselijke demonstrator om de aandacht van imitatieleeralgoritmen te richten op gebieden die zij belangrijk vinden, gebaseerd op het feit dat menselijke gebruikers hen verzorgden.
"Deep-learning algoritmen moeten leren om belangrijke kenmerken in visuele scènes te identificeren, bijvoorbeeld, een personage uit een videogame of een vijand, terwijl u ook leert hoe u deze functies kunt gebruiken voor het nemen van beslissingen, " Prof. Scott Niekum van de Universiteit van Texas in Austin vertelde TechXplore. "Onze aanpak maakt dit gemakkelijker, de blik van de mens gebruiken als een cue die aangeeft welke visuele elementen van de scène het belangrijkst zijn voor de besluitvorming."
De door de onderzoekers bedachte aanpak omvat het gebruik van menselijke blikgerelateerde informatie als leidraad, de aandacht van een deep learning-model richten op bijzonder belangrijke kenmerken in de gegevens die het analyseert. Deze blikgerelateerde begeleiding is gecodeerd in de verliesfunctie die tijdens de training wordt toegepast op deep learning-modellen.
"Voorgaand onderzoek naar het gebruik van blikgegevens om imitatieleerbenaderingen te verbeteren, integreerde doorgaans blikgegevens door algoritmen te trainen met meer leerbare parameters, het leren rekenkundig duur maken en blikinformatie vereisen op zowel trein- als testtijd, "Akanksha Saran, een doctoraat student aan de Universiteit van Texas in Austin die betrokken was bij het onderzoek, vertelde TechXplore. "We wilden alternatieve wegen verkennen om bestaande imitatieleerbenaderingen gemakkelijk uit te breiden met menselijke blikgegevens, zonder de leerbare parameters te vergroten."
De door Niekum ontwikkelde strategie, Saran en hun collega's kunnen worden toegepast op de meeste bestaande op convolutionele neurale netwerk (CNN) gebaseerde architecturen. Met behulp van een hulpcomponent voor blikverlies die de architecturen leidt naar een effectiever beleid, hun aanpak kan uiteindelijk de prestaties van verschillende deep learning-algoritmen verbeteren.
De nieuwe aanpak heeft verschillende voordelen ten opzichte van andere strategieën die blikgerelateerde gegevens gebruiken om deep learning-modellen te begeleiden. De twee meest opvallende zijn dat het geen toegang tot blikgegevens vereist tijdens de test en de toevoeging van aanvullende leerbare parameters.
De onderzoekers evalueerden hun aanpak in een reeks experimenten, gebruiken om verschillende deep learning-architecturen te verbeteren en vervolgens hun prestaties op de Atari-games te testen. Ze ontdekten dat het de prestaties van drie verschillende imitatieleeralgoritmen aanzienlijk verbeterde, beter presteren dan een basislijnmethode die gebruikmaakt van menselijke blikgegevens. Bovendien, de aanpak van de onderzoekers kwam overeen met de prestaties van een andere strategie die gebruikmaakt van blikgerelateerde gegevens, zowel tijdens de training als tijdens de test, maar dat houdt in dat het aantal leerbare parameters moet worden vergroot.
"Onze bevindingen suggereren dat de voordelen van sommige eerder voorgestelde benaderingen voortkomen uit een toename van het aantal leerbare parameters zelf, niet alleen door het gebruik van blikgegevens, "Zei Saran. "Onze methode laat vergelijkbare verbeteringen zien zonder parameters toe te voegen aan bestaande imitatieleertechnieken."
Tijdens het uitvoeren van hun experimenten, de onderzoekers merkten ook op dat de beweging van objecten in een bepaalde scène alleen de door blik gecodeerde informatie niet volledig verklaart. In de toekomst, de strategie die ze ontwikkelden, zou kunnen worden gebruikt om de prestaties van imitatieleeralgoritmen op verschillende taken te verbeteren. De onderzoekers hopen dat hun werk ook zal leiden tot verdere studies die gericht zijn op het gebruik van menselijke blikgerelateerde gegevens om computationele technieken te bevorderen.
"Hoewel onze methode de rekenbehoeften tijdens de testtijd vermindert, het vereist afstemming van hyperparameters tijdens de training om goede prestaties te krijgen, "Zei Saran. "Het verlichten van deze last tijdens de training door andere intuïties van menselijk blikgedrag te coderen, zal een aspect van toekomstig werk zijn."
De door Saran en haar collega's ontwikkelde aanpak is tot nu toe veelbelovend gebleken, toch zijn er verschillende manieren waarop het verder kan worden verbeterd. Bijvoorbeeld, het modelleert momenteel niet alle aspecten van menselijke blikgerelateerde gegevens die nuttig zouden kunnen zijn voor imitatieleertoepassingen. De onderzoekers hopen zich in hun toekomstige studies op enkele van deze andere aspecten te concentreren.
"Eindelijk, temporele verbindingen van blik en actie zijn nog niet onderzocht en kunnen van cruciaal belang zijn om meer voordelen in prestaties te behalen, "Zei Saran. "We werken ook aan het gebruik van andere signalen van menselijke leraren om imitatieleren te verbeteren, zoals menselijke audio bij demonstraties."
© 2020 Wetenschap X Netwerk
Wetenschap © https://nl.scienceaq.com