Onderzoekers van de Universiteit van Pittsburgh hebben onlangs een voorwaardelijke variatie-autoencoder ontwikkeld die unieke gezichten voor advertenties kan produceren. Hun studie is gebaseerd op hun eerdere werk, die geautomatiseerde methoden onderzocht om advertenties beter te begrijpen.

"In ons vorige project, we wilden zien of machines de complexe visuele retoriek in advertenties konden decoderen, " Christoffel Thomas, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde TechXplore. "Advertenties bevatten woordspelingen, metaforen, en andere overtuigende retorische middelen die voor machines moeilijk te begrijpen zijn. In deze krant, we wilden niet alleen advertenties begrijpen, maar we wilden zien of dergelijke overtuigende inhoud automatisch door computers kan worden gegenereerd."

De primaire missie van de reclame-industrie is om producten te promoten of ideeën over te brengen met behulp van overtuigende taal en afbeeldingen. gezichten, een belangrijk aspect van advertenties, worden vaak anders weergegeven, afhankelijk van het geadverteerde product en de gecommuniceerde boodschap.

In samenwerking met zijn collega Adriana Kovashka, Thomas gebruikte machine learning om overtuigende gezichten te genereren die goed zouden werken voor verschillende soorten advertenties. Ze gebruikten voorwaardelijke variatie auto-encoders, of "generatieve modellen, " Machine learning-modellen die synthetische gegevens leren genereren die vergelijkbaar zijn met de gegevens waarop ze zijn getraind.

"In computervisie, autoencoders werken door een afbeelding te nemen en te leren die afbeelding weer te geven als een paar getallen, "zei Thomas. "Toen, een tweede stuk van het model, de decoder, leert die getallen te nemen en de originele afbeelding ervan te reproduceren. Je kunt het bijna zien als een vorm van compressie, waarin een grote afbeelding wordt weergegeven door een paar cijfers."

Wanneer dit type machine learning-model wordt getraind op een dataset die groot genoeg is, het begint semantische aspecten binnen de getallen weer te geven. Bijvoorbeeld, in het model ontwikkeld door Thomas en Kovashka, één cijfer zou de vorm van een gezicht bepalen, een ander de schaduw van de huid, enzovoort voor andere semantische kenmerken.

Echter, als de onderzoekers wilden dat het model vastlegde of een persoon een bril draagt, maar de trainingsdataset bevatte niet genoeg foto's van mensen met een bril, deze eigenschap zou verloren gaan wanneer het beeld wordt gereconstrueerd. Dus, ontwikkelden ze een voorwaardelijke autoencoder, wat betekent dat ze andere nummers aan het model konden toevoegen die het niet alleen had verkregen, die semantische kenmerken vertegenwoordigen die relevant kunnen zijn voor bepaalde advertenties.

"Het leuke hiervan is dat toen we het model eenmaal hadden getraind om gezichten in 100 getallen weer te geven, als we dan enkele van die nummers veranderen en ze "decoderen", we kunnen het gezicht veranderen, Thomas zei. "Zo kunnen we bestaande gezichten transformeren zodat ze er hetzelfde uitzien, maar verschillende attributen hebben. zoals brillen, lachen of niet, enzovoort., gewoon door enkele van de getallen te veranderen die ons model gebruikt om ze weer te geven."

Het trainen van generatieve modellen voor computervisie kan een uitdagende taak zijn, die grote beelddatasets vereisen en vaak falen wanneer ze worden getraind op zeer uiteenlopende gegevens, zoals advertenties. Thomas en Kovashka hebben deze beperkingen overwonnen door een autoencoder te gebruiken die minder gegevens nodig had en de grote variantie in advertenties aankon.

"Toch, omdat er niet genoeg gegevens waren, het vatte niet altijd de concepten die we wilden in zijn representaties, "zegt Thomas. "Dus, we hebben opzettelijk semantiek in de representatie geïnjecteerd, wat de resultaten aanzienlijk verbeterde."

Hun bevindingen suggereren dat in de toekomst, adverteerders kunnen aangepaste en gerichte advertenties maken die zijn afgestemd op individuele klanten. Bijvoorbeeld, ze konden gezichten genereren met gelaatstrekken die overeenkomen met die van de kijker, zodat ze zich meer met het onderwerp kunnen identificeren.

"Dit soort automatische, fijnmazige advertentieaanpassing kan enorme gevolgen hebben voor online adverteerders, " zegt Thomas. "Bovendien, een adverteerder die geen extra model voor zijn advertentie wil inhuren of geen handmatige bewerking wil uitvoeren, kan een bestaand gezicht van een andere advertentie veranderen in een gezicht dat geschikt is voor zijn type advertentie."

De onderzoekers onderzoeken nu manieren waarop ze hun gegenereerde afbeeldingen kunnen verbeteren, zodat ze overeenkomen met de kwaliteit van de afbeeldingen die met grotere hoeveelheden gegevens zijn gemaakt. Om dit te doen, ze zullen andere generatieve modellen moeten ontwerpen die robuuster zijn wanneer ze worden getraind op zeer gevarieerde en beperkte gegevens.

"Een andere mogelijke onderzoekslijn is het genereren van andere objecten dan gezichten, of zelfs het genereren van volledige advertenties die zinvol en interessant zijn, ", zegt Thomas. "Dit vereist de ontwikkeling van nieuwe technieken voor het modelleren van retorische structuur in een generatief kader, gecombineerd met tekstbegrip en -generatie."

© 2018 Tech Xplore