Visuele melanges, die twee objecten samenvoegen in een ongewone, opvallende manier, zijn een geavanceerde grafische ontwerptechniek die wordt gebruikt in reclame, marketing, en de media om aandacht te vragen voor een specifieke boodschap. Deze visuele huwelijken zijn bedoeld om een ​​"aha!" moment in de kijker die één idee vat uit de vereniging van twee beelden. Bijvoorbeeld, het mengen van een afbeelding van een sinaasappel met een afbeelding van de zon kan een drank met vitamine C overbrengen.

Terwijl professionele grafisch ontwerpers bedreven zijn in het maken van visuele blends, de meeste mensen zijn niet zo bedreven in het construeren van deze fantasierijke beelden. Om niet-professionals te helpen visuele blends te maken voor hun nieuws en PSA's, computerwetenschappers van Columbia Engineering hebben VisiBlends ontwikkeld, een flexibele, gebruiksvriendelijk platform dat de creatieve brainstormactiviteit omzet in een zoekfunctie, en maakt een statistisch hogere output van visueel gemengde beelden mogelijk. Het VisiBlends-platform combineert een reeks menselijke stappen of "microtaken" met AI en computationele technieken. Crowdsourcing is een belangrijk onderdeel van het systeem dat groepen mensen in staat stelt samen te werken, samen of op locatie.

"Voor de gemiddelde persoon, het lijkt erop dat een visuele mix creatieve inspiratie vereist - een aha! moment - en dat er geen exacte formule is om er een te maken, " zegt Lydia Chilton, assistent-professor informatica, die het team leidde en de paper vandaag in Glasgow presenteerde, VK, op de 2019 ACM CHI-conferentie over menselijke factoren in computersystemen, de belangrijkste internationale conferentie van mens-computerinteractie. "We wilden het proces van het bouwen van visuele blends deconstrueren en kijken of er een manier was om het toegankelijker te maken voor mensen door het menselijke element te koppelen aan computationele methoden."

Effectieve visuele blends zijn moeilijk te maken omdat ze twee tegengestelde doelen moeten vervullen:het combineren van twee objecten in één en ervoor zorgen dat beide objecten nog steeds herkenbaar zijn. Chilton merkte op dat, hoewel er geen duidelijke oppervlaktestructuur is voor visuele melanges, velen hebben een gemeenschappelijke abstracte structuur, ze combineren twee objecten met een vergelijkbare vorm. Na analyse van honderden mengsels, het team koos voor een aanpak gebaseerd op principes van menselijke visuele objectherkenning. Mensen gebruiken veel verschillende visuele kenmerken in verschillende stadia om een ​​object te herkennen, inclusief de eenvoudige 3D-vorm van het object, silhouet, diepte, kleur, en details.

Vorm is het belangrijkste kenmerk dat mensen gebruiken om een ​​object te herkennen; ten tweede zullen ze kleur of details gebruiken. Door objecten te combineren op basis van een gedeelde vorm, dan mengen ze hun kleuren of details, men kan de visuele systemen van mensen tegenstrijdige berichten sturen over wat het object is. De tegenstrijdige berichten zorgen ervoor dat kijkers naar het object blijven kijken om erachter te komen wat het is.

Het VisiBlends-proces begint wanneer gebruikers twee belangrijke concepten vinden uit de boodschap die ze in de blend willen associëren. Bijvoorbeeld, voor het reclameconcept dat McDonald's en "gezond, " gebruikers konden een appel en een hamburger kiezen als de twee concepten om te mengen. Voor de kop "Voetbal gevaarlijk voor de ontwikkeling van jongeren, " gebruikers kunnen "voetbal" en "gevaarlijk" selecteren als de twee concepten om te mengen. De concepten moeten breed genoeg zijn zodat er voldoende variatie in de symbolen is om overeenkomsten te vinden, en zo niet, de gebruikers moeten misschien brainstormen om de concepten te verbreden.

Na het brainstormen over associaties met het concept, gebruikers moeten afbeeldingen vinden van objecten die het concept visueel weergeven in eenvoudige, iconische manieren, en moet vervolgens afbeeldingen annoteren voor hun vorm en dekking. Zodra gebruikers een verzameling geannoteerde afbeeldingen voor beide concepten hebben, computers worden gebruikt om automatisch afbeeldingen op elkaar af te stemmen en ze te synthetiseren tot mengsels op basis van het ontwerppatroon.

Nadat de mengsels zijn gesynthetiseerd, gebruikers kunnen de resultaten evalueren. Als er geen succesvolle mengsels zijn, het proces moet worden herhaald om het brainstormen te heroriënteren om meer symbolen te vinden. Hoewel dit iteratieve ontwerpproces vaak nieuwe beperkingen met zich meebrengt, de flexibiliteit van de workflow stelt gebruikers in staat zich gemakkelijk aan te passen door tussen taken te wisselen en het werk van hun medewerkers te zien.

Chilton en haar team, waaronder haar Ph.D. student Savvas Petridis en Maneesh Agrawala, de Forest Baskett Professor of Computer Science en directeur van het Brown Institute for Media Innovation aan de Stanford University, vroeg zich af of beginnende ontwerpers zouden helpen om betere visuele melanges te maken. Om dit te testen, ze voerden een gecontroleerd onderzoek uit om te vergelijken hoeveel succesvolle melanges beginnende gebruikers met en zonder VisiBlends konden maken.

In de studie, VisiBlends produceerde 10 keer zoveel creatieve resultaten als ongeleide brainstormsessies. Gebruikers van VisiBlends hadden een slagingspercentage van 96%, in tegenstelling tot een tarief van 21% zonder het systeem te gebruiken. De onderzoekers ontdekten ook dat het systeem het voor groepen op verschillende plaatsen gemakkelijk maakte om collaboratieve melanges te genereren in onafhankelijke microtaken en voor groepen in één gebied om samen te werken aan gemengde afbeeldingen.

"Het was heel spannend, " zegt Chilton, "om te zien dat het gebruik van onze VisiBlends-tool het aantal succesvolle visuele blends drastisch heeft doen toenemen."

VisiBlends neemt het algemene ontwerpproces en stemt het af op één specifiek probleem, gebaseerd op één ontwerppatroon. "Maar het ontwerpproces en het idee van ontwerppatronen is heel breed", merkt Chilton op. "We werken nu aan het creëren van flexibele workflows voor andere problemen door te begrijpen welke componenten ten grondslag liggen aan de oplossing en welk abstract ontwerppatroon het beste kan beschrijven hoe die componenten bij elkaar passen. veel creatieve taken hebben patronen - verhalen hebben plots zoals de reis van de held, muziek heeft akkoordenschema's, wiskundige bewijzen hebben bewijstechnieken, software heeft ontwerppatronen, en zelfs academische papers hebben een abstracte structuur die adviseurs doorgeven aan studenten."

Er was geen bestaand ontwerppatroon voor visuele melanges, dus het team moest het patroon onderscheiden door naar voorbeelden te kijken en theorieën te testen. Ze ontdekten dat, om ontwerppatronen te vinden, ze moesten details op het maaiveld negeren en zich concentreren op de elementen die meer fundamenteel zijn voor de menselijke cognitie. "Voor visuele melanges, vorm was belangrijk voor een blend, " voegt Chilton toe. "Voor een domein als overtuigend schrijven, psychologische principes van emotionele toestanden kunnen de belangrijkste elementen van een ontwerppatroon zijn."

Chilton onderzoekt nu hoe ze haar benadering kan uitbreiden naar andere creatieve ontwerpproblemen, onderzoeken hoe haar team verbanden kan vinden tussen twee onderzoeksgebieden en deze kan samenvoegen tot één om nieuwe resultaten te bereiken en interdisciplinair onderzoek te versnellen. Chilton merkt op dat veel verrassende resultaten van wetenschappelijke resultaten in de geschiedenis zijn voortgekomen uit het toepassen van een experimentele techniek op één gebied, zoals natuurkunde, en toepassen op een ander gebied, zoals informatica, wat deel uitmaakt van hoe deep learning tot stand kwam.

"De effecten van het mengen van velden kunnen enorm zijn, maar tot nu toe, ze gebeuren meestal per ongeluk, " zegt ze. "We kunnen wetenschappelijke uitwisseling en ontdekking systematischer maken en de snelheid van ontdekking versnellen."