Onderzoekers van Idiap en EPFL hebben met psychologen samengewerkt om te begrijpen hoe mensen een eerste indruk vormen van foto's. Ze richtten zich op hoe mensen reageren op woningen die beschikbaar zijn op Airbnb. Een betere analyse van menselijk gedrag zou wetenschappers in staat moeten stellen machines te programmeren die meer 'menselijke' beslissingen kunnen nemen.

Met slechts een paar klikken op TripAdvisor of Airbnb, boek je een romantisch appartement voor een weekendje weg met je partner, of een stijlvol restaurant voor een zakenlunch. De snelle beslissingen die ermee gemoeid zijn, voornamelijk gebaseerd op afbeeldingen, zijn verre van triviaal gezien hun commerciële belang en de economische revolutie die wordt vertegenwoordigd door de komst van on-demand economy-websites zoals Airbnb. Maar hoe zit het met een beeld dat ons ertoe aanzet om een ​​interieur als "trendy" te omschrijven? "kleurrijk" of "praktisch"? Om die vraag te beantwoorden, onderzoekers van het Idiap Research Institute en bij EPFL hebben samengewerkt met psychologen van de Universiteit van Lausanne. Ze willen de perceptie en het gedrag van gebruikers van sociale media beter begrijpen en deze kennis vervolgens gebruiken om computers te programmeren die in staat zijn om op een meer menselijke manier beslissingen te nemen. "In het tijdperk van big data, machines staan ​​steeds vaker achter een groot aantal beslissingen, " legt Daniel Gatica-Perez uit, adjunct-professor aan EPFL School of Engineering en Digital Humanities Institute. "Ons doel is om ze zo vergelijkbaar mogelijk te maken met menselijke beslissingen."

Een samenwerking tussen psychologen en ingenieurs

Om te begrijpen hoe een eerste indruk wordt gevormd, onderzoekers hebben eerst interviews gehouden met gasten en reizigers, vragen hoe ze accommodaties selecteren. Ze gebruikten 350, 000 afbeeldingen van 22, 000 woningen vermeld op Airbnb in Zwitserland en Mexico, en een algoritmische analyse op hen toegepast om te controleren of het afbeeldingen van interieurs waren. Vervolgens selecteerden ze willekeurig 200 eigendommen en stuurden ze een lijst met bijvoeglijke naamwoorden naar online waarnemers. Die waarnemers moesten beslissen hoe nauwkeurig de bijvoeglijke naamwoorden elke eigenschap beschreven, op een schaal van 1 tot 7. Sommige bijvoeglijke naamwoorden waren meer feitelijk (zoals "schoon" en "onoverzichtelijk"), terwijl anderen meer subjectief waren (zoals "bohemien" en "charmant"). dat stadium, uitgevoerd in samenwerking tussen psychologen en ingenieurs, onthulden over welke kenmerken alle deelnemers het eens waren en met welke ze het niet eens waren. Voor eigenschappen die worden beschreven als "kleurrijk" of "donker, " de meeste respondenten waren het eens met die bijvoeglijke naamwoorden en de scores leken erg op elkaar. Scores voor andere bijvoeglijke naamwoorden, zoals "ontspannen" of "traditioneel, " varieerde sterk, afhankelijk van het pand.

De menselijke perceptie online analyseren

De wetenschappers voerden vervolgens modellering uit op basis van de verkregen gegevens. Ze probeerden te detecteren welke kenmerken van de foto's de deelnemers ertoe brachten ze te beschrijven met een bepaald bijvoeglijk naamwoord, om computers te programmeren om ze te herkennen. Volgende, ze keken naar de mate waarin de bijvoeglijke naamwoorden met elkaar verband hielden. Zullen mensen die een eigenschap als 'kleurrijk' beschrijven ook het adjectief 'schoon' associëren met die eigenschap? Wat is het verband tussen "pretentieus, "trendy, " "georganiseerd" en "groot"? Hoe zijn positieve en negatieve bijvoeglijke naamwoorden, en feitelijke en subjectieve bijvoeglijke naamwoorden, onderling verbonden? En waarom wordt het adjectief "romantisch" meer geassocieerd met "verfijnd" dan met "trendy"? "We zouden kunnen verwachten dat 'groot' en 'ruim' in de hoofden van mensen heel dicht bij elkaar liggen, en 'rommelig' en 'leeg' om heel ver uit elkaar te zijn, " zegt Gatica-Perez. "Maar de relaties zijn complexer. Met behulp van ons systeem, als we één kenmerk herkennen, we kunnen ook andere bijvoeglijke naamwoorden die ermee verbonden zijn in de hoofden van mensen associëren."

Machines die mensen helpen

Eindelijk, de onderzoekers namen de eigendomsafbeeldingen en toegepaste algoritmen die worden gebruikt op het gebied van diep leren, de resultaten te vergelijken met die van mensen. Eventueel, professionals zoals architecten of ontwerpers konden de resultaten toepassen op foto's van interieurs. Het laboratorium volgt ook de ontwikkeling van sites voor het delen van afbeeldingen die, voor een bepaalde plaats, zeer verschillende foto's weergeven - professioneel en amateur - wat leidt tot zeer uiteenlopende percepties. Echter, het belangrijkste doel van de wetenschappers is om de kenmerken van beelden en de verbanden te begrijpen die bepalen hoe we indrukken vormen, zodat ze computers kunnen programmeren om ze te imiteren. "We horen vaak dat machines beter presteren dan mensen, " concludeert Gatica-Perez. "Ons doel is anders:we willen machines trainen om deze subtiliteiten te herkennen die mensen waarnemen en uiten in hun dagelijks leven, en om ze te gebruiken om de echte behoeften van mensen te ondersteunen."

"Bekijk deze plek:sfeer afleiden uit Airbnb-foto's" is gepubliceerd in IEEE-transacties op multimedia .