Onderzoekers van Northwestern University en Facebook publiceerden in maart nieuw onderzoek in het INFORMS-tijdschrift Marketingwetenschap dat licht werpt op de vraag of gemeenschappelijke benaderingen voor het meten van online advertenties even betrouwbaar en nauwkeurig zijn als de "gouden standaard" van grootschalige, gerandomiseerde experimenten.

De studie die wordt gepubliceerd in de maart-editie van het INFORMS-tijdschrift Marketingwetenschap is getiteld "A Comparison of Approaches to Advertising Measurement:Evidence from Big Field Experiments at Facebook, " en is geschreven door Brett Gordon van Northwestern University; Florian Zetttelmeyer van Northwestern University en het National Bureau of Economic Research; en Neha Bhargava en Dan Chapsky van Facebook.

"Onze bevindingen suggereren dat veelgebruikte observatiebenaderingen die gebaseerd zijn op gegevens die gewoonlijk beschikbaar zijn voor adverteerders, vaak niet het ware effect van reclame nauwkeurig kunnen meten, ' zei Brett Gordon.

Observationele benaderingen zijn benaderingen die een brede klasse van statistische modellen omvatten die vertrouwen op de gegevens "zoals ze zijn, " gegenereerd zonder expliciete manipulatie door middel van een gerandomiseerd experiment.

"We hebben een significant verschil gevonden in de advertentie-effectiviteit die is verkregen uit gerandomiseerde controleonderzoeken en de observatiemethoden die vaak door adverteerders worden gebruikt om hun campagnes te evalueren, " voegde Zettelmeyer eraan toe. "Over het algemeen, de huidige en meer gebruikelijke methoden overschatten de effectiviteit van advertenties in vergelijking met wat we in onze gerandomiseerde tests hebben gevonden. Hoewel in sommige gevallen, ze onderschatten de effectiviteit aanzienlijk."

Het meten van de effectiviteit van reclame blijft voor veel bedrijven een belangrijk probleem. Een belangrijke vraag is of een advertentiecampagne incrementele resultaten heeft opgeleverd:kochten meer consumenten omdat ze een advertentie zagen, of zouden veel van die consumenten hebben gekocht, zelfs zonder de advertentie? Door een nauwkeurige meting van incrementele resultaten ("conversies") te verkrijgen, kan een adverteerder het rendement op de investering (ROI) van de campagne berekenen.

"Digitale platforms die reclame dragen, zoals Facebook, hebben uitgebreide middelen ontwikkeld om de effectiviteit van advertenties te beoordelen, met behulp van gedetailleerde gegevens die advertentieblootstelling koppelen, klikken, pagina bezoek, online aankopen en zelfs offline aankopen, "zei Gordon. "Toch, zelfs met deze gegevens het meten van het causale effect van reclame vereist het juiste experimenteerplatform."

De auteurs van het onderzoek gebruikten gegevens van 15 Amerikaanse advertentie-experimenten op Facebook, bestaande uit 500 miljoen observaties van gebruikersexperimenten en 1,6 miljard advertentie-impressies.

Facebook's experimenteerplatform "conversieverhoging" biedt adverteerders de mogelijkheid om gerandomiseerde gecontroleerde experimenten uit te voeren om het oorzakelijke effect van een advertentiecampagne op de resultaten van consumenten te meten.

Deze experimenten wijzen willekeurig gebruikers toe aan een controlegroep, die nooit worden blootgesteld aan de advertentie, en aan een testgroep, die in aanmerking komen om de advertentie te zien. Het vergelijken van uitkomsten tussen de groepen levert het causale effect van de advertentie op, omdat randomisatie ervoor zorgt dat de twee groepen, gemiddeld, gelijkwaardig, behalve voor reclameblootstelling in de testgroep. De experimentele resultaten van elke advertentiecampagne dienden als basis voor het evalueren van algemene observatiemethoden.

Observationele methoden vergelijken de resultaten tussen gebruikers die werden blootgesteld aan de advertentie en gebruikers die niet werden blootgesteld. Deze twee groepen gebruikers hebben de neiging om op veel manieren systematisch te verschillen, zoals leeftijd en geslacht. Deze verschillen in kenmerken kunnen waarneembaar zijn omdat de adverteerder (of zijn advertentieplatform) vaak toegangsgegevens heeft over deze en andere kenmerken, bijv. naast het kennen van het geslacht en de leeftijd van een online gebruiker, het is mogelijk om het type apparaat dat wordt gebruikt te observeren, de locatie van de gebruiker, hoe lang het geleden is dat de gebruiker het laatst bezocht, enz. Echter, het lastige is dat de blootgestelde en niet-blootgestelde groepen ook kunnen verschillen op manieren die heel moeilijk te meten zijn, zoals de onderliggende affiniteit van de gebruikers voor het merk. Om te zeggen dat de advertentie een effect 'veroorzaakte', moet het onderzoek in staat zijn om zowel waargenomen als niet-waargenomen verschillen tussen de twee groepen te verklaren. Observationele methoden gebruiken gegevens over de kenmerken van de geobserveerde gebruikers om te corrigeren voor zowel de waarneembare als niet-waarneembare verschillen.

“We zijn begonnen om te bepalen of zoals algemeen wordt aangenomen, huidige observatiemethoden die uitgebreide gegevens op individueel niveau gebruiken, zijn 'goed genoeg' voor advertentiemeting, "zei Zettelmeyer. "Wat we ontdekten was dat zelfs vrij uitgebreide gegevens ontoereikend blijken om betrouwbare schattingen van reclame-effecten op te leveren."

"In principe, wij zijn van mening dat het gebruik van grootschalige, gerandomiseerde, gecontroleerde onderzoeken om de effectiviteit van advertenties te evalueren, waar mogelijk de voorkeursmethode van adverteerders moet zijn."