Eind vorig jaar (2021) was er veel opwinding over de eerste uitgebreide analyse van eerder onderzoek naar technieken die zijn ontworpen om het gedrag van mensen te veranderen (bekend als 'nudging'), waaruit vol vertrouwen blijkt dat ze werken. Dit was geweldig nieuws voor onderzoekers, maar ook voor regeringen over de hele wereld die hebben geïnvesteerd in "nudge units" die dergelijke methoden gebruiken.

Nudges zijn bedoeld om mensen te beïnvloeden om betere beslissingen te nemen. Autoriteiten kunnen bijvoorbeeld een "betere" keuze, zoals het doneren van uw organen, als standaard instellen. Of ze kunnen een optie voor gezond eten aantrekkelijker maken door middel van etikettering.

Maar nieuw onderzoek naar dit artikel - dat 212 gepubliceerde artikelen met meer dan 2 miljoen deelnemers had bekeken - en anderen waarschuwen nu dat nudges mogelijk helemaal geen effect op het gedrag hebben.

Om te begrijpen waarom, moeten we ingaan op enkele details over statistieken en hoe experimentele bevindingen worden geanalyseerd en geïnterpreteerd. Onderzoekers gaan uit van een hypothese dat er geen effect is (nulhypothese). Vervolgens vragen ze:wat is de kans dat ze bij toeval een daadwerkelijk effect krijgen?

Dus als er in mijn experiment een groep mensen is die wordt blootgesteld aan een specifieke nudge-techniek, en een controlegroep die niet wordt gepusht, is mijn uitgangspunt dat de twee groepen niet zullen verschillen. Als ik dan een verschil vind, gebruik ik statistieken om te berekenen hoe waarschijnlijk het is dat dit alleen door toeval zou zijn gebeurd. Dit wordt de P-waarde genoemd, en hoe lager hoe beter. Een grote p-waarde zou betekenen dat de verschillen tussen de twee groepen grotendeels door toeval kunnen worden verklaard.

Het tegenovergestelde geldt voor effectgroottes. Het is ook belangrijk om de grootte van het effect te meten om de praktische waarde van een experiment te beoordelen. Stel je voor dat ik een nudge test die wordt verondersteld om zwaarlijvige mensen te helpen hun gewicht te verminderen, en ik zie dat mensen in de nudge-groep in de loop van zes maanden een pond afvallen. Hoewel dit verschil aanzienlijk kan zijn (ik krijg een lage p-waarde), zou ik me terecht kunnen afvragen of dit effect groot genoeg is voor praktische doeleinden.

Dus terwijl p-waarden ons een indicatie geven van hoe waarschijnlijk een waargenomen verschil alleen door toeval is, vertellen effectgroottes ons hoe groot - en dus hoe relevant - het effect is.

Een goed onderzoek moet een matige of grote effectgrootte aantonen, maar het moet ook aantonen hoeveel ervan het resultaat was van 'publication bias'. Dit is het selecteren van resultaten om een ​​overwinning voor nudge aan te tonen, wat betekent dat onderzoeken die aantonen dat nudges niet werken, niet zijn opgenomen of zelfs gepubliceerd in de eerste plaats. Dit kan zijn omdat redacteuren en recensenten van wetenschappelijke tijdschriften bevindingen willen zien die aantonen dat een experiment heeft gewerkt - het maakt het tenslotte interessanter om te lezen.

De auteurs van de oorspronkelijke studie uit 2021, die een matige effectgrootte van nudging op gedrag rapporteerden, sloten publicatiebias uit die ernstig genoeg was om een ​​grote invloed te hebben op de redelijke effectgrootte die ze vonden.

Probleem voor duwtje

Sindsdien zijn er echter twee dingen gebeurd. Dit jaar benadrukten een collega en ik dat er, ongeacht de resultaten van 2021, nog steeds algemene problemen zijn met nudge-wetenschap. Wetenschappers vertrouwen bijvoorbeeld te veel op bepaalde soorten experimenten. En ze houden vaak geen rekening met de voordelen ten opzichte van de werkelijke kosten van het gebruik van nudges, of berekenen niet of nudges daadwerkelijk de werkelijke reden zijn voor positieve effecten op gedrag.

Veel onderzoekers begonnen ook steeds wantrouwend te worden over de gerapporteerde effectgrootte van de studie uit 2021. Sommigen riepen op om het artikel in te trekken nadat ze hadden ontdekt dat de geanalyseerde gegevens studies bevatten die vervalste gegevens hadden gebruikt.

En nu een nieuwe studie, gepubliceerd in PNAS , heeft de geschatte impact van publicatiebias in de studie van 2021 opnieuw onderzocht. De auteurs van het nieuwe artikel gebruikten hun eigen statistische methoden en beoordeelden de ernst van publicatiebias en de impact ervan op de werkelijke effectgrootte. Ze toonden aan dat de oorspronkelijke effectgrootte van alle 212 onderzoeken niet echt matig was - het was nul.

Hoe erg is dit allemaal? Vanuit wetenschappelijk oogpunt is dit uitstekend. Onderzoekers starten een proces van het verzamelen van gegevens om algemene veronderstellingen over de effectiviteit van nudges te informeren. Andere onderzoekers bekijken dezelfde gegevens en analyses en stellen vervolgens een herziening van de conclusies voor. Alles gaat zoals de wetenschap zou moeten.

Hoe slecht is dit voor nudge? De investeringen daarin zijn enorm. Onderzoekers, overheden, maar ook organisaties als de Wereldgezondheidsorganisatie gebruiken nudges als standaardmethode voor gedragsverandering. Er is dus een enorme last op de schouders van nudgers gelegd. Dit kan ook geleid hebben tot de ernstige publicatiebias, omdat zovelen geïnvesteerd hebben om te laten zien dat het werkt.

Op dit moment is de beste wetenschap die we hebben de effectiviteit van nudging serieus in twijfel te trekken. Maar velen, waaronder ikzelf, weten dit al lang - ik heb jarenlang zorgvuldig commentaar geleverd op de verschillende manieren waarop onderzoek naar nudging moet worden verbeterd, en zijn grotendeels genegeerd.

Dat gezegd hebbende, hoeven pogingen om gedragsinterventies te gebruiken niet te worden opgegeven. Een betere manier om vooruit te komen zou zijn om te focussen op het opbouwen van een wetenschappelijke basis die laat zien welke combinaties van nudges en andere benaderingen samenwerken. Zoals ik bijvoorbeeld heb aangetoond, hebben combinaties van nudging-methoden samen met veranderingen in belastingen en subsidies een sterker effect op duurzame consumptie dan wanneer ze afzonderlijk worden uitgevoerd.

Dit ontlast de nudge die alleen verantwoordelijk is voor gedragsverandering, vooral omdat het alleen niet veel doet. Hoe zou het eigenlijk kunnen? Gezien hoe complex menselijk gedrag is, hoe zou één enkele benadering ooit kunnen hopen het te veranderen? Er is geen enkel voorbeeld in de geschiedenis dat dit met succes is gedaan, althans niet zonder de mensenrechten aan te tasten.

Zoals ik eerder heb laten zien, kunnen we, als we eerlijk zijn over de mogelijkheid van falen, het gebruiken om te leren wat we beter kunnen doen. + Verder verkennen

Nudges:vier redenen om te twijfelen aan populaire technieken om het gedrag van mensen vorm te geven

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.