De Nobelprijs 2019 is toegekend aan drie wetenschappers voor baanbrekende recente pogingen om micro-economische problemen in ontwikkeling te beantwoorden met behulp van gerandomiseerde experimenten.

In de afgelopen drie decennia zijn gerandomiseerde onderzoeken een steeds populairdere manier geworden om interventies te testen die zijn ontworpen om ontwikkelingsproblemen aan te pakken.

Maar ze zijn controversieel. Een reeks wetenschappers heeft kritiek geuit op het gebruik van de benadering in ontwikkelingsonderzoek. Kritiek heeft een aantal dimensies aangeroerd. Deze omvatten ethische vragen, methodologische beperkingen en het gevaar dat beleidsinspanningen worden verlegd naar kleine interventies. Er is ook geen bewijs dat de aanpak leidt tot betere ontwikkelingsresultaten.

Academisch werk waarbij we betrokken zijn geweest, heeft gewezen op problemen van geïnformeerde toestemming en de gevaren van belangenverstrengeling bij experimenten met grote politieke en economische belangen. En aangetoond dat er fundamentele methodologische tegenstrijdigheden zijn in het hart van de nadruk op gerandomiseerde studies voor beleid.

methodologische problemen

Het argument voor het gebruik van gerandomiseerde experimenten is dat ze betrouwbare schattingen geven van de causale effecten van mogelijke beleidsinterventies. En dat ze daarmee ook de beste bewijsbron zijn voor beleid.

Maar geleerden in de economie hebben bezwaar gemaakt tegen beide beweringen. Deze kritiek dateert uit het midden van de jaren negentig.

Eerst, naar de experimenten. Een belangrijk punt van kritiek is dat het opzetten van een interventie zelf de uitkomst kan beïnvloeden. Bijvoorbeeld, individueel gedrag kan van invloed zijn op wie deelneemt aan een experiment. Het kan ook van invloed zijn op de manier waarop deelnemers en niet-deelnemers op de interventie reageren.

Doe een experiment waarbij willekeurig geselecteerde schoolkinderen bijles krijgen. Een gevolg zou kunnen zijn dat ouders van niet-geselecteerde leerlingen compenseren door te betalen voor bijles. Of ze kunnen meer tijd besteden aan het helpen met huiswerk. Voor hun deel, ouders van geselecteerde leerlingen zouden dergelijke inspanningen kunnen verminderen.

In situaties als deze is het idee om een ​​eenvoudig causaal effect vast te stellen zeer twijfelachtig gebleken.

In aanvulling, bij de meeste experimenten kunnen onderzoekers alleen gemiddelde effecten over groepen berekenen. Maar voor beleidsdoeleinden het is vaak nodig om een ​​idee te hebben van hoe interventies verschillende mensen beïnvloeden.

Hiermee samenhangend is het feit dat het daadwerkelijke effect van een interventie substantieel kan veranderen (ten goede of ten kwade) wanneer deze op grote schaal wordt uitgevoerd.

Experimenten worden meestal uitgevoerd door onderzoeksteams of hun partner van een niet-gouvernementele organisatie. Maar opgeschaald beleid wordt uitgevoerd door overheden. Dit introduceert een nieuwe reeks dynamieken die de implementatie kunnen beïnvloeden.

Misschien wel het grootste probleem is dat er veel andere factoren zijn die de uitkomsten van interventies kunnen beïnvloeden:onderzoekers weten vaak niet wat dit zijn en meten ze niet. Dus vooraf beslissen of een interventie die op de ene plaats positieve resultaten leek te hebben, hetzelfde elders zal doen, wordt een kwestie van giswerk.

Dit ondermijnt beweringen van voorstanders van deze methoden dat gerandomiseerde experimenten leiden tot meer 'rigoureuze' beleidsbeslissingen dan andere benaderingen.

Ethische problemen

Onder de ethische problemen een punt van zorg is dat sociale experimenten in ontwikkelingslanden te maken hebben met ernstige problemen op het gebied van geïnformeerde toestemming. Veel experimenten wijzen willekeurig interventies toe aan hele clusters, zoals scholen of ziekenhuizen, waardoor het voor deelnemers erg moeilijk is om zich af te melden.

En bij de meeste experimenten zijn ook mensen betrokken die heel arm zijn. Ze zijn vaker niet in staat om zinvolle keuzes te maken over deelname, vooral als het in ruil is voor broodnodige inkomsten of diensten.

Het ontbreken van geïnformeerde toestemming verhoogt ook het risico op onbedoelde schade. Als deelnemers zich ervan bewust zijn dat ze in een experiment zitten, dan kunnen ze onderzoekers waarschuwen voor onbedoelde negatieve gevolgen. Dit is belangrijk wanneer experimenten kritieke middelen toewijzen, zoals inkomen of zorg, aan arme mensen. Het achterhouden of verstrekken van middelen aan bepaalde groepen kan kwetsbare groepen schaden of leiden tot betwistingen die sociaal destabiliserend zijn.

Deze en andere ethische zorgen hebben een gerespecteerde econoom ertoe aangezet om op te roepen tot een moratorium op sociale experimenten totdat er effectieve ethische waarborgen zijn ingesteld.

Een afleiding

De pioniers van de ontwikkelingseconomie begrepen ontwikkeling als fundamentele transformatie op maatschappelijk niveau. Dit vereiste meer dan marginale verbeteringen aan de status-quo. In deze opvatting, ontwikkeling was grotendeels het resultaat van duurzame stijgingen van de inkomensniveaus in de samenleving. Door de gedetailleerde studie van de geschiedenis van de nu ontwikkelde landen, de pioniers concludeerden dat een dergelijke transformatie het resultaat was van de industrialisatie.

Onderzoek van de afgelopen 20 tot 30 jaar wijst ook op het primaat van de industrialisatie in de Oost-Aziatische en Chinese ontwikkelingswonderen.

De experimentele wending in de ontwikkelingseconomie heeft onderzoek en beleidswerk helaas afgeleid van zulke eeuwenoude ontwikkelingsprioriteiten. En in ieder geval, enkele van de favoriete micro-interventies van de nieuwe ontwikkelingseconomen (prijsstelling van muskietennetten, verstrekken van schoolflip-overs, enzovoort) resultaten zouden zijn - in plaats van oorzaken - van transformatieve ontwikkeling.

Angus Deaton, de Nobelprijswinnaar economie van 2015, heeft betoogd dat in het geval van Groot-Brittannië spectaculaire verbeteringen in het welzijn aan het eind van de 18e en het begin van de 19e eeuw volgden op de stijging van het algemene inkomensniveau in de economie. Verhoogde maatschappelijke inkomens stelden de Britse samenleving in staat om de middelen te verzamelen die nodig waren om te investeren in, bijvoorbeeld, grootschalige openbare sanitaire infrastructuur.

De voorstanders van gerandomiseerde experimenten in ontwikkeling zijn, daarom, schuldig aan het paard achter de wagen spannen.

Een laatste kritische zorg is dat er geen historisch bewijs is om de bewering te ondersteunen, herhaald in de Nobelprijs voor economie van dit jaar, dat de experimentele benadering van ontwikkelingsbeleid juist snellere groei of ontwikkeling oplevert.

Veel landen hebben hun economieën laten groeien en zich op verschillende manieren ontwikkeld zonder dat beleidsbeslissingen afhankelijk waren van, of prioriteiten stellen, gerandomiseerde experimenten.

Zoals we hebben opgemerkt, dergelijke experimenten richten zich alleen op een beperkt aantal mogelijke ontwikkelingsmechanismen die vatbaar zijn voor gerandomiseerde experimenten en samenvallen met de eigen reeds bestaande opvattingen van onderzoekers. Bijvoorbeeld, lerarenverzuim wordt gereduceerd tot een primitieve kwestie van prikkels, in plaats van een reeks complexe systemische factoren, en maakte het onderwerp van een experiment waarbij de aanwezigheid wordt gecontroleerd. En deze experimenten hebben zelden enige basis, in theorie of in de praktijk, om te worden opgeschaald of toegepast in andere contexten.

Een gebied van bijzondere zorg, die het onderwerp is geweest van veel van het werk van de Nobelprijswinnaars, is onderwijs. Ons eerdere en toekomstige werk roept tal van zorgen op met betrekking tot onderwijsexperimenten. De methodologische basis voor het claimen van beleidsrelevantie van zelfs populaire experimenten zoals het willekeurig maken van de schoolklassegrootte is zeer verdacht. Sommige van dergelijke experimenten zijn onwettig en ongrondwettelijk bevonden. Een doorsijpelend effect van deze benadering van lokaal onderzoek was het negeren of ontkennen van de rol die wordt gespeeld door onvoldoende geaggregeerde openbare middelen voor onderwijs.

Gezien al deze factoren, stellen we voor om in plaats van ontwikkeling en armoedebestrijding te bevorderen, de aanpak die door de Nobelprijswinnaars voor economie van dit jaar werd bepleit, zou de vooruitgang in ontwikkelingslanden zelfs kunnen tegenhouden.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.