Het belang van enquêtegegevens is moeilijk te onderschatten:ze vertellen ons wie we zijn en – in de handen van beleidsmakers – wat we moeten doen.

Het was Brady West al lang duidelijk, een expert op het gebied van onderzoeksmethodologie aan de Universiteit van Michigan, Ann Arbor, dat de voordelen van enquêtegegevens samengingen met een gebrek aan training in het correct interpreteren ervan, vooral als het ging om secundaire analyses - onderzoekers die onderzoeksgegevens die door een eerder onderzoek waren verzameld, opnieuw analyseerden.

"In mijn advieswerk voor organisaties en bedrijven, mensen kwamen binnen en zeiden:'We zullen, hier is mijn schatting van hoe vaak iets voorkomt in een populatie, ' zoals de snelheid van een ziekte of de voorkeuren voor een politieke partij. En ze zouden willen weten hoe ze dat moeten interpreteren. ik zou reageren, 'Heeft u rekening gehouden met weging in de onderzoeksgegevens die u gebruikt, of, heb je rekening gehouden met het ontwerp van het monster?' En ik zou zeggen, waarschijnlijk 90 procent van de tijd, ze keken me aan en hadden geen idee waar ik het over had. Ze hadden nooit geleerd over de fundamentele principes van het werken met onderzoeksgegevens in hun standaard lessen Intro tot statistieken."

Als onderzoeksmethodoloog, West vroeg zich af of zijn ervaring een aanwijzing was voor een systemisch probleem. Er was niet veel in de academische literatuur om de vraag te beantwoorden, dus hij en zijn collega's, Joseph Sakshaug en Guy Aurelien, bemonsterd 250 papieren, rapporten en presentaties - allemaal online beschikbaar, allemaal secundaire analyses van onderzoeksgegevens uitvoeren - om te zien of deze analytische fouten waren, inderdaad, gemeenschappelijk.

"Het was best schokkend, ", zegt West. "Slechts ongeveer de helft van deze analyses beweerde de weging te verklaren, de impact van steekproefontwerpen op variantieschattingen werd algemeen verkeerd begrepen en er was geen teken van verbetering in deze problemen in de loop van de tijd." Maar misschien wel het ergste van alles, deze problemen kwamen net zo vaak voor in de peer-reviewed literatuur in hun steekproef als in technische rapporten en conferentiepresentaties. "Dat was het meest schokkende voor mij, ", zegt West. "Het peer-reviewproces ving deze fouten niet op."

Een alarmerend voorbeeld van wat er kan gebeuren als u een schatting berekent maar de weging van de enquête negeert, is te vinden in de 2010 National Survey of College Graduates (NSCG). "Dit is een groot nationaal onderzoek onder afgestudeerden, en ze zeggen letterlijk in hun documentatie dat ze individuen overschatten met wetenschappelijke en technische graden, " zegt West. "Als je rekening houdt met de weging, die corrigeert voor deze oversampling, ongeveer 30 procent van de mensen behaalt wetenschappelijke en technische graden; als u de weging vergeet, je extrapoleert de oversteekproef naar de hele populatie, en plotseling heeft 55 procent van de mensen een wetenschappelijke en technische opleiding."

Ironisch, betere bemonstering van onderbelichte populaties kan het probleem verergeren. "Er is veel belangstelling voor ondervertegenwoordigde bevolkingsgroepen, zoals Hispanics, "zegt West. "Dus, veel nationale enquêtes oversamplen deze groepen en anderen om een ​​steekproef te creëren die groot genoeg is voor onderzoekers om adequaat te bestuderen. Maar wanneer de gemiddelde Joe-onderzoeker alle gegevens pakt - niet alleen de gegevens van de subpopulatie waarin ze geïnteresseerd zijn, maar iedereen, blanken, Afrikaanse Amerikanen, en Hispanics - en dan proberen ze al die gegevens collectief te analyseren, dat is wanneer oversampling een vreselijk effect kan hebben op het algehele beeld als dat kenmerk van het monsterontwerp niet correct wordt ingeschat."

Er zijn veel gebruiksvriendelijke softwaretools die gemakkelijk de complexiteit van steekproeftrekking en weging in verband met onderzoeksgegevens kunnen verklaren, maar het feit dat ze niet worden gebruikt, spreekt tot het onderliggende probleem.

"Dit probleem komt voort uit het feit dat de mensen die deze artikelen publiceren hier gewoon niets over horen in hun training, ", zegt West. "We weten al bijna een eeuw over het belang van de weging van enquêtes, maar op de een of andere manier is het omgaan met gewogen enquêtegegevens niet doorgedrongen in de lessen statistiek die onderzoekers op bachelor- of masterniveau volgen. We geven een fortuin uit aan het doen van nationale enquêtes - en wie weet hoeveel het ons kost om die gegevens verkeerd te interpreteren."

Om dat probleem op te lossen, West helpt bij het ontwerpen van een MOOC (massive open online course) aan de University of Michigan waarin statistieken worden geïntroduceerd met de software Python. Weging en correcte enquête-analyses worden aangeleerd in de allereerste cursus van die specialisatie. "We zijn er echt op gericht om ervoor te zorgen dat, voordat u aan analyses van enquêtegegevens begint, je hebt een heel goed begrip van hoe de gegevens zijn verzameld en waar ze vandaan komen."