Nieuw onderzoek probeert te begrijpen wat beslissingen in data-analyses drijft en het proces waarmee academici een hypothese testen door de analyses te vergelijken van verschillende onderzoekers die dezelfde hypothesen op dezelfde dataset hebben getest. Analisten rapporteerden radicaal verschillende analyses en verspreide empirische uitkomsten, inclusief, in sommige gevallen, significante effecten in tegengestelde richtingen van elkaar. Beslissingen over variabele operationalisaties verklaarden het gebrek aan consistentie in resultaten die verder gaan dan statistische keuzes (d.w.z. welke analyse of covariaten moeten worden gebruikt).

"Onze bevindingen illustreren het belang van analytische keuzes en hoe verschillende statistische methoden tot verschillende conclusies kunnen leiden, ", zegt Martin Schweinsberg. "Een academische onderzoeksvraag kan soms op verschillende manieren worden onderzocht, zelfs als de antwoorden zijn afgeleid van dezelfde dataset en door analisten zonder enige prikkel om een ​​bepaald resultaat te vinden, en dit onderzoek benadrukt dit."

Om het onderzoek uit te voeren, Professor Schweinsberg rekruteerde een menigte analisten van over de hele wereld om twee hypothesen te testen over de effecten van het geslacht en de professionele status van wetenschappers op actieve deelname aan groepsgesprekken. Met behulp van het online academische forum Edge, onderzoekers analyseerden groepsdiscussiegegevens van wetenschappelijke discussies van meer dan twee decennia (1996-2014). De dataset bevatte meer dan 3 miljoen woorden van 728 bijdragers en 150 variabelen gerelateerd aan het gesprek, zijn bijdragers, of het tekstuele niveau van het transcript. Vervolgens, met behulp van het nieuwe platform DataExplained, ontwikkeld door co-auteurs Michael Feldman, Nicola Staub, en Abraham Bernstein, onderzoekers analyseerden de gegevens in R om vast te stellen of er een verband was tussen het geslacht of de professionele status van een wetenschapper met hun breedsprakigheid.

Analisten gebruikten verschillende reeksen steekproefomvang, statistische benaderingen, en covariaten, wat leidde tot verschillende resultaten met betrekking tot de hypothesen. Dit, daarom, resulteerde in verschillende, maar verdedigbare bevindingen van de verschillende analisten. Door DataExplained te gebruiken, Professor Schweinsberg en collega's waren in staat om precies te begrijpen hoe deze analytische keuzes verschilden, ondanks dat de gegevens en hypothesen hetzelfde zijn. Kwalitatief onderzoek naar de door analisten gebruikte R-code bracht een procesmodel aan het licht voor de psychologie achter data-analyses.

Professor Schweinsberg zegt dat hun "studie de voordelen van transparante en open wetenschapspraktijken illustreert. Subjectieve analytische keuzes zijn onvermijdelijk, en we zouden ze moeten omarmen omdat een verzameling van verschillende analytische achtergronden en benaderingen de ware consistentie van een empirische claim kan onthullen."

Dit onderzoek toont de cruciale rol aan die subjectieve onderzoekersbeslissingen spelen bij het beïnvloeden van gerapporteerde empirische resultaten. Volgens de onderzoekers is deze bevindingen benadrukken het belang van open data, die openbaar beschikbaar is, systematische robuustheidscontroles in wetenschappelijk onderzoek, en zoveel mogelijk transparantie met betrekking tot zowel genomen als niet gevolgde analytische paden, om het onderzoek zo nauwkeurig mogelijk te laten verlopen. Ze suggereren ook nederigheid bij het communiceren van onderzoeksresultaten en voorzichtigheid bij het toepassen ervan op organisatorische besluitvorming.