Ken je die collega die altijd naar je bureau loopt en je luid vertelt dat ze een fout hebben gevonden in het rapport dat je inlevert? Aan de ene kant, het is goed - de baas hoeft niet te zien dat je "hun/daar" nog steeds door elkaar haalt. Aan de andere kant... wat een pijn.

In de afgelopen maanden, wetenschappers voelen dezelfde gemengde gevoelens als statcheck, een nieuwe applicatie die psychologische studies scant op fouten, is onthuld. En net als de "behulpzame" collega, het is de manier van onthulling die een paar zenuwen heeft geraakt.

Laten we beginnen met wat statcheck precies doet. Sam Schwarzkopf, een neurowetenschapper aan het University College London die de wetenschappelijke blog NeuroNeurotic schrijft, vergelijkt het met een spellingcontrole voor statistieken. "De meeste fouten die door statcheck worden gesignaleerd, zijn hoogstwaarschijnlijk onbelangrijk, " legt hij uit via e-mail. "Dus het is een beetje pijnlijk om de fout te zien, maar het doet niet echt veel kwaad." Een typfout, bijvoorbeeld. Geweldig om te vangen, maar niet erg.

Echter, wanneer statcheck fouten markeert als "mogelijk de conclusies wijzigen, " dat is vergelijkbaar met het vinden van een typfout die "de betekenis van de zin zou veranderen, ", zegt Schwarzkopf. Maar dat betekent niet dat deze statistische fouten zeker de resultaten veranderen, of.

"Ik durf te wedden dat de meeste van dergelijke fouten waarschijnlijk typefouten zijn en de conclusies niet echt veranderen, ", zegt Schwarzkopf. "In veel gevallen kun je aan de resultaten zien, of de cijfers of de grafieken, dat de conclusies correct zijn en dat de statistische test gewoon verkeerd is gerapporteerd."

Natuurlijk, er zullen gevallen zijn waarin er een daadwerkelijke fout is, wat zou betekenen dat er een fout is gemaakt met een daadwerkelijke berekening, of dat de cijfers frauduleus zijn. Hoe dan ook, het zou gaan om een ​​daadwerkelijke handleiding, ouderwetse controle.

Dus het klinkt geweldig, Rechtsaf? Een manier voor academici om hun onderzoek te controleren voordat ze worden ingediend en om te helpen werken aan nauwkeurigere resultaten. Maar de grote uitrol van statcheck was iets dramatischer:50, 000 papers op PubPeer (een online platform waarmee onderzoekers gepubliceerde papers kunnen delen en bespreken) werden geanalyseerd met statcheck, en werden dus gemarkeerd met automatisch gegenereerde rapporten - zelfs als het rapport alleen maar zei dat er geen fouten waren.

Niet iedereen was enthousiast over het ongevraagd analyseren en becommentariëren van hun werk, vooral in een forum waar een opmerking op een paper over het algemeen betekent dat er een fout wordt gevonden. Een vlag die aangeeft dat het papier is gescand door statcheck kan leiden tot verkeerde interpretatie, met andere woorden.

En het is belangrijk om te onthouden dat statcheck geenszins een perfect stukje kunstmatige intelligentie is. "Omdat statcheck een geautomatiseerd algoritme is, het zal nooit zo nauwkeurig zijn als een handmatige controle, ", zegt Michéle Nuijten via e-mail. Nuijten is een promovendus aan de Universiteit van Tilburg in Nederland en hielp bij het maken van statcheck. "Vanwege de fouten die statcheck maakt, u moet altijd handmatig eventuele inconsistenties controleren statcheck gemarkeerd, voordat je sterke conclusies trekt."

Zowel Nuijten als Chris Hartgerink (de onderzoeker die de PubPeer-papers scande en rapporteerde), waren duidelijk dat statcheck bugs en fouten had. De statcheck-handleiding bevat ook gedetailleerde lijsten van wat statcheck niet kan doen.

Dat komt terug op wat Schwarzkopf ook aangeeft:fouten vinden in statistieken is een geweldige waarschuwing, maar het vertelt niet noodzakelijk het verhaal van de gegevens. De krant meldt dat een op de acht kranten een fout bevatte die: kunnen de statistische conclusie hebben beïnvloed, wat ertoe kan leiden dat we allemaal in paniek raken dat de wetenschap het bij het verkeerde eind heeft, boven is beneden, en niemand is te vertrouwen. Maar statcheck vertelt ons niet hoeveel fouten eigenlijk de conclusies van de onderzoeken beïnvloed. Het signaleert alleen potentiële grove inconsistenties.

Schwarzkopf waarschuwt dat we niet in paniek hoeven te raken dat al deze fouten valse conclusies betekenen. "De overweldigende meerderheid, zelfs van deze één op de acht fouten, is waarschijnlijk onbelangrijk omdat ze te wijten zijn aan typefouten in plaats van aan feitelijke misrekeningen van de resultaten, " zegt hij. "Het is zeker goed om dergelijke fouten te ontdekken, maar ze maken de interpretaties van de bevindingen niet ongeldig. De enige manier om te onderscheiden of een fout het gevolg is van een typfout of een echte misrekening, is door naar de gegevens zelf te kijken en de statistieken te reproduceren."

Met andere woorden, we moeten ervoor zorgen dat auteurs en publicaties statistieken controleren (en vervolgens opnieuw controleren) vóór publicatie en - cruciaal - ook resultaten repliceren.

En hoewel sommige wetenschappers niet enthousiast waren over het analyseren of markeren van hun werk op PubPeer, het is eerlijk om te zeggen dat onderzoekers het een verademing zullen vinden om de statcheck-technologie te gebruiken om hun eigen werk te controleren, wat ze nu gemakkelijk kunnen doen op http://statcheck.io.

Het is belangrijk op te merken dat statcheck alleen is ontworpen om te werken voor psychologische papieren. Nuijten en haar collega's werken momenteel aan financiering om statcheck uit te breiden naar andere vakgebieden, zoals biomedische wetenschappen en economie.