science >> Wetenschap >  >> anders

Onderzoek vindt dat gebrekkig onderzoek leidt tot een aanzienlijke daling in het gebruik van eerder gepubliceerd werk

“De vraag die we stellen is:triggeren intrekkingen, op individueel niveau, zoiets als een infectiemechanisme, waar de ingetrokken auteur wordt gestraft en in diskrediet wordt gebracht omdat hij oneerlijk of gewoon incompetent is?” zegt Alessandro Bonatti, een universitair hoofddocent aan de MIT Sloan School of Management. Krediet:Jose-Luis Olivares/MIT

Levenswetenschappers die artikelen hebben gepubliceerd die door tijdschriften zijn ingetrokken, krijgen vervolgens 10 procent minder citaten van hun resterende werk, vergeleken met vergelijkbare maar onaangetaste wetenschappers, volgens een nieuwe studie van MIT-onderzoekers.

Onderzoek van honderden gevallen over een periode van 30 jaar, het onderzoek kwantificeert de mate waarin een in diskrediet geraakte studie - of het nu een daad van misdrijf is of een slordig stuk onderzoek - heeft op de algehele reputatie van academische wetenschappers.

"De vraag die we stellen is:triggeren intrekkingen, op individueel niveau, zoiets als een infectiemechanisme, waar de teruggetrokken auteur wordt gestraft en in diskrediet wordt gebracht omdat hij oneerlijk of gewoon incompetent is?" zegt Alessandro Bonatti, een universitair hoofddocent aan de MIT Sloan School of Mangement en een co-auteur van een nieuw artikel waarin de studie wordt beschreven. "We vinden dat ja, er is een dergelijk mechanisme, en het werkt door middel van citaten."

De studie vindt ook dat, in geval van duidelijk wangedrag, spraakmakende wetenschappers die een paper hebben ingetrokken, ervaren een nog grotere daling - 20 procent - in de citaten van hun aanvullende werk.

De studie draagt ​​bij aan een groeiende literatuur over intrekkingen en gerelateerde problemen in de wetenschap, en suggereert dat het systeem van collegiale toetsing, hoewel niet perfect, geeft mensen in de wetenschappelijke gemeenschap wel de ruimte om hun voorkeuren over de kwaliteit van het aangeboden werk te veranderen.

Zoals de auteurs in de krant schrijven, het academische proces van peer review biedt mogelijk niet in alle opzichten "het optimale stimuleringssysteem", maar de resultaten druisen in tegen het "verhaal dat peer review beschouwt als fundamenteel ondermijnd door ... vormen van wangedrag."

De krant, "De carrière-effecten van schandaal:bewijs van wetenschappelijke intrekkingen, " is zojuist online gepubliceerd door het tijdschrift Research Policy, en zal ook in een gedrukte editie verschijnen. De auteurs zijn Bonatti; Pierre Azoulay, de International Programmes Professor of Management aan MIT Sloan, wie is de corresponderende auteur; en Joshua L. Krieger PhD '17, een assistent-professor aan de Harvard Business School, die aan het project werkte terwijl hij zijn doctoraat aan het MIT afrondde.

eerste terugtrekking, dan weigeren

De studie kijkt naar een grote groep wetenschappers die papers publiceerden, van 1977 tot 2007, die later werden ingetrokken, en vergelijkt de citatiepercentages van al hun gepubliceerde werken met de citatiepercentages van een verwante groep wetenschappers die nooit papieren hebben ingetrokken.

Er zijn 376 wetenschappers in de studie waarvan de papieren zijn ingetrokken en die gezamenlijk in totaal 23 hebben geschreven, 630 gepubliceerde artikelen in hun loopbaan. De controlegroep van wetenschappers zonder intrekkingen omvat 759 auteurs met in totaal 46, 538 gepubliceerde artikelen op hun naam staan.

Er zijn twee grote methodologische sleutels tot de studie. Eerst, de controlegroep van wetenschappers werd gevormd door onderzoekers te identificeren die artikelen in dezelfde tijdschriftnummers hadden gepubliceerd, en over soortgelijke onderwerpen, als de papieren die later werden ingetrokken. Hierdoor konden de MIT-onderzoekers erop vertrouwen dat ze twee groepen wetenschappers bestudeerden die grotendeels op elkaar leken en waarvan verwacht kon worden dat ze vergelijkbare citatiepercentages voor hun werk zouden genereren.

Tweede, de afname van 10 procent in citaties wordt specifiek gemeten aan de hand van het "normale" traject van citaties in de loop van de tijd dat wordt ervaren door auteurs die nog nooit intrekkingen hebben gehad. Dat is, academische papers hebben over het algemeen een typische daling van het aantal citaten in de loop van de tijd. Maar de citatiepercentages van nog steeds geldige artikelen die zijn gepubliceerd door onderzoekers die vervolgens intrekkingen kregen, daalden met 10 procent in vergelijking met de verwachte langetermijndaling van citatiepercentages die al bestaat.

"Als je kijkt naar de tijdstrend van citaties naar deze kranten, er gebeurt niets [ongebruikelijks] totdat er een intrekking is, Bonatti legt uit. "Dat is precies wat we oppikken. Het is niet dat dit oude papieren zijn die verouderd raken, en mensen citeren nieuwere dingen."

In plaats daarvan, Bonatti voegt toe, "Onze data is consistent met een leerverhaal." Dat is, de wetenschappelijke gemeenschap reageert op nieuwe informatie, in de vorm van intrekkingen, en haar kijk op de waarde van het oeuvre van bepaalde geleerden bijstelt, gebaseerd op dat.

"De machtigen vallen verder"

Het patroon dat de onderzoekers ontdekten, verdubbelt wanneer er duidelijk wetenschappelijk wangedrag is, die vaak wordt aangekondigd door het tijdschrift dat de intrekking doet. Zoals de onderzoekers ontdekten, wangedrag produceert een subset van gevallen waarin de citatiepercentages van andere kranten met 20 procent dalen, onder wetenschappers die qua citaties tot het hoogste kwartiel van hun collega's behoorden.

"Als je eenmaal kijkt naar intrekkingen die gepaard gaan met wangedrag, dat zijn behoorlijk goede tekenen dat er iets ergs is gebeurd, ' merkt Bonatti op. 'Dus als het signaal heel duidelijk is, het maakt niet uit hoe beroemd je was om mee te beginnen, je komt in diskrediet. … De machtigen vallen verder, omdat ze om te beginnen langer stonden."

De huidige studie bouwt voort op eerder werk van Azoulay en Krieger, die in 2014 een paper publiceerde, samen met twee andere co-auteurs, waaruit blijkt dat ingetrokken papers een daling van 6 procent veroorzaakten in citaties voor niet-ingetrokken papers in hetzelfde onderzoeksgebied.

Zoals de geleerden erkennen, de nieuwe paper laat een aantal gerelateerde vragen open over het intrekkingsbeleid en de effecten van intrekkingen. Veel tijdschriften publiceren intrekkingen die onduidelijkheid zaaien over de redenen voor hun actie, waardoor externe waarnemers onduidelijk zijn over de precieze aard van het probleem.

Bovendien, zoals de auteurs schrijven, ze kunnen nog steeds "niets definitiefs zeggen" over de theoretische voordelen die onderzoekers behalen door twijfelachtig werk te publiceren; de studie van intrekkingen hangt af van de identificatie van verdacht werk. Het blijft dus onduidelijk hoe vaak wetenschappers wegkomen met werk dat terugtrekking verdient.

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.