" " Voorbehoud emptor. Wees er niet zo zeker van dat je elke zogenaamde wetenschappelijke studie die in het nieuws opduikt kunt vertrouwen, zelfs als de schrijver een bril draagt. shironosov/iStock/Thinkstock
Eet chocolade, verlies gewicht! In maart 2015 maakten de resultaten van een nieuwe studie door onderzoekers in Duitsland furore met de bewering dat chocolade onderdeel zou kunnen zijn van een afslankregime. De studie, onder leiding van ene Johannes Bohannon, onderzoeksdirecteur van het non-profit Institute of Diet and Health, toonde aan dat het toevoegen van chocolade aan een koolhydraatarm dieet het gewichtsverlies daadwerkelijk deed toenemen.
Het enige probleem was dat de studie volledig nep was. Johannes Bohannon was eigenlijk een wetenschapsjournalist genaamd John Bohannon. Bohannon heeft de studie verzonnen om aan te tonen hoe weinig feitencontrole de media doen als het gaat om berichtgeving over wetenschap [bron:Hiltzik].
Terwijl de "studie" een plons maakte in de roddelpers, weinig of geen gerenommeerde verkooppunten dekten het. Misschien is dat omdat ze de veelbetekenende tekenen van een neponderzoek herkenden. Laten we eens kijken welke dat zijn.
Inhoud Het is onherhaalbaar
Het is aannemelijk, Niet aantoonbaar
De samples zijn ondeugdelijk
Er ontbreekt iets
Roofzuchtige uitgevers
Het bewijst een punt (Volg het geld)
Het is zelf beoordeeld
De batterijen zijn bijna leeg
Het is te nieuw
Het is een cool verhaal
10:Het is onherhaalbaar " " Doe het niet, baby. Laat die beker niet vallen. Niet doen - je gaat het helemaal doen, ben jij niet? Alliantie/iStock/Thinkstock
Iedereen doet studies. Als je baby's keer op keer hun tuitbekers van hun hoge stoel ziet laten vallen, ze zijn bezig met een van de meest ingrijpende experimenten van hun leven. Het voorwerp van hun onderzoek? Zwaartekracht.
Het maakt niet uit hoe vaak we kopjes laten vallen, ze vallen altijd op de grond. Het feit dat dit experiment eindeloos kan worden herhaald en door iedereen met hetzelfde resultaat is een van de basisprincipes van elke studie. Hoe overtuigend de resultaten van een onderzoek ook zijn, als het niet kan worden herhaald door collega-onderzoekers, dat betekent dat het niet kan worden gevalideerd.
Om op dit probleem te wijzen, het Center for Open Science coördineerde 270 onderzoekers in een enorm project om de resultaten van 100 gepubliceerde studies op het gebied van psychologie te reproduceren. in 2015, na jaren werk, het Centrum meldde dat meer dan de helft van de onderzoeken niet kon worden herhaald omdat het voor hen verzamelde bewijs niet zo sterk was als oorspronkelijk werd beweerd.
Een van de onderzoeken die ze hebben getest, bijvoorbeeld, werd ontworpen om te bepalen of mannen het moeilijker hebben om seksuele signalen van vriendelijkheid te onderscheiden. In navolging van de structuur van de oorspronkelijke studie, het Center for Open Science liet proefpersonen een serie foto's zien van vrouwen met verschillende gezichtsuitdrukkingen.
Hoewel uit de oorspronkelijke studie bleek dat, inderdaad, mannen waren ninnies in het spijkeren van de signalen, de vervolgtest van de studie kon die resultaten niet repliceren. Het is niet duidelijk of dit kwam door culturele verschillen tussen de eerste en tweede studie (één studie werd uitgevoerd in het VK, de andere in de VS) of de tijd die is verstreken tussen onderzoeken [bron:Firger]. Hoe dan ook, een bevinding die niet kan worden gereproduceerd, is niet voor de eeuwigheid.
9:Het is aannemelijk, Niet aantoonbaar " " Jim nam dit hele observatie-onderzoek iets te letterlijk. Kleurenblind/Getty Images
Zeer serieuze mensen in witte laboratoriumjassen die peinzend over reageerbuisjes buigen - dat is het beeld dat vaak bij ons opkomt als we denken aan een wetenschappelijk onderzoek. Maar dat is slechts één type onderzoek:een laboratoriumexperiment.
Een ander soort onderzoek wordt 'observationeel' genoemd. Dan vinden onderzoekers een groep proefpersonen, stel ze veel vragen, noteer de antwoorden en "datamining" de resultaten om te zien wat ze vinden.
Er was eens, observationele studies suggereerden dat het hebben van een 'type A'-persoonlijkheid je een hoger risico op een hartaanval geeft. Maar follow-up gerandomiseerde klinische onderzoeken konden deze resultaten niet herhalen, en het is nu bekend dat de oorspronkelijke bevinding volledig onjuist was. Hoe is dit gebeurd?
Observationele studies kunnen, natuurlijk, enorm nuttig en verhelderend zijn. Maar er is een potentieel voor misleidende resultaten. Een probleem is dat je ongeveer 5 procent van de tijd statistisch significante resultaten kunt krijgen. Dus als je genoeg vragen stelt (en soms kunnen deze onderzoeken duizenden vragen bevatten), de gegevens lijken misschien iets belangrijks weer te geven. Maar bij een volgende beoordeling, of pogingen om de studie te herhalen, de resultaten zijn misschien niet hetzelfde [bron:Miller en Young].
8:De samples zijn ondeugdelijk " " Laten we ze niet vertellen dat maagdelijkheidsstudie nog niet nep was. Zekering/Thinkstock
Breaking news:Een nieuwe studie onthult dat de manier waarop je je maagdelijkheid verloor een belangrijke impact zal hebben op hoe je seks voor altijd daarna ervaart.
Verrassende resultaten van vreemde onderzoeken zijn tegenwoordig een vast onderdeel van de nieuwscyclus. Maar als u de daadwerkelijke onderzoeksstudie in handen kunt krijgen, het ontwerp van het project zal u misschien nog meer verrassen dan de resultaten.
Het ding over dat onderzoek naar maagdelijkheid uit 2013 is dat de onderwerpen extreem homogeen waren. In feite, het blijkt, dat zijn ze meestal als het gaat om studies in psychologie en sociale wetenschappen.
Omdat veel van deze onderzoeken worden uitgevoerd door academici, de typische steekproefpopulatie voor dergelijk onderzoek is — verrassing, verrassing - studenten. Dat maakt ze WEIRD - een acroniem voor Western, Opgeleid en van geïndustrialiseerde, Rijke en democratische landen. Met andere woorden, niet bepaald representatief voor de mondiale samenleving als geheel.
Om het erger te maken, in de maagdelijkheidsstudie, onderzoekers sloten mensen uit die gewelddadige eerste ontmoetingen hadden meegemaakt, evenals iedereen die iets anders dan heteroseksuele gemeenschap ervoer [bron:Brookshire].
Dus de volgende keer dat je het laatste nieuws hoort van weer een verbazingwekkende ontdekking over menselijk gedrag en ervaring, neem het met een korreltje zout, want je vraagt je af wie er precies werd bestudeerd.
7:Er ontbreekt iets " " Nee, het komt helemaal goed met je, muis! Neem gewoon dit medicijn en doe een dutje! WUNCHANA_SEUBWAI/iStock/Thinkstock
Stel dat u een proef uitvoert met een nieuw medicijn om een beroerte te voorkomen. Je hebt 20 muizen:10 krijgen het medicijn en de overige 10 in je controlegroep. Het is een kleine studiegroep, heel klein, maar dan is je budget klein, en, goed, iedereen doet het tegenwoordig zo.
Zeven van je testmuizen doen het heel goed, maar helaas sterven drie van hen aan zware beroertes. Wat doe jij? Eenvoudig. Laat ze gewoon uit de resultaten. Ja, klopt, wanneer u uw grafieken en grafieken opmaakt, vermeld alleen de overleden knaagdieren niet. Iedereen doet het tegenwoordig zo.
Dat is echt gebeurd. Werkelijk, het blijkt dat dat echt de hele tijd gebeurt in dieronderzoek. Gelukkig, in dit specifieke geval, de wetenschapper die werd gevraagd om de studie te beoordelen, liet het niet passeren. De drie dode muizen, hij wees erop, waren belangrijke onderdelen van het onderzoek. Inderdaad, ze toonden aan dat het nieuwe medicijn eerder schadelijk dan nuttig zou kunnen zijn.
Die wetenschapper, Ulrich Dirnagl, en een collega genaamd Malcolm MacLeod hebben alarm geslagen over de lakse normen die worden gevonden in veel dieronderzoeksstudies [bron:Couzin-Frankel]. Laten we hopen dat hun boodschap overkomt.
6:Roofzuchtige uitgevers " " Ze heeft net ontdekt dat het International Journal of Overly Large Fignernails niet echt legitiem is -- en dat ze verwachten dat ze betaalt voor publicatie. Bart Sadowski/Getty Images
Daar ben je, een jonge dokter die je carrière van de grond krijgt wanneer je een e-mail krijgt van "The Journal of Clinical Case Reports" waarin je wordt gevraagd om enkele artikelen in te dienen. Zoals het gebeurt, je hebt een aantal interessante zaken te melden, dus schrijf ze op en stuur ze op. Tot uw vreugde, ze worden geaccepteerd. Een mooie aanvulling op je cv.
Dan komt de rekening - het journaal zegt dat je ze $ 2 schuldig bent, 900! geschokt, je schrijft terug om te zeggen dat je nog nooit hebt gehoord dat er kosten in rekening worden gebracht voor publicatie en dat je niet van plan bent te betalen. Ze publiceren je artikelen toch, aanbieden om uw rekening te verlagen tot $ 2, 600. Na een jaar van ruzie, het tijdschrift stemt er uiteindelijk mee in om je zogenaamde schuld te "vergeven".
Welkom in de dappere nieuwe wereld van roofzuchtige uitgeverijen, een onverwacht gevolg van de open-accessbeweging om wetenschappelijke bevindingen breder beschikbaar te maken. Jeffrey Bel, een onderzoeksbibliothecaris, heeft een register bijgehouden van publicaties die hij als roofzuchtig beschouwt. Hij denkt dat er misschien wel 4 zijn, 000 van hen die er zijn - dat zou 25 procent van alle open-accesstijdschriften zijn.
Het volstaat te zeggen dat roofzuchtige uitgevers meer bezig zijn met hun winstmarge dan met wetenschappelijke nauwkeurigheid. Als onderzoekers kunnen betalen, ze kunnen worden gepubliceerd, ongeacht de kwaliteit van hun werk. Als resultaat, het aantal dubieuze studies dat is gepubliceerd, is vermenigvuldigd. Tenzij je een expert bent op een bepaald gebied, het is misschien moeilijk te zeggen welke wetenschap betrouwbaar is en welke rommel is [bron:Kolata].
beroemd, om vooruit te komen in de academische wereld, geleerden moeten publiceren of sterven. Geen wonder dat roofzuchtige uitgeverijen in zo'n sfeer gedijen. Koper (en lezer) opgelet!
5:Het bewijst een punt (Volg het geld) " " Pas op voor de krachtige bubblegum-lobby. Wie weet wat voor invloed ze hebben op kauwgomonderzoekers? belchonock/iStock/Thinkstock
Op een dag besluit je een nieuw merk kauwgom te proberen, maar een korte tijd nadat je het in je mond hebt gestopt, krijg je netelroos. Op de eerste hulp vertelt de dokter dat uit bloedonderzoek blijkt dat er een allergie is voor een ingrediënt in de nieuwe kauwgom. Maar laten we zeggen dat je raar koppig bent, en laten we zeggen dat je die kauwgom erg lekker vond, te. Oh, en je besluit nog negen dokters te bezoeken.
Acht van de negen van hen zijn het eens met de eerste. Maar een eenzame dokter zegt nee, het is niet de kauwgom, het is gewoon toeval. In feite, hij denkt dat u allergisch bent voor kauwen, of wandelen, of lopen en kauwen tegelijkertijd. Je houdt van zijn antwoord, en je houdt van zijn chique kantoor, maar je begint je af te vragen hoe hij ervoor betaald heeft.
Als je probeert te achterhalen of een onderzoek nep is, een beetje gezond verstand is handig. Als 99,9 procent van de experts op een bepaald gebied één ding zegt en een handvol anderen is het daar niet mee eens, kijk eens waar de financiering van de sceptici vandaan komt. Met andere woorden, Volg het geld.
Willie Soon is een van de weinige onderzoekers die ontkennen dat menselijke activiteit iets te maken heeft met klimaatverandering. Het feit dat hij bij het Harvard-Smithsonian Center for Astrophysics werkt, verleent zijn mening een zekere prestige. Echter, het Center for Astrophysics heeft een armlengte relatie met Harvard, en onderzoekers daar hebben geen salaris en ontvangen geen geld van de universiteit.
In feite, het blijkt dat het grootste deel van de financiering van Soon afkomstig is van bronnen zoals Exxon Mobil en het American Petroleum Institute, onder andere in de energiesector. Met andere woorden, de mensen die voor het onderzoek van Soon betalen, zijn de mensen die het meest hebben geïnvesteerd in het weerleggen van de menselijke verantwoordelijkheid voor klimaatverandering. Hoewel Soon volhoudt dat de bron van zijn financiering geen invloed heeft op zijn onderzoek, de optica is niet in zijn voordeel [bron:Goldberg].
4:Het is zelf beoordeeld " " "Ik zal JOU later zelf beoordelen." mediafoto's/Getty Images
Peer review:het is de basis van gerenommeerde wetenschappelijke publicaties. Het idee is dat als een onderzoek zorgvuldig is onderzocht en goedgekeurd door een andere onderzoeker op hetzelfde gebied, dan is het geldig genoeg om in een gerespecteerd tijdschrift te publiceren. Maar dat idee gaat alleen op als het peer review-systeem zelf betrouwbaar is.
Hynung-In maan, een onderzoeker naar medicinale planten aan een universiteit in Zuid-Korea, had veel succes met de recensies van de onderzoeken die hij publiceerde in 'The Journal of Enzyme Inhibition and Medicinal Chemistry'. Afgezien van een paar suggesties om zijn papieren te verbeteren, ze werden snel goedgekeurd. Heel snel. In feite, de peer reviews kwamen soms binnen 24 uur nadat hij ze had verzonden terug naar de redacteur van het tijdschrift.
verdacht worden, de redacteur vroeg Moon wat er aan de hand was. De onderzoeker fessed - die snelle, goedkeurende beoordelingen kwamen van niemand minder dan hijzelf. In navolging van de gangbare praktijk, het tijdschrift had Moon gevraagd om enkele potentiële recensenten voor te stellen. Toen hij dat deed, hij gaf ze een combinatie van echte en fictieve namen met valse contactgegevens, inclusief e-mailadressen die naar de inbox van Moon kwamen [bron:Ferguson et al].
Het blijkt dat sommige van de systemen die zijn opgezet voor beoordeling, mazen hebben als deze, en Moon's voorbeeld van zelfevaluatie is geen geïsoleerde anomalie. Dit geeft ons de mogelijkheid dat sommige van de peer-reviewed onderzoeken waar we over horen, feitelijk peer-less zijn.
3:De batterijen zijn bijna leeg " " 'Wat dan ook. Dat onderzoek naar longkanker had waarschijnlijk een laag statistisch vermogen.' iStock/Thinkstock
Het veld van de neurowetenschappen bevindt zich in een opwindende fase met krachtige nieuwe technologie die de hersenen met steeds grotere nauwkeurigheid kan analyseren. Met behulp van scans, bijvoorbeeld, in een aantal verschillende onderzoeken is gekeken naar de relatie tussen geestelijke gezondheid en een abnormaal hersenvolume. Veel, in feite de meeste, een verband gevonden.
Maar de overweldigende snelheid waarmee deze onderzoeken elkaar bleven bevestigen, wekte de nieuwsgierigheid van onderzoeker John Ioannidis. Na analyse van de gegevens ontdekte hij dat, bij elkaar genomen, al deze onderzoeken hadden een gemiddelde statistische power van 8. Dat klinkt laag, en het is. Maar wat betekent het?
De statistische power van een onderzoek verwijst naar de grootte van de gebruikte steekproeven en hoe groot of klein de resultaten waren. Om massaal te simplificeren, als je 10 studeert, 000 rokers en 10, 000 niet-rokers en ontdekken dat 50 procent van de rokers longkanker kreeg, terwijl slechts 5 procent van de niet-rokers dat kreeg, dan heeft je studie een zeer hoge power. Je had een enorme steekproefpopulatie, en de resultaten waren ook enorm.
Maar als je 10 rokers en 10 niet-rokers bestudeert en ontdekt dat twee van de rokers longkanker ontwikkelden en een van de niet-rokers ook, dan heb je een extreem ondermaatse studie. De steekproefomvang is zo klein dat het verschil tussen de twee groepen zinloos is [bron:Yong].
Om eerlijk te zijn, de meeste studies die ervan worden beschuldigd een laag vermogen te hebben, zijn niet zo belachelijk laag als dat fictieve voorbeeld. Maar de laatste jaren is bezorgde onderzoekers blazen de klok over de prevalentie van ondermaatse onderzoeken. Hun boodschap? Het is tijd om op te laden!
2:Het is te nieuw " " Misschien wacht u even voordat u naar buiten rent om de nieuwste vermeende kankerblokkerende remedie te proberen die wordt aangeprezen door een gloednieuwe studie. Thinkstock Afbeeldingen/Stockbytes
Om de dag horen we van een nieuwe studie waarin vitamine X is gevonden, Y of Z voorkomt kanker of Alzheimer of auto-immuunziekten, en we haasten ons om grote hoeveelheden van het spul te kopen. Alvorens nog een ander trendy supplement te gebruiken, het is misschien verstandig om even achterover te leunen en te wachten om te zien of vervolgonderzoek de waarde ervan versterkt of ontkracht.
De media gedijt op het laatste en het nieuwste. Maar als het om wetenschap gaat, nieuwigheid is niet per se een goede zaak. Vaak betekent het gewoon dat de opwindende resultaten van een verrassende nieuwe studie te nieuw zijn om al weerlegd te zijn. Kom over een paar jaar terug om te zien hoeveel van die headliner-onderzoeksresultaten de tand des tijds hebben doorstaan.
Op het gebied van onderzoek, veel van waar de media over berichten zijn 'eerste bevindingen'. De eerste bevindingen zijn precies dat, voorletter. Ze moeten worden geverifieerd door meer studies om te zien of de resultaten kunnen worden gereproduceerd. Vaak kunnen ze dat niet zijn - maar het komt zelden voor dat mediakanalen negatieve onderzoeksresultaten rapporteren [bron:Crowe]. Dat komt omdat ze nooit zo populair zijn als een spannende nieuwe ontdekking.
1:Het is een cool verhaal " " Het lijkt erop dat de natuur gelijk had. Laten we hopen dat je wat vlamvertragende outfits bij de hand hebt. Don Arnold/WireImage/Getty Images
De april 2015 editie van "Natuur, " een van de meest prestigieuze en gerenommeerde wetenschappelijke tijdschriften ter wereld, deed zijn lezers opschrikken met de buitengewone resultaten van een nieuwe studie. Draken, het zei, zijn geen mythische producten van de premoderne verbeelding, maar echte wezens die sinds de middeleeuwen in een sluimerende fase leven. Een van de meest zorgwekkende bevindingen was dat er aanwijzingen waren dat deze oude beesten op het punt stonden wakker te worden.
De publicatiedatum is de voor de hand liggende tip dat dit artikel een uitgebreide 1 aprilgrap was. Maar ondanks het kluchtige karakter van het stuk, het wijst op een belangrijk kenmerk van wetenschapsjournalistiek:mensen houden van goede verhalen. Wetenschappers weten dit. Zelfs om een paper in een wetenschappelijk tijdschrift te publiceren, kan het nodig zijn een 'prachtig verhaal' te maken om de bevindingen te verklaren. En hoe beter het verhaal, hoe waarschijnlijker het is dat de reguliere media het zullen behandelen [bron:Firger].
Maar wetenschappelijk onderzoek levert niet altijd goede verhalen op. In feite, vaak, het niet. Veel belangrijk onderzoek is zeer onduidelijk. Op zijn best, het zou ons een voorlopig venster kunnen geven op een mogelijke waarheid. Zo vaak als niet, het zegt ons weinig of helemaal niets. Dus als het om wetenschap gaat, pas op voor goede verhalen, draken of niet.
Veel meer informatie Notitie van de auteur:10 tekenen dat studeren nep is
Ik ben zo cynisch als de volgende persoon, maar het voor dit artikel vereiste onderzoek heeft me meer dan eens geschokt. Zoals de meeste mensen, Ik associeer wetenschap met strengheid, dus ik was ontmoedigd om te leren over enkele van de slordige, slapdash en gecompromitteerd werk wordt gedaan. Maar ik denk dat ik dat niet zou moeten zijn. Wetenschappers zijn geen robots die in hermetisch afgesloten omgevingen opereren. Ze zijn net zo onderhevig aan omkoopbaarheid en culturele trends als ieder ander. En uiteindelijk kwam ik weg met misschien nog meer respect voor een manier van onderzoek die zichzelf beheerst in de mate dat de wetenschap dat doet. Er is veel slechte wetenschap, maar de mensen die op de fluit blazen zijn ... wetenschappers!
gerelateerde artikelen Hoe de wetenschappelijke methode werkt
10 volledig voor de hand liggende onderzoeksontdekkingen
Top 10 wetenschappelijke ontdekkingen van 2013
Hoe wetenschappelijke peer review werkt
10 valse wetenschappelijke feiten die iedereen kent
Meer geweldige links Beall's lijst
Centrum voor Open Wetenschap
Ulrich Dernagl's blog
bronnen Brookshire, Bethanië. "Psychologie is RAAR." Leisteen. 8 mei 2013. (15 september, 2015) http://www.slate.com/articles/health_and_science/science/2013/05/weird_psychology_social_science_researchers_rely_too_much_on_western_college.html
Knop, Kate. "Onbetrouwbare neurowetenschap? Waarom macht ertoe doet." De Wachter. 10 april 2013. (18 september, 2015) http://www.theguardian.com/science/sifting-the-evidence/2013/apr/10/unreliable-neuroscience-power-matters
Couzin-Frankel, Jennifer. "Als muizen misleiden." Wetenschap Tijdschrift. Vol. 342. 22 nov. 2013. (15 september, 2015) https://www.gwern.net/docs/dnb/2013-couzinfrancel.pdf
Kraai, Kelly. "Het is nieuws, Maar is het waar?" CBC News. 5 oktober, 2012. (14 september, 2015) http://www.cbc.ca/news/health/it-s-news-but-is-it-true-1.1282472
De econoom. "Hoe de wetenschap verkeerd gaat." 19 okt. 2013. (12 september, 2015) http://www.economist.com/news/leaders/21588069-scientific-research-has-changed-world-now-it-needs-change-itself-how-science-goes-wrong
Ferguson, Kat et al. "Publishing:The Peer Review Scam." Natuur. Vol. 515. Pagina's 480-482. 26 november, 2014. (17 september, 2015) http://www.nature.com/news/publishing-the-peer-review-scam-1.16400
Figer, Jessica. "Reproduceerbaarheidsprobleem van de wetenschap." Nieuwsweek. 28 augustus 2015. (12 september, 2015) http://www.newsweek.com/reproducibility-science-psychology-studies-366744
Fischer, Douglas. "'Dark Money' financiert ontkenning van klimaatverandering." Wetenschappelijke Amerikaan. 23 december 2013. (17 september, 2015) http://www.scientificamerican.com/article/dark-money-funds-climate-change-denial-effort/
Guldenberg, Susanne. "Werk van prominente klimaatverandering Denier werd gefinancierd door de energie-industrie." De Wachter. 21 februari 2015. (17 september, 2015) http://www.theguardian.com/environment/2015/feb/21/climate-change-denier-willie-soon-funded-energy-industry
Hamilton, Andrew J. et al. "Hier zijn draken." Natuur. Vol. 520. 2 april 2015. (14 september, 2015) http://water-pire.uci.edu/wp-content/uploads/2015/04/Hamilton_Dragons.pdf
Hiltzik, Michaël. "Een valse studie van chocolade en diëten - en de media slikten het geheel door." Los Angeles Times. 29 mei 2015. (14 september, 2015) http://www.latimes.com/business/hiltzik/la-fi-mh-a-bogus-study-of-chocolate-20150529-column.html
Horowitz, Eva. "Studies tonen aan dat veel studies onjuist zijn." De Boston-globe. 1 juli, 2014. https://www.bostonglobe.com/lifestyle/2014/07/01/studies-show-many-studies-are-false/PP2NO6lKd7HMyTZa1iCHGP/story.html
Ioannidis, John PA "Waarom de meeste gepubliceerde onderzoeksresultaten onjuist zijn." PLoS Med. Vol. 2, Nr. 8. 30 augustus, 2005. (12 september, 2015) http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
Kolata, Gina. "Wetenschappelijke artikelen geaccepteerd (ook persoonlijke cheques)." De New York Times. 7 april 2013. (17 september, 2015) http://www.nytimes.com/2013/04/08/health/for-scientists-an-exploding-world-of-pseudo-academia.html
Marcus, Adam en Ivan Oransky. "De schijnstudies uit de wetenschap halen." De Wall Street Journal. 19 aug. 2015. (14 september, 2015) http://www.wsj.com/articles/getting-the-bogus-studies-out-of-science-1440024409
Molenaar, Henry I. "Het probleem met 'wetenschappelijk' onderzoek van vandaag:veel dat wordt gepubliceerd, is rommel." Forbes. 8 januari 2014. (12 september, 2015) http://www.forbes.com/sites/henrymiller/2014/01/08/the-trouble-with-scientific-research-today-a-lot-thats-published-is-junk/
Jong, Ed. "Neurowetenschappen Cannae Do It Cap'n, Het heeft de kracht niet." National Geographic Phenomena. 10 april 2013. (18 september, 2015) http://phenomena.nationalgeographic.com/2013/04/10/neuroscience-cannae-do-it-capn-it-doesnt-have-the-power/