" " Het klassieke voorbeeld van correlatie die niet gelijk is aan oorzakelijk verband is te vinden bij ijs en -- moord. Dat is, het is bekend dat de tarieven van gewelddadige misdaad en moord stijgen wanneer de ijsverkoop dat doet. Maar, vermoedelijk, ijs kopen maakt je niet tot een moordenaar (tenzij ze niet van je favoriete soort zijn?). © Carlo Allegri/Reuters/Corbis
Je zou nu denken dat we ondubbelzinnig kunnen zeggen wat de oorzaak is van wat. Maar de kwestie van de oorzaak, die wetenschap en filosofie vanaf hun vroegste dagen heeft achtervolgd, nog steeds achtervolgt onze hielen om tal van redenen. Mensen zijn evolutionair vatbaar voor het zien van patronen en psychologisch geneigd om informatie te verzamelen die reeds bestaande opvattingen ondersteunt, een eigenschap die bekend staat als voorkeur voor bevestiging . We verwarren toeval met correlatie en correlatie met causaliteit.
Voor A om B te veroorzaken, we zijn geneigd te zeggen dat ten minste, A moet voorafgaan aan B, de twee moeten covariëren (samen variëren), en geen concurrerende verklaring kan de covariantie van A en B beter verklaren. echter, deze drie vereisten kunnen geen oorzaak bewijzen; zij zijn, zoals filosofen zeggen, noodzakelijk maar niet voldoende. In elk geval, niet iedereen is het met hen eens.
Over filosofen gesproken, David Hume betoogde dat oorzakelijk verband in geen enkele aanwijsbare zin bestaat. Karl Popper en de falsificationisten beweerden dat we een relatie niet kunnen bewijzen, ontkracht het alleen, wat verklaart waarom statistische analyses geen correlatie proberen te bewijzen; in plaats daarvan, ze trekken een dubbele ontkenning en weerleggen dat de gegevens niet gecorreleerd zijn, een proces dat bekend staat als verwerpen van de nulhypothese .
Met dergelijke overwegingen in het achterhoofd, wetenschappers moeten hun experimenten zorgvuldig ontwerpen en controleren om vooroordelen uit te bannen, cirkelredenering, self-fulfilling prophecies en verborgen variabelen. Ze moeten de vereisten en beperkingen van de gebruikte methoden respecteren, waar mogelijk uit representatieve steekproeven trekken, en hun resultaten niet overdrijven.
Klaar om te lezen over 10 gevallen waarin dat niet zo eenvoudig was?
Inhoud Het probleem met Henry (en Hawthorne)
Altijd op zwart wedden?
De hete hand en de poot van de aap
Hormonale disbalans
Super Bowl Stock Market Shuffle
Grote gegevens, Weinig duidelijkheid
Minimumloon is gelijk aan maximale werkloosheid
Ontbijt verslaat obesitas, Diner ontkent drugs
De suïcidale seks
Vaccinatiekwelling
10:Het probleem met Henry (en Hawthorne) " " Onderzoekers die aan het begin van de 20e eeuw de productiviteit van arbeiders op de fabrieksvloer onderzochten, ontdekten het Hawthorne-effect, of het idee dat deelnemerskennis van een experiment de resultaten kan beïnvloeden. Christopher Furlong/Getty Images Nieuws
Mensen zijn vervelend om te onderzoeken. Ze reageren niet alleen op de stimulus die je bestudeert, maar ook op het experiment zelf. Onderzoekers proberen tegenwoordig experimenten te ontwerpen om voor dergelijke factoren te controleren, maar dat was niet altijd het geval.
Neem de Hawthorne Works in Cicero, Ill. In een reeks experimenten van 1924-1932, onderzoekers bestudeerden de productiviteitseffecten van werknemers die verband houden met het veranderen van de omgeving van de fabriek in Illinois, inclusief veranderende lichtniveaus, het opruimen van de plaats en het verplaatsen van werkplekken. Net toen ze dachten dat ze iets op het spoor waren, ze merkten een probleem op:de waargenomen productiviteitsstijgingen markeerden bijna zodra de onderzoekers het werk verlieten, wat aangeeft dat de kennis van de werknemers van het experiment, niet de veranderingen van de onderzoekers, de boost had gegeven. Onderzoekers noemen dit fenomeen nog steeds de Hawthorne-effect .
Een verwant begrip, de John Henry-effect , treedt op wanneer leden van een controlegroep proberen de experimentele groep te verslaan door hun inspanningen in overdrive te trappen. Ze hoeven niets van het experiment af te weten; ze hoeven maar één groep nieuwe tools of aanvullende instructies te zien krijgen. Zoals de staalrijdende man van de legende, ze willen hun capaciteiten bewijzen en respect verdienen [bronnen:Saretsky; Vogt].
9:Altijd op zwart wedden? " " Als rood net zeven keer achter elkaar op het roulettewiel verscheen, zou je eerder op rood of zwart inzetten voor die achtste beurt? tony4urban/iStock/Thinkstock
De titulaire karakters van Tom Stoppard's film "Rosencrantz and Guildenstern Are Dead" beginnen de film verbijsterd, verward en ten slotte bang als elk van de 157 opeenvolgende keer dat een munt wordt opgedraaid, met de kop omhoog komt. Guildenstern's verklaringen van dit fenomeen variëren van tijdlussen tot "een spectaculaire rechtvaardiging van het principe dat elke individuele munt, individueel gesponnen, komt net zo goed met kop als staart naar beneden..."
Evolutie bedraadde mensen om patronen te zien, en ons vermogen om die drang goed te verwerken lijkt te kortsluiten naarmate we langer gokken. We kunnen rationeel accepteren dat onafhankelijke evenementen zoals het opgooien van munten dezelfde kansen behouden, ongeacht hoe vaak je ze uitvoert. Maar we kijken ook naar die gebeurtenissen, minder rationeel, als strepen, het maken van valse mentale correlaties tussen gerandomiseerde gebeurtenissen. Het verleden als prelude beschouwen, we blijven denken dat de volgende salto staarten zou moeten zijn.
Statistici noemen dit de denkfout van de gokker , oftewel de Monte Carlo drogreden , naar een bijzonder illustratief voorbeeld dat zich voordeed in die beroemde badplaats in Monaco. In de zomer van 1913, Gokkers keken met toenemende verbazing toe hoe het roulettewiel van een casino 26 keer achter elkaar op zwart belandde. Ontstoken door de zekerheid dat rood was "te wijten, " de gokkers bleven hun chips naar beneden storten. Het casino maakte een munt [bronnen:Lehrer; Oppenheimer en Monin; Vogt].
8:De hete hand en de poot van de aap " " Bijgeloof neemt alle vormen aan in de sport, alsof je je bowlingbal knuffelt. © Russell Underwood/Corbis
Geen discussie over strepen, magisch denken of valse oorzakelijkheid zou compleet zijn zonder een blader door de sportpagina's. Stellaire sportseizoenen komen voort uit zo'n mysterieus samenspel van factoren - natuurlijk vermogen, opleiding, vertrouwen, af en toe een X-factor -- dat we ons patronen in prestaties voorstellen, ook al verwerpen studies herhaaldelijk streak shooting en "succesvol" bijgeloof als iets meer dan denkbeeldig.
Het geloof in strepen of inzinkingen houdt in dat succes succes 'veroorzaakt' en falen 'veroorzaakt' falen of, misschien redelijker, die variatie in een gemeenschappelijke factor, zoals vertrouwen, veroorzaakt beide. Maar studie na studie kan dit niet bevestigen [bronnen:Gilovich et al.; Tversky en Gilovich]. Hetzelfde geldt voor bijgeloof, hoewel dat de Cleveland Indians' Kevin Rhomberg er niet van weerhield om te weigeren rechtsaf te slaan terwijl hij op het veld stond, of voorkomen dat Bruce Gardiner, het centrum van Ottawa Senators, zijn hockeystick in het toilet dompelt om af en toe een inzinking te doorbreken [bron:Trex].
De tweedejaars inzinking, te, komt meestal voort uit een te goed eerste jaar. Prestatieschommelingen hebben de neiging om op de lange termijn gelijk te worden, een fenomeen dat statistici noemen regressie naar het gemiddelde . bij sport, deze uitmiddeling wordt geholpen door de oppositie, die zich aanpast om de succesvolle vaardigheden van de nieuwe speler tegen te gaan.
7:Hormonale onbalans " " Het verhaal van hormoonvervangende therapie, ooit veel gebruikt om symptomen van de menopauze te behandelen, bleek toch niet zo eenvoudig te zijn. Christopher Pattbery/iStock/Thinkstock
Gerandomiseerde gecontroleerde onderzoeken zijn de gouden standaard in statistieken, maar soms -- in de epidemiologie, bijvoorbeeld -- ethische en praktische overwegingen dwingen onderzoekers om beschikbare gevallen te analyseren. Helaas, zo een observatie studies risico vooringenomenheid, verborgen variabelen en, het ergste van alles, een studiegroep die mogelijk niet de populatie als geheel weerspiegelt. Het bestuderen van een representatieve steekproef is van vitaal belang; het stelt onderzoekers in staat resultaten toe te passen op mensen buiten het onderzoek, net als de rest van ons.
Een voorbeeld:hormoonvervangende therapie (HST). Naast het behandelen van symptomen die gepaard gaan met de menopauze, het werd ooit geprezen voor het mogelijk verminderen van het risico op coronaire hartziekten (CHD), dankzij een veelbesproken observatieonderzoek uit 1991 [bron:Stampfer en Colditz]. Maar later gerandomiseerde gecontroleerde studies, waaronder het grootschalige Women's Health Initiative, onthulde ofwel een negatieve relatie, of een statistisch onbeduidende, tussen HRT en CHD [bronnen:Lawlor et al.; New York Times].
Waarom het verschil? Voor een ding, vrouwen die HST gebruiken, komen meestal uit hogere sociaaleconomische lagen en krijgen een betere kwaliteit van voeding en lichaamsbeweging - een verborgen verklarende relatie waarvoor de observationele studie niet volledig rekening hield [bron:Lawlor et al.].
6:Super Bowl Stock Market Shuffle " " Toen John Elway en zijn mede-Broncos twee jaar op rij de Super Bowl wonnen in 1998 en 1999, de Super Bowl-beursverbinding viel uit elkaar. Doug Collier/AFP/Getty Images
1978, sportverslaggever en columnist Leonard Koppett bespotte de verwarring tussen oorzakelijk verband door wrang te suggereren dat de resultaten van de Super Bowl de aandelenmarkt zouden kunnen voorspellen. Het werkte averechts:niet alleen geloofden mensen hem, maar het werkte - met angstaanjagende frequentie.
Het voorstel ging als volgt:als een van de 16 originele National Football League-teams - die bestonden vóór de fusie van de NFL in 1966 met de American Football League - de Super Bowl zou winnen, de aandelenmarkt zou het volgende jaar hoger sluiten dan op 31 december. Als een voormalig AFL-team won, het zou naar beneden gaan [bronnen:Koppett; Koppett; Koppett; Koppett; Zweig].
Van 1967 tot 1978, Het systeem van Koppett werd 12 voor 12; tot 1997, het pochte een succespercentage van 95 procent. Het struikelde in 1998 en 1999, toen AFL alums won de Denver Broncos en de markt steeg [bronnen:Koppett; Koppett; Koppett; Koppett].
Sommigen hebben beweerd dat het patroon bestaat, gedreven door geloof; het werkt, ze zeggen, omdat beleggers denken van wel, of omdat ze denken dat andere investeerders het geloven. dit idee, hoewel slim op een regressieve manier, verklaart nauwelijks de 12 jaar succesvolle correlaties die voorafgingen aan het artikel van Koppett. Anderen beweren dat een relevanter patroon ligt in de grootschalige opwaartse trend van de aandelenmarkt, behoudens enkele grote en kleine schommelingen op korte termijn, en het feit dat een origineel NFL-team van 1984 tot 1998 elke Super Bowl won [bron:Norris].
5:Grote gegevens, Weinig duidelijkheid " " Target is slechts een van de vele bedrijven die big data doorzoeken om de verkoop te stimuleren. © John Gress/Corbis
Big data - het proces van het zoeken naar patronen in datasets die zo groot zijn dat ze weerstand bieden aan traditionele analysemethoden - zorgt tegenwoordig voor veel geroezemoes in de bestuurskamer [bron:Arthur]. Maar is groter altijd beter?
Het is een regel die in de meeste onderzoekers in hun eerste stats-klasse is ingeprent:wanneer ze een zee van gegevens tegenkomen, weersta de drang om verder te gaan vis expeditie . Bij voldoende gegevens, geduld en methodologische speelruimte, correlaties zijn bijna onvermijdelijk, als het onethisch en grotendeels nutteloos is.
Ten slotte, de loutere correlatie tussen twee variabelen impliceert geen oorzakelijk verband; ook niet, vaak, wijzen op veel van een relatie. Voor een ding, onderzoekers kunnen niet willekeurig statistische maatstaven voor correlatie gebruiken; elk bevat bepaalde aannames en beperkingen die visexpedities maar al te vaak negeren, om nog maar te zwijgen van de verborgen variabelen, steekproefproblemen en interpretatiefouten die een slecht opgezet onderzoek kunnen verpesten.
Toegekend, big data heeft zijn nut. Voorraadbeheer gedijt bij het ontdekken van aankooppatronen, hoe mysterieus hun onderliggende oorzaken ook zijn. Om een enigszins griezelig voorbeeld te nemen, Target heeft aankooppatronen gebruikt om zwangere klanten te identificeren en hen vervolgens gerichte kortingsbonnen te sturen [bronnen:Duhigg; Heuvel; Taylor]. Dus geniet van die beloningskaart - en 10 procent korting op je prenatale vitamines - maar verwacht niet te veel van big data in de causaliteitsafdeling.
4:Minimumloon is gelijk aan maximale werkloosheid " " Stakende fastfoodmedewerkers worden vergezeld door supporters, vakbondsleden en activisten tijdens een bijeenkomst op Foley Square in New York City om een verhoging van het minimumloon tot $ 15 per uur te eisen. © Andrew Lichtenstein/Corbis
Elke kwestie die met geld te maken heeft, zal ongetwijfeld zeer verdeeldheid zaaien en sterk gepolitiseerd zijn, en minimumloonverhogingen zijn geen uitzondering. De argumenten zijn gevarieerd en complex, maar in wezen beweert één kant dat een hoger minimumloon bedrijven schaadt, waardoor de beschikbaarheid van banen afneemt, wat de armen pijn doet. De andere kant antwoordt dat er weinig bewijs is voor deze bewering, en dat de 3,6 miljoen Amerikanen die op of onder het minimumloon werken, waarvan sommigen beweren dat het geen leefbaar loon is, zou profiteren van een dergelijke verhoging. Ze stellen dat, aangepast voor inflatie, het federale minimumloon ($ 7,25 per uur in december 2013) is de afgelopen 40 jaar bergafwaarts gegaan [bronnen:Bureau of Labor Statistics; Irwin].
Zoals George Bernard Shaw naar verluidt grapte, "Als alle economen van begin tot eind zouden worden gelegd, ze zouden nooit tot een conclusie komen, " en het debat over het minimumloon lijkt dat te bevestigen [bron:Ridgers. Voor elke analist die zegt dat verhogingen van het minimumloon banen wegjagen, is er een ander die tegen een dergelijke correlatie pleit [bronnen:Baskaya en Rubinstein; Card en Krueger].
Uiteindelijk, beide partijen delen een fundamenteel probleem, namelijk, de overvloed aan anekdotisch bewijs waar veel van hun pratende hoofden op vertrouwen voor ondersteuning. Tweedehands verhalen en door kers geplukte gegevens zorgen voor slappe thee op elk feest, zelfs wanneer gepresenteerd in mooie staafdiagrammen.
3:Ontbijt verslaat obesitas, Diner ontkent drugs " " De familie die samen dineert, blijft samen van de drugs af. eh, niet helemaal. Hemera Technologies/Ablestock.com/Thinkstock
Tussen boeken, medicijnen en operaties, gewichtsverlies in de Verenigde Staten is een industrie van $ 20 miljard per jaar, met 108 miljoen Amerikanen die elk jaar naar de afslankbalk gaan [bron:ABC News]. Niet verrassend, onderzoek naar gewichtsverlies -- goed, slecht of lelijk -- krijg veel pers in de V.S.
Neem het populaire idee dat ontbijten beter is dan obesitas, een met suiker berijpte goudklomp die is afgeleid van twee hoofdonderzoeken:een, een gerandomiseerde gecontroleerde studie van Vanderbilt University uit 1992, toonde aan dat het omkeren van normale ontbijtgewoonten, al dan niet door te eten, gecorreleerd met gewichtsverlies; de andere, een observatieonderzoek uit 2002 door de National Weight Control Registry, gecorreleerd ontbijt-eten met succesvolle afslankers - wat niet hetzelfde is als het correleren met gewichtsverlies [bronnen:Brown et al.; O'Connor; Schlundt et al.; Wyatt et al.].
Helaas, de NWCR-studie kon niet controleren voor andere factoren - of, inderdaad, een causaal verband vaststellen op basis van de correlatie. Bijvoorbeeld, een persoon die wil afvallen, kan meer trainen, of ontbijten, of ga voor volkoren proteïne, maar zonder een experimenteel ontwerp dat causale verbanden kan inbellen, dergelijk gedrag komt neer op niets meer dan algemeen voorkomende kenmerken [bronnen:Brown et al.; O'Connor].
Een soortgelijk probleem plaagt de talrijke onderzoeken die familiediners koppelen aan een verminderd risico op drugsverslaving voor tieners. Hoewel aantrekkelijk vanwege hun eenvoudige, aansprekende strategie, deze studies slagen er vaak niet in om te controleren voor gerelateerde factoren, zoals sterke familiebanden of diepe ouderlijke betrokkenheid bij het leven van een kind [bron:Bialik].
2:De suïcidale seks " " Onderzoekers die zelfmoord voor verschillende geslachten bestuderen, moeten zich ervan bewust zijn dat suïcidale mannen en vrouwen naar verschillende wapens kunnen grijpen, waardoor hun resultaten worden beïnvloed. Ingram Publishing/Thinkstock
We horen het vaak over die mannen, vooral jonge mannen, plegen vaker zelfmoord dan vrouwen. in waarheid, dergelijke uitspraken maken deel uit van empirische generalisatie -- de handeling van het maken van een algemene uitspraak over een gemeenschappelijk patroon zonder te proberen het uit te leggen -- en een aantal bekende en potentiële verstorende factoren te maskeren.
Nemen, bijvoorbeeld, het feit dat vrouwen drie keer zoveel zelfmoordpogingen doen als mannen. Hoe kan er dan een hogere correlatie bestaan tussen het andere geslacht en zelfmoord? Het antwoord ligt in het slagingspercentage, beïnvloed door verschillen in methodologie:vrouwen nemen hun toevlucht tot pillen, terwijl mannen de voorkeur geven aan wapens [bron:O'Connell].
Zelfs als we over zulke verstorende factoren zouden kunnen beschikken, het feit zou blijven dat mannelijkheid, per se, is geen oorzaak. Om de trend te verklaren, we moeten in plaats daarvan factoren identificeren die mannen gemeen hebben, of in ieder geval zelfmoordneigingen. Hetzelfde geldt voor de relatief hoge zelfmoordcijfers onder gescheiden mannen. Echtscheiding zorgt er niet voor dat mannen zelfmoord plegen; als iets, de causale variabele verbergt zich tussen gerelateerde factoren, zoals isolatie, depressie, een gevoel van machteloosheid, financiële stress of verlies van bewaring [bronnen:Kposowa; Kposowa; Reuters].
1:Vaccinatiekwelling " " Kinderarts met een flesje BMR-vaccin en een 15 maanden oude jongen. In de VS, het Adviescomité voor immunisatiepraktijken beveelt een vaccinatieschema met twee doses voor mazelen aan, bof, rodehondvaccins voor kinderen, met de eerste dosis op de leeftijd van 12-15 maanden en de tweede op de leeftijd van 4-6 jaar. © TEK IMAGE/Science Photo Library/Corbis
Geen lijst met correlaties/oorzaken zou compleet zijn zonder de bezorgdheid van ouders over vaccinatieveiligheid te bespreken, geworteld in het idee, gepopulariseerd door beroemdheden als Jenny McCarthy, die mazelen, vaccinaties tegen bof en rubella (BMR) zijn causaal verbonden met autismespectrumstoornissen. Ondanks dat de medische gemeenschap het artikel van Andrew Wakefield uit 1998 ontkrachtte dat het idee inspireerde, en ondanks latere studies die geen causaal verband aantonen, zelfs met meerdere vaccinaties, sommige ouders blijven bang voor een autisme-verbinding of andere vaccingerelateerde gevaren [bronnen:The Lancet; Park; Sifferlin; Szabo].
Hoewel het waar is dat geen enkel vaccin 100 procent onschadelijk is, het geloof in dit oorzakelijk verband komt voornamelijk voort uit natuurlijke ouderlijke zorg, gebukt onder verwarring, gevoed door anekdotisch bewijs en beïnvloed door voorkeur voor bevestiging , of "als ik het niet had geloofd, had ik het niet gezien." De verwarring wordt verder aangewakkerd door het feit dat ouders en artsen de neiging hebben om autismesymptomen laat te herkennen, rond de leeftijd dat kinderen veel vaccinaties krijgen. Eigenlijk, Het begin van autisme is vrij complex en volgt meer dan één patroon. Inderdaad, studies tonen nu aan dat het begin al na 6-12 maanden kan beginnen [bronnen:CDC; Johnson en Schultz; Mandell et al.; NIH; Ozonoff et al.].
Het is geen onschuldig misverstand. In 2011, Time Magazine meldde dat 13 procent van de ouders de vaccinaties van hun kinderen uitgesteld of opgesplitst; in sommige landelijke gebieden, dat aantal schoot omhoog tot tussen de 20 en 50 procent. In de tussentijd, 15 jaar nadat deze paniek begon, medische centra meldden uitbraken van kinkhoest en mazelen. Of die correspondentie toevallig is, correlatief of causaal is het overwegen waard [bronnen:O'Connor; Park; Park].
Oorspronkelijk gepubliceerd:23 december, 2013
Veelgestelde vragen over correlatie en causaliteit Wat is een voorbeeld van correlatie maar niet van causaliteit? Er is opgemerkt dat wanneer de ijsverkoop hoger is, zo is het moordcijfer. Maar dat betekent niet dat ijs ervoor zorgt dat mensen doden. IJsverkoop stijgt in de zomer en criminelen zijn ook actiever in die tijd van het jaar, maar het een heeft niets met het ander te maken. Dit is een voorbeeld van een correlatie. maar geen oorzakelijk verband. Wat is het verschil tussen correlatie en causaliteit? Een correlatie tussen twee variabelen betekent niet noodzakelijk dat als een variabele een verandering ervaart, het zal de andere beïnvloeden. in oorzakelijk verband, de ene gebeurtenis wordt altijd veroorzaakt door het optreden van een andere gebeurtenis. Dit wordt ook wel een causaal verband genoemd. Wat wordt bedoeld met correlatie is geen oorzakelijk verband? Dit is een populaire uitdrukking die benadrukt dat alleen omdat twee dingen correleren, betekent niet altijd dat ze elkaar beïnvloeden. In plaats daarvan, er kan een derde factor zijn, beide beïnvloeden. Wat is het belangrijkste verschil tussen correlatie en causaliteit? Correlatie geeft een verband aan tussen twee variabelen. Oorzaak benadrukt dat één variabele verantwoordelijk is voor het veroorzaken van een directe verandering in een andere variabele. Veel meer informatie Notitie van de auteur:10 correlaties die geen oorzakelijk verband zijn
Hoezeer ik een slecht experimenteel ontwerp ook verafschuw, blind vertrouwen op statistieken en sensationele wetenschappelijke rapportage, het is vermeldenswaard dat sterke correlaties, hoewel niet alleen voldoende om de oorzaak te bewijzen, wijzen vaak op gebieden die het onderzoeken waard zijn. Duidelijk, met "correlaties" bedoel ik niet autocorrelaties, verwarrende variabelen of andere artefacten van slecht ontwerp of slecht begrepen methodologische vereisten en beperkingen; hoe dan ook, misschien kan het internet de slogan "correlatie impliceert geen oorzakelijk verband" een beetje afschaffen, of op zijn minst een beetje selectiever worden in de toepassing ervan.
gerelateerde artikelen Zijn domme mensen gelukkiger?
Hebben landen met strengere wapenwetten echt minder misdaad of minder moorden?
Is er een verband tussen gasprijzen en obesitas?
Is er een verband tussen geluk en CO2-uitstoot?
bronnen ABC nieuws. "100 miljoen lijners, $ 20 miljard:de afslankindustrie in cijfers." 8 mei, 2012. (18 december, 2013) http://abcnews.go.com/Health/100-million-dieters-20-billion-weight-loss-industry/story?id=16297197
Arthur, Lisa. "Wat is big data?" Forbes. 15 augustus 2013. (18 december, 2013) http://www.forbes.com/sites/lisaarthur/2013/08/15/what-is-big-data/
Baskaja, Yusuf Soner, en Yona Rubinstein. "Het gebruik van federale minimumlonen om de impact van minimumlonen op werkgelegenheid en inkomsten in de Amerikaanse staten te identificeren." London School of Economics en Politicologie. 2011. (18 december, 2013) http://businessinnovation.berkeley.edu/williamsonseminar/rubinstein110311.pdf
Bialik, Karel. "Wat familiediners wel en niet kunnen doen voor tieners." De Wall Street Journal. 29 november, 2013. (18 december, 2013) http://blogs.wsj.com/numbersguy/what-family-dinners-can-and-cant-do-for-teens-1302/
Bruin Andrew W., Michelle M, Bohan Brown en David B. Allison. "Geloof voorbij het bewijs:het voorgestelde effect van ontbijt op obesitas gebruiken om 2 praktijken aan te tonen die wetenschappelijk bewijs vervormen." Amerikaans tijdschrift voor klinische voeding. Vol. 98, Nee. 5. Pagina 1298. (18 december, 2013) http://ajcn.nutrition.org/content/early/2013/09/04/ajcn.113.064410
Arbeids Statistieken Bureau. "Minimumloonarbeiders zijn goed voor 4,7 procent van de per uur betaalde werknemers in 2012." Amerikaanse ministerie van arbeid. 25 maart, 2013. (18 december, 2013) http://www.bls.gov/opub/ted/2013/ted_20130325.htm
Kaart, David en Alan B. Krueger. "Mythe en meting:de nieuwe economie van het minimumloon." Princeton University Press. 1997. (18 december, 2013) http://press.princeton.edu/titles/5632.html
Centrum voor ziektecontrole en Preventie. "Aanbevolen immunisatieschema voor personen van 0 tot 18 jaar:Verenigde Staten, 2013." (18 december, 2013) http://www.cdc.gov/vaccines/schedules/hcp/imz/child-adolescent.html
Duhigg, Karel. "Hoe bedrijven uw geheimen leren kennen." De New York Times. 16 februari 2012. (18 december, 2013) http://www.nytimes.com/2012/02/19/magazine/shopping-habits.html?pagewanted=1&_r=2&hp&
ESPN. "Michael Jordan-statistieken." (18 december, 2013) http://espn.go.com/nba/player/stats/_/id/1035/michael-jordan
Gilovich, Tomas, Robert Vallone en Amos Tversky. "The Hot Hand in Basketball:over de misvatting van willekeurige reeksen." Cognitieve psychologie. Vol. 17. Pagina 295. (18 december, 2013) http://psych.cornell.edu/sites/default/files/Gilo.Vallone.Tversky.pdf
Heuvel, Kasjmir. "Hoe Target erachter kwam dat een tienermeisje zwanger was voordat haar vader het deed." Forbes. 16 februari 2012. (18 december, 2013) http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/
HoopData. "Liga gemiddelde statistieken." (18 december, 2013) http://hoopdata.com/regstats.aspx
Irwin, Neil. "Het typische Amerikaanse gezin verdient minder dan in 1989." Washington Post. 17 september 2013. (18 december, 2013) http://www.washingtonpost.com/blogs/wonkblog/wp/2013/09/17/the-typical-american-family-makes-less-than-it-did-in-1989/
johnson, Eric O. en Lonni Schultz. "Forward Telescoping Bias in de gerapporteerde leeftijd van begin:een voorbeeld van het roken van sigaretten." International Journal of Methods in psychiatrisch onderzoek. Vol. 14, nummer 3. Pagina 119. (18 december, 2013) http://www.ncbi.nlm.nih.gov/pubmed/16389888
Koppett, Leonard. "Statistieken tot het uiterste doorvoeren." Sportnieuws. 11 februari 1978. (18 december, 2013) http://www.dartmouth.edu/~chance/chance_news/for_chance_news/ChanceNews13.04/SportingNews.pdf
Koppett, Leonard. "Als de stieren en de beren je hebben gebuffeld, Probeer onze Foxy-formules." Sports Illustrated. 23 april 1979. (18 december, 2013) http://sportsillustrated.cnn.com/vault/article/magazine/MAG1094842/index.htm
Koppett, Leonard. "Super Bowl-voorraadtheorie maakt een comeback?" (18 december, 2013) http://www.dartmouth.edu/~chance/chance_news/for_chance_news/ChanceNews13.04/2002stocks.pdf
Koppett, Leonard. "Super Bowl-aandelen." (18 december, 2013) http://online.wsj.com/public/resources/documents/koppett.pdf
Kposowa, Augustine J. "Echtscheiding en zelfmoordrisico." Journal of Epidemiology &Community Health. Vol. 57. Pagina 993. (18 december, 2013) http://jech.bmj.com/content/57/12/993.full
Kposowa, Augustine J. "Burgerlijke staat en zelfmoord in de nationale longitudinale mortaliteitsstudie." Journal of Epidemiology &Community Health. Vol. 54. Pagina 254. (18 december, 2013) http://jech.bmj.com/content/54/4/254.full
De Lancet. "Retractie - Ileal-lymfoïde-nodulaire hyperplasie, Niet-specifieke colitis, en pervasieve ontwikkelingsstoornis bij kinderen." 2 februari, 2010. (18 december, 2013) http://download.thelancet.com/flatcontentassets/pdfs/S0140673610601754.pdf
wetgever, Debbie A., George Davey Smith en Shah Ebrahim. "Commentaar:The Hormone Replacement-Coronary Heart Disease Conundrum:Is this the Death of Observational Epidemiology?" Internationaal tijdschrift voor epidemiologie. Vol. 33, Nee. 3. Pagina 464. (18 december, 2013) http://ije.oxfordjournals.org/content/33/3/464.full#ref-4
Lehrer, Jona. "Hoe we beslissen." Houghton Mifflin Harcourt. 2009.
Mandel, David S., Maytali M. Novak en Cynthia D. Zubritsky. "Factoren die verband houden met de leeftijd van diagnose bij kinderen met autismespectrumstoornissen." Kindergeneeskunde. Vol. 116, Nee. 6. Pagina 1480. (18 december, 2013) http://pediatrics.aappublications.org/content/116/6/1480.abstract
manson, joann, et al. "Menopauzale hormoontherapie en gezondheidsresultaten tijdens de interventie- en verlengde fasen na het stoppen van de gerandomiseerde onderzoeken van het Women's Health Initiative." Tijdschrift van de American Medical Association. Vol. 310, Nee. 13. Pagina 1353. (18 december, 2013) http://jama.jamanetwork.com/article.aspx?articleid=1745676
Nationale gezondheidsinstituten. "Wat is autismespectrumstoornis?" (18 december, 2013) http://www.nimh.nih.gov/health/topics/autism-spectrum-disorders-pervasive-developmental-disorders/index.shtml
De New York Times. "Hormoonvervangende therapie." (18 december, 2013) http://www.nytimes.com/health/guides/specialtopic/hormone-replacement-therapie
Norris, Floyd. "De Super Bowl voorspelt de markt, en vice versa." The New York Times. 24 januari, 1997. (18 december, 2013) http://www.nytimes.com/1997/01/24/business/the-super-bowl-predicts-the-market-and-vice-versa.html
O'Connell, Jef. "Mannelijke zelfmoord een groeiende zorg in moeilijke tijden." Gezondheid voor mannen / NBC-nieuws. 4 december 2008. (18 december, 2013) http://www.nbcnews.com/health/male-suicide-growing-concern-tough-times-1C9456424
O'Connor, Anahad. "Meer ouders slaan kindervaccinaties over." De New York Times. 29 november, 2011. (18 december, 2013) http://well.blogs.nytimes.com/2011/11/29/more-parents-skip-childhood-vaccines/?_r=0
O'Connor, Anahad. "Mythen omringen ontbijt en gewicht." New York Times. 10 september 2013. (18 december, 2013) http://well.blogs.nytimes.com/2013/09/10/myths-surround-breakfast-and-weight/
Oppenheimer, Daniel en Benoît Monin. "The Retrospective Gambler's Fallacy:onwaarschijnlijke gebeurtenissen, Het verleden construeren, en meerdere universums." Oordeel en besluitvorming. Vol. 4, Nee. 5. Pagina 326. (18 december, 2013) http://web.princeton.edu/sites/opplab/papers/oppenheimermonin09.pdf
Ozonoff, Sally, Kelly Heung, Robert Byrd, Robin Hansen en Irva Hertz-Picciotto. Het begin van autisme:patronen van het ontstaan van symptomen in de eerste levensjaren. Autisme onderzoek. Vol. 1, Nee. 6. Pagina 320.
http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2857525/
Park, Alice. "1 op de 10 ouders slaat vaccins over of stelt ze uit." Tijd tijdschrift. 3 oktober 2011. (18 december, 2013) http://healthland.time.com/2011/10/03/more-than-1-in-10-parents-skip-or-delay-vaccines/
Park, Alice. "Onderzoek naar het koppelen van vaccins aan autisme is 'frauduleus'." Time Magazine. 06 januari, 2011. (18 december, 2013) http://healthland.time.com/2011/01/06/study-linking-vaccines-to-autism-is-fraudulent/
Park, Madison. "Waar twijfel over vaccins blijft bestaan." CNN. 20 oktober 2010. (18 december, 2013) http://www.cnn.com/2010/HEALTH/10/20/why.not.vaccinate/
Ridders, Rekening. "The Economist Book of Business Quotations." John Wiley &zonen. 2012.
Saretski, Gerrit. "Het OEO PC-experiment en het John Henry-effect." De Phi Delta Kappan. Vol. 53, Nee. 9. Pagina 579. (18 december, 2013) http://www.jstor.org/stable/20373317
Schlundt, David G., James O. Hill, Tracy Sbrocco, Jamie Pope-Cordle en Teresa Sharp. "De rol van ontbijt bij de behandeling van obesitas:een gerandomiseerde klinische studie." Amerikaans tijdschrift voor klinische voeding. Vol. 55, Nee. 3. Pagina 645. (18 december, 2013) http://ajcn.nutrition.org/content/55/3/645.abstract?sid=2ef145a4-5324-40d0-bead-e669e51756d1
Shut, Nancy. "Het laatste woord over hormoontherapie van het Women's Health Initiative." NPR. 4 oktober 2013. (18 december, 2013) http://www.npr.org/blogs/health/2013/10/04/229171477/the-last-word-on-hormone-therapy-from-the-womens-health-initiative
Sifferlin, Alexandra. "Meerdere vaccinaties op dezelfde dag verhogen het risico op autisme niet." Tijd tijdschrift. 29 maart 2013. (18 december, 2013) http://healthland.time.com/2013/03/29/multiple-vaccinations-on-same-day-does-not-raise-autism-risk/
Sport referentie. "NBA &ABA jaar-op-jaar leiders en records voor punten per spel." (18 december, 2013) http://www.basketball-reference.com/leaders/pts_per_g_yearly.html
Stampfer Meir J. and Graham A. Colditz. "Estrogen Replacement Therapy and Coronary Heart Disease:A Quantitative Assessment of the Epidemiologic Evidence." Preventative Medicine. Vol. 20, Nee. 1. Page 47. (Dec. 18, 2013) http://www.sciencedirect.com/science/article/pii/009174359190006P
Szabo, Liz. "Full Vaccine Schedule Safe for Kids, No Link to Autism." USA Today. March 29, 2013. (Dec. 18, 2013) http://www.usatoday.com/story/news/nation/2013/03/29/vaccine-schedule-autism/2026617/
Taylor, Chris. "Big Data's Slippery Issue of Causation vs. Correlation." Bedrade. 15 juli 2013. (Dec. 18, 2013) http://insights.wired.com/profiles/blogs/big-data-s-slippery-issue-of-causation-versus-correlation
Toporek, Bryan. "Kobe Bryant vs. Michael Jordan:Comparing the G.O.A.T. to the Birthday Boy." Bleker rapport. Aug. 23, 2013. (Dec. 18, 2013) http://bleacherreport.com/articles/1732165-kobe-bryant-vs-michael-jordan-comparing-the-goat-to-the-birthday-boy
Trex, Ethan. "The 10 Most Bizarre Athlete Superstitions." De Wall Street Journal. 14 juli 2009. (Dec. 18, 2013) http://online.wsj.com/news/articles/SB124640412099376447
Tversky, Amos and Thomas Gilovich. "The Cold Facts about the 'Hot Hand' in Basketball." In Preference, Belief, and Similarity:Selected Writings by Amos Tversky and Eldar Shafir. (Dec. 18, 2013) http://bayes.bgsu.edu/honors/the_hot_hand.pdf
Vogt, W. Paul. "Dictionary of Statistics and Methodology." Sage. 1993.
Wyatt, Holly R., Gary K. Grunwald, Cecilia L. Mosca, Mary L. Klem, Rena R. Wing and James O. Hill. "Long-Term Weight Loss and Breakfast in Subjects in the National Weight Control Registry." Obesity Research Vol. 10, Nee. 2. Page 78. (Dec. 18, 2013) http://onlinelibrary.wiley.com/doi/10.1038/oby.2002.13/pdf
Zweig, Jason. "Super Bowl Indicator:The Secret History." De Wall Street Journal. 28 januari 2011. (Dec. 18, 2013) http://blogs.wsj.com/marketbeat/2011/01/28/super-bowl-indicator-the-secret-history/