Statistische significantie is een objectieve indicator van het feit of de resultaten van een onderzoek mathematisch 'echt' en statistisch verdedigbaar zijn, in plaats van alleen maar een toevallige gebeurtenis. Veelgebruikte significantietests kijken naar verschillen in de gemiddelden van gegevenssets of verschillen in de varianties van gegevenssets. Het type test dat wordt toegepast, is afhankelijk van het type gegevens dat wordt geanalyseerd. Het is aan de onderzoekers om te bepalen hoe belangrijk ze de resultaten moeten hebben - met andere woorden, hoeveel risico ze bereid zijn te nemen door verkeerd te zijn. Meestal zijn onderzoekers bereid een risiconiveau van 5 procent te accepteren.

Type I-fout: de nulhypothese worden ten onrechte afgewezen

Er worden experimenten uitgevoerd om specifieke hypothesen of experimentele vragen met een verwachte test uit te testen resultaat. Een nulhypothese is er een die geen verschil detecteert tussen de twee sets gegevens die worden vergeleken. In een medisch onderzoek, bijvoorbeeld, zou de nulhypothese kunnen zijn dat er geen verschil in verbetering is tussen patiënten die het studiegeneesmiddel ontvangen en patiënten die de placebo krijgen. Als de onderzoeker deze nulhypothese ten onrechte afwijst wanneer het in feite waar is, met andere woorden als ze een verschil tussen de twee sets patiënten "detecteren" wanneer er echt geen verschil was, dan hebben ze een Type I-fout gepleegd. Onderzoekers bepalen van tevoren hoeveel risico op het begaan van een Type I-fout die zij bereid zijn te accepteren. Dit risico is gebaseerd op een maximale p-waarde die ze zullen accepteren voordat de nulhypothese wordt afgewezen, en wordt alfa genoemd.

Type II Fout: de alternatieve hypothese verkeerd afwijzen

Een alternatieve hypothese is: een die een verschil detecteert tussen de twee sets gegevens die worden vergeleken. In het geval van de medische proef zou u verwachten dat er verschillende niveaus van verbeteringen zijn bij patiënten die de studiemedicatie krijgen en patiënten die de placebo krijgen. Als onderzoekers falen om de nulhypothese af te wijzen wanneer ze zouden moeten, met andere woorden als ze geen verschil tussen de twee set patiënten "detecteren" wanneer er echt een verschil was, hebben ze een Type II-fout gepleegd.

Bepaling van het significantieniveau

Wanneer onderzoekers een test uitvoeren met statistische significantie en de resulterende p-waarde lager is dan het risiconiveau dat als acceptabel wordt beschouwd, wordt het testresultaat als statistisch significant beschouwd. In dit geval wordt de nulhypothese - de hypothese dat er geen verschil is tussen de twee groepen - afgewezen. Met andere woorden, de resultaten geven aan dat er een verschil in verbetering is tussen patiënten die het studiegeneesmiddel ontvangen en patiënten die de placebo krijgen.

Een significantietest kiezen

Er zijn verschillende statistische tests om uit te kiezen van. Een standaard t-toets vergelijkt de gemiddelden van twee datasets, zoals onze studiodrugsdata en onze placebogegevens. Een gepaarde t-test wordt gebruikt voor het detecteren van verschillen in dezelfde dataset, zoals een voor en na studie. Een one-way Analysis of Variance (ANOVA) kan de gemiddelden van drie of meer datasets vergelijken en een two-way ANOVA vergelijkt de gemiddelden van twee of meer datasets als reactie op twee verschillende onafhankelijke variabelen, zoals verschillende sterkten van de studiemedicijn. Een lineaire regressie vergelijkt de gemiddelden van de gegevenssets langs een verloop van behandelingen of tijd. Elke statistische test resulteert in significantiematen, of alfa, die kunnen worden gebruikt om de testresultaten te interpreteren.