Onderzoekers in de begintijd van wetenschappelijk onderzoek gebruikten vaak zeer eenvoudige benaderingen van experimenten. Een gemeenschappelijke aanpak stond bekend als "één factor tegelijk" (of OFAT) en betrof het veranderen van één variabele in een experiment en het observeren van de resultaten, en vervolgens overschakelen naar de volgende enkele variabele. Hedendaagse wetenschappers gebruiken geavanceerdere methoden voor het uitvoeren van proeven waarbij ze verschillende bronnen van variatie overwegen die de resultaten kunnen beïnvloeden.

Experimentontwerp

Het proces van experimentontwerp is een methode om tests samen te stellen die verstrek de meest mogelijke informatie. Doorgaans is een ontworpen experiment bedoeld om de effecten van verschillende factoren op de uitkomst van een proces te vinden. Wetenschappers hebben experimenten samengesteld die laten zien of de variatie tussen proefpersonen die worden blootgesteld aan verschillende factoren groter is dan de variatie binnen groepen proefpersonen die allemaal aan dezelfde factor zijn blootgesteld. Sommige ontworpen experimenten kunnen ook laten zien of er interacties zijn tussen verschillende factoren.

Binnen onderwerpen

Binnen subjectvariatie in een experiment verwijst naar de variatie die wordt gezien in een groep onderwerpen die allemaal worden behandeld als zelfde manier. Als een arts drie geneesmiddelen test om naar een verschil in effectiviteit te zoeken, en ook geïnteresseerd is in verschillen tussen geslachten, kan ze mannelijke onderwerpen in drie groepen scheiden en elk met een ander medicijn behandelen, en dan hetzelfde doen met drie vrouwelijke groepen. Zelfs binnen een groep proefpersonen (hetzelfde geslacht, hetzelfde medicijn) zullen verschillende patiënten verschillende antwoorden hebben. Dit is de variatie binnen het onderwerp.

Between Subjects

Het andere type variatie in een experiment is tussen onderwerp. Dit is het verschil tussen verschillende groepen die worden blootgesteld aan verschillende factoren. In het voorbeeld van de tests van de arts zou ze kijken naar het verschil in gemiddelde hersteltijd tussen mannelijke en vrouwelijke groepen en ook tussen elk van de groepen die een van de drie geneesmiddelen innamen. In elk geval zullen er waarschijnlijk verschillen zijn tussen de groepen. De taak van het ontworpen experiment is om te zien of dit verschil statistisch significant is.

ANOVA

Een onderzoeker gebruikt ANOVA, variantieanalyse, statistieken om te vergelijken binnen en tussen subjectvariatie. De ANOVA-test verhoudingen de "binnen" tot de "tussen" variaties. Als er significante variatie is binnen dezelfde groepen, suggereert dit dat de test zelf over een breed scala aan resultaten beschikt. Als de "binnen" -variatie gelijk is aan de "tussen" -variatie, zal de ANOVA-test concluderen dat de onderzoeker niet kan zeggen dat de factoren een effect hadden, aangezien eventuele schijnbare effecten gewoon te wijten kunnen zijn aan de willekeurige variatie die werd gezien binnen testgroepen. Een meer geavanceerde benadering, ook bekend als tweewegs-ANOVA, kan ook interacties tussen factoren detecteren.