In 2012, De Amerikaanse statisticus Nate Silver voorspelde de resultaten van alle 50 staten in de Amerikaanse presidentsverkiezingen correct met 100% nauwkeurigheid.

Vergelijk dit met het schokkende resultaat van de Trump-verkiezingen van 2016, en nu de Australische verkiezingen van 2019, toen bijna alle Australische opiniepeilingen ten onrechte voorspelden dat de Labour Party van Bill Shorten de coalitie van Scott Morrison zou verslaan op basis van twee partijen.

Hoe hebben de opiniepeilers het zo mis? Belangrijker, hoe kunnen we ervoor zorgen dat we de volgende keer een nauwkeuriger resultaat krijgen?

Wat opiniepeilingen moeten doen?

Een goede opiniepeiling moet twee moeilijke dingen doen:

1. het moet een grote en representatieve steekproef van Australische kiezers vinden
2. het moet die kiezers ertoe brengen eerlijk te onthullen op wie ze zullen stemmen.

Als beide dingen gebeuren, statistische theorie geeft ons vertrouwen dat de peiling betrouwbaar zal zijn.

Om de moeilijkheid nog groter te maken, we hebben niet alleen nodig Goed opiniepeilingen die we nodig hebben excellent opiniepeilingen, omdat zelfs een kleine fout kan betekenen dat de verkeerde winnaar wordt voorspeld.

Bijvoorbeeld, als een ministerie wil weten hoeveel procent van de mensen het afgelopen jaar vrijwilligerswerk heeft gedaan, het zou voor hun doeleinden waarschijnlijk niet uitmaken als ze twee peilingen zouden laten uitvoeren die schattingen gaven van 48% en 52%. Maar deze variatie is onaanvaardbaar voor electorale opiniepeilingen, die een kleine foutmarge nodig hebben om de winnaar nauwkeurig te voorspellen.

Hoe een representatief monster te krijgen?

Een goede representatieve steekproef zal de hele Australische stempopulatie zijn, maar in microkosmos. Als er 16 miljoen kiesgerechtigden zijn, dan een representatieve steekproef van 1, 600 zou betekenen dat elke kiezer in de steekproef 10 vertegenwoordigt, 000 mensen net als zij.

Het gebruik van relatief kleine steekproeven is een goedkope manier om het grotere geheel van de verkiezingen in te schatten, zonder toevlucht te nemen tot dure enquêtes zoals de Australische enquête over het homohuwelijk.

Met een grote en representatieve steekproef, statistische theorie vertelt ons dat we dicht bij het werkelijke resultaat zullen komen met een kleine foutmarge. Maar de opiniepeilingen bij deze verkiezingen voorspelden consequent de verkeerde winnaar, wat betekent dat er iets mis was met de monsters.

Het probleem van disruptieve technologie

Opiniepeilingen worden meestal uitgevoerd door opiniepeilers die vaste lijnen bellen, soms mobiel bellen, robo-dialling en internetenquêtes.

In het recente verleden, toen bijna elke Australiër een vaste telefoon had, het was veel gemakkelijker om een ​​representatieve steekproef van kiezers te krijgen door willekeurig nummers te bellen of willekeurige steekproeven te nemen uit de Witte Gids. De willekeur is de sleutel, omdat het vooroordelen vernietigt door elke in aanmerking komende kiezer dezelfde kans te geven om ondervraagd te worden. Hierdoor wordt voorkomen dat bepaalde groepen worden bevoordeeld.

Moderne communicatiemethoden hebben de representativiteit van vaste lijnen verpest - 36% van de Australische volwassenen gebruikt nu alleen een mobiel. En omdat oudere Australiërs eerder geneigd zijn hun vaste lijn te behouden, dit vertekent elke steekproef die alleen vaste lijnen gebruikt.

Veel meer Australiërs hebben een mobiele telefoon dan een vaste telefoon, dus waarom zou u deze niet gebruiken? Een reden is dat sommige mensen twee mobiele telefoons hebben - zakelijk en persoonlijk - zodat de peiling werkende Australiërs oververtegenwoordigd zou zijn. En met minder oudere mensen die een mobieltje hebben, deze benadering zou ook jongere Australiërs oververtegenwoordigen.

Zelfs als we een perfect representatieve steekproef van telefoonnummers hadden, we kunnen verwachten dat een groot aantal mensen niet opneemt of ophangt, wat een andere vooringenomenheid creëert omdat de peiling dan mensen met meer tijd en degenen die meer politiek geëngageerd zijn oververtegenwoordigd.

Hoe krijg je eerlijke antwoorden?

Opiniepeilingen waren al eerder fout. Twee voorbeelden zijn de verkiezingen van 1992 en 2015 in het VK, waar de peilingen ten onrechte een goed resultaat voor Labour voorspelden. De post-mortem van deze tekortkomingen kwam met de theorie van de "Shy Tory factor", waar mensen te beschaamd waren om aan opiniepeilingen toe te geven dat ze op de Tories (de conservatieve rechtse partij) stemden.

Veel Australiërs schamen zich niet om iemand te vertellen op wie ze zullen stemmen, maar zelfs het aandeel verlegen kiezers is klein, dan zouden ze de nauwkeurigheid van de peiling nog kunnen laten ontsporen.

Een aantal Australische kiezers heeft toegegeven valse antwoorden te hebben gegeven op telefonische peilingen omdat ze geïrriteerd waren door de oproep. Zelfs een klein percentage van de geïrriteerde mensen zou een verder goed ontworpen opiniepeiling kunnen verpesten.

Een andere theorie - naar voren gebracht door de Australische Nobelprijswinnaar Brian Schmidt - is dat de opiniepeilers meer naar elkaar luisterden dan naar het publiek. Dit staat bekend als "hoeden", waar peilingresultaten die te ver van de norm leken, werden geleid naar een groepsdenken.

Een analyse van de cijfers laat wel een opvallend gebrek aan variabiliteit zien in de vele recente peilingen.

Hoe krijg je betere peilingen?

Betere opiniepeilingen zijn duurder omdat opiniepeilers meer moeite moeten doen om een ​​representatieve en eerlijke steekproef van kiezers te krijgen. Sommige van de snelle en gemakkelijke peilingen die momenteel worden gebruikt, zijn voornamelijk gericht op het genereren van nieuwsverhalen, met nauwkeurigheid als secundair doel.

De nauwkeurigheid van de peiling kan worden vergroot door mensen te betalen om deel te nemen, en ze meer betalen als, als een groep, ze krijgen het resultaat goed. Dit is een niet getest idee, maar het zou een sterke stimulans kunnen zijn voor mensen om hun ware bedoelingen te delen.

Hetzelfde argument zou ook de strategieën van de opiniepeilers kunnen verbeteren. Dat is, financiële beloningen creëren om dingen goed te doen, of boetes voor het verkeerd doen ervan. Echter, met krimpende budgetten bij nieuwsuitzendingen om peilingen te financieren, er is geen reden om aan te nemen dat dit probleem zichzelf gaat oplossen.

Stemmen is een lastige klus

Een opiniepeiling richt zich op de veranderende meningen van een steeds veranderende bevolking. Kiezers zijn vaak moeilijk te bereiken of recalcitrant. Toch is een groot deel van de bevolking waarschijnlijk niet tevreden met de peilingen. Ze zullen misschien nooit meer naar peilingen luisteren, of weigeren eraan deel te nemen, wat ironisch genoeg het werk van de opiniepeiler nog moeilijker zal maken.

Verkiezingsopiniepeilingen zijn als strafschoppenseries bij een WK-finale:er is een enorme druk om het goed te doen en we herinneren ons vooral de grote missers. Maar bij het volgende WK kijken we weer naar de penalty's, omdat niemand een beter systeem heeft bedacht om de nationale stemming te beoordelen.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.