Het New South Wales Bureau of Crime Statistics and Research (BOCSAR) claimde onlangs de alcoholvergunningsregels van Sydney, algemeen bekend als uitsluitingswetten, minder huiselijk geweld met 13% in de CBD. De berekening ervan was gebaseerd op een beslissing om 1, 837 van deze overtredingen tegen zowel Kings Cross als het CBD - dat wil zeggen, het dubbel tellen van de gegevens. Uit onze analyse bleek dat deze beslissing van cruciaal belang was voor de conclusie dat het aantal aanvallen in het CBD afnam. Voor elke andere keuze over de gebieden waaraan gegevens zijn toegewezen en het type analyse vonden we geen afname.

Onze bevindingen brengen een belangrijke vraag naar voren:hoe kunnen de keuzes voor gegevensverzameling, voorbewerking en analyse van invloed zijn op beleidsbeslissingen?

De toewijzing van misdrijven aan gebieden is slechts een van de vele keuzes die worden gemaakt bij het gebruik van gegevens om beleidseffecten te beoordelen. Andere keuzes zijn onder meer hoe gewelddadige criminaliteit te meten, welke periode te overwegen en de geografische omvang van de op te nemen gebieden. De vraag is:als er andere keuzes zijn gemaakt, zouden de resultaten van invloed zijn op een beslissing om de wetten in te trekken of voort te zetten?

Onze bevindingen wijzen op de noodzaak om een ​​aantal principes te volgen bij het gebruik van gegevens om beleidsvorming te informeren. Eerst, de instelling die gegevens verzamelt en de instelling die de gegevens analyseert, dienen onafhankelijk van elkaar te zijn. Tweede, we hebben zoveel mogelijk transparantie nodig over de gegevens en de analyse ervan.

Dus wat lieten de analyses precies zien?

BOCSAR koos ervoor om vanaf 2009 maandelijks niet-huishoudelijk geweld te gebruiken. Er is niets mis met deze keuzes, maar er hadden ook andere gemaakt kunnen worden.

Bijvoorbeeld, waarom vanaf 2009 niet uit 2005? Waarom maandelijks, niet dagelijks? Waarom gemelde niet-huishoudelijke aanvallen, geen aangifte gedaan van mishandeling met zwaar lichamelijk letsel? Waarom het gebied alleen verdelen in het CBD en Kings Cross?

Een manier om de impact van dergelijke keuzes te beoordelen, is door verschillende subsets van gegevens te gebruiken, verschillende soorten gegevensvoorbewerking en verschillende statistische en/of machine learning-technieken. Als de conclusie nog steeds hetzelfde is, dan is onze beslissing robuust voor deze bron van variabiliteit. Als niet, we moeten begrijpen waarom.

Voor het Kings Cross district, de analyse door het Center for Translational Data Science van de Universiteit van Sydney toonde aan dat de conclusie onveranderd bleef, ongeacht de frequentie en de periode waarin de gegevens werden verzameld en de uitgevoerde analyse. Niet-huishoudelijke aanvallen waren afgenomen na de introductie van de lock-outwetten in 2014.

Voor de CBD was het omgekeerde waar. Alleen als we precies dezelfde keuzes maken als BOCSAR, in het bijzonder het toewijzen van 1, 837 misdaden tegen zowel de CBD als King Cross, konden we concluderen dat het aantal niet-huishoudelijke geweldplegingen zeer licht was afgenomen.

Onder alle andere variaties van de analyses, inclusief gegevens, methodologie en ruimtelijke toewijzing van die gegevens, we vonden geen afname. Het aantal buitenlandse gewelddaden in het CBD is sinds 2008 afgenomen en, als iets, langzamer nadat de uitsluitingswetten van kracht werden.

Dus waarom was de opname van 1, 837 misdaden zo cruciaal voor de conclusies over het CBD?

Met behulp van gegevens van BOCSAR, we hebben de meest waarschijnlijke locatie van die 1 uitgezet, 837 misdaden. Figuur 1 laat zien dat deze misdaden voornamelijk plaatsvonden in Kings Cross, een gebied waar de misdaadcijfers sinds 2014 zijn gedaald. We zeggen "meest waarschijnlijke locatie" omdat we de aanvullende gegevens die we van BOCSAR hebben gevraagd, nog niet hebben ontvangen om ons te helpen precies te lokaliseren waar deze misdaden hebben plaatsgevonden.

Met het verwijderen van die 1, 837 misdaden uit het CBD, we ontdekten geen afname van niet-huishoudelijke aanvallen. Maar BOCSAR blijkbaar wel. Na het verwijderen van die misdaden uit het CBD, BOCSAR heeft een bijgewerkt rapport uitgebracht over een parlementair onderzoek naar de nachtelijke economie van Sydney. Dit rapport beweerde dat aanvallen in het CBD met 4% zijn afgenomen (veel minder dan de oorspronkelijke 13%).

De commissie heeft ons toen om commentaar gevraagd. We ontdekten dat het rapport geen betrouwbaarheidsinterval voor deze afname bevatte. Toch maakte het rapport een deugd van het rapporteren van onzekerheidsschattingen voor andere hoeveelheden en elders beweerde het "statistisch significante" resultaten.

We repliceerden de analyse van BOCSAR en ontdekten dat de verandering in misdaad zo laag had kunnen zijn als een afname van 12% en zo hoog als een toename van 6%. Met andere woorden, het resultaat is "statistisch onbeduidend".

Wat zijn de gevolgen voor het maken van beleid?

Waarom is dit van belang? Er zijn twee redenen.

Eerst, het gevaar van het niet uitleggen, het kwantificeren en rapporteren van onzekerheid is dat het publiek het vertrouwen in datagestuurde beleidsvorming verliest. Alleen als conclusies de onzekerheid erkennen en verklaren die inherent is aan het afleiden van complexe hoeveelheden uit gegevens, kunnen we robuuste en verklaarbare beleidsbeslissingen nemen die vertrouwen wekken bij het publiek.

Tweede, als we onzekerheid niet accepteren en rapporteren, kunnen we stoppen met zoeken naar andere verklaringen. Dan bereiken we misschien niet het resultaat dat iedereen wil:vermindering van geweld en een gezonde nachteconomie.

Hoe gaan we vanaf hier verder? We zouden twee aanbevelingen doen:

1. De instelling die de gegevens verzamelt en beheert, moet onderscheiden zijn, geïnformeerd maar onafhankelijk van de instelling(en) die de gegevens analyseren.
2. Er moet zoveel mogelijk gegevenstransparantie zijn, waardoor verschillende groepen verschillende soorten analyses zouden kunnen uitvoeren, verschillende gegevensbronnen gebruiken.

We zijn er bijna zeker van dat deze verschillende groepen verschillende bevindingen zouden opleveren, maar de daaropvolgende discussie zou inzichten kunnen opleveren die ons dichter bij robuustere en aanvaardbare beleidsbeslissingen brengen.

Om de Nobelprijswinnende natuurkundige Richard Feynman te citeren:"Als we dat alleen toestaan, naarmate we vorderen, we blijven onzeker, we laten mogelijkheden voor alternatieven … om vooruitgang te boeken, men moet de deur naar het onbekende op een kier laten staan."

De aanbeveling van de Kamercommissie dat BOCSAR en het Centre for Translational Data Science nauwer gaan samenwerken, lijkt precies dat te doen. We kijken uit naar een voortdurende samenwerking om ons begrip van de oorzaken van gewelddadige criminaliteit te vergroten.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.