"Voorspellen is erg moeilijk, vooral als het over de toekomst gaat, "Nobelprijswinnaar Niels Bohr zei ooit.

Argonne-onderzoeker Julie Bessac en haar Franse collega Philippe Naveau zijn het daarmee eens - en ze hebben een onderzoek uitgevoerd om de moeilijkheid bij het evalueren van weersvoorspellingen misschien te verlichten. hun papier, getiteld "Voorspellingsevaluatie met onvolmaakte waarnemingen en onvolmaakte modellen, " richt zich op nieuwe maatstaven voor kwaliteitsbeoordeling, scoren regels, fouten in waarnemingen en prognoses te verklaren.

Klassieke scoringsschema's omvatten doorgaans het vergelijken van verschillende voorspellingen met waarnemingen. Maar dergelijke waarnemingen bevatten bijna altijd fouten - vanwege, bijvoorbeeld, problemen met gegevensregistratie of defecten aan instrumenten. Inderdaad, een recente studie toonde aan dat de klassieke logaritmescore die door dergelijke schema's wordt gebruikt, misleidend is bij het selecteren van de beste voorspelling wanneer er waarnemingsfouten zijn, en dat de probabilistische verdeling van de verificatiegegevens afhankelijk moet zijn van het modelleren van onderliggende fysieke processen die niet worden waargenomen.

Voortbouwend op de resultaten van dat onderzoek, Bessac en Naveau hebben een nieuw scoremodel voorgesteld dat voorspellingen en observatiedistributies koppelt om een ​​score te corrigeren wanneer er fouten aanwezig zijn in de verificatiegegevens en in de voorspelling. Ze hebben ook gewezen op de noodzaak om meer statistieken te onderzoeken dan de gemiddelde score die in de praktijk vaak wordt gebruikt.

Het team vergeleek/formuleerde hun nieuwe aanpak met twee populaire modellen. Het eerste model helpt bij het begrijpen van de rol en impact van waarnemingsfouten met betrekking tot de niet-waargenomen ware toestand van de atmosfeer X, maar het omvat niet het idee van een voorspellingsfout. In het tweede model worden zowel waarnemingen Y als voorspellingen Z gemodelleerd als versies met fouten van de toestand van de atmosfeer X, wat weer niet wordt opgemerkt.

"Onderscheid maken tussen de niet-waargenomen waarheid (verborgen processen) en de waargenomen (maar onjuiste) verificatiegegevens is van fundamenteel belang voor het begrijpen van de impact van onvolmaakte waarnemingen op voorspellingsmodellering, " zei Bessac, als assistent computationeel statisticus in de wiskunde en computerwetenschappen van Argonne.

Het nieuwe model biedt verschillende voordelen:(1) het stelt een eenvoudig kader voor om fouten in de verificatiegegevens en in de prognose te verklaren; (2) het benadrukt het belang van het onderzoeken van de verdeling van scores in plaats van alleen te focussen op het gemiddelde; en (3) het toont het belang aan van het verantwoorden van fouten in de verificatiegegevens die mogelijk misleidend kunnen zijn.

Het model is getest op twee gevallen waarin de parameters van de betrokken verdelingen bekend worden verondersteld. Hoewel dit geïdealiseerde gevallen waren, de onderzoekers benadrukten dat de testresultaten het belang benadrukken van het onderzoeken van de verdeling van scores wanneer de verificatiegegevens als een willekeurige variabele worden beschouwd.