Tweemaaldaags, weerballonnen worden vanaf 700 locaties over de hele wereld in de atmosfeer losgelaten om de omstandigheden in de bovenste atmosfeer te observeren. Sinds de jaren 1920, er zijn tientallen miljoenen van deze lanceringen van radiosondes geweest, het produceren van een enorm archief met gegevens die essentieel zijn voor weersvoorspellingen en klimaatmodellering. In zo'n grote dataset onvermijdelijke fouten kunnen de modelleringsresultaten aanzienlijk beïnvloeden.

Ying zon, Saoedi-Arabië's King Abdullah University of Science and Technology (KAUST) assistent-hoogleraar Toegepaste Wiskunde en Computational Science, werkte samen met onderzoekers van de Colorado School of Mines en Baylor University, ONS, om een ​​methode te ontwikkelen om deze fouten te verwijderen met behulp van een robuuste statistische analyse van de gegevens.

"Een radiosonde is een kleine, vervangbaar instrumentenpakket dat wordt opgehangen onder een twee meter brede ballon gevuld met waterstof of helium, " legde Sun uit. "Sensoren op de radiosonde meten de hoogte, druk, temperatuur en dauwpunt; ze berekenen ook de windsnelheid en -richting door de positie van de radiosonde tijdens de vlucht te volgen. Radiosonde-waarnemingen zijn de enige directe metingen van de bovenste atmosfeer van de aarde, waardoor ze van vitaal belang zijn voor satellietgegevens, weersvoorspellingen en klimatologisch onderzoek.

De vele fouten in de gegevens zijn "veel te veel om met de hand te corrigeren, dus we hebben een automatische methode nodig om dergelijke willekeurige fouten te identificeren, " legde Zon uit.

Er zijn automatische methoden om systematische fouten uit de gegevens te verwijderen, zoals veranderingen in locatie of meeteenheden. Echter, er is geen manier geweest om echt foutieve gegevens te verwijderen, inclusief fouten bij het invoeren van gegevens, transmissiefouten of onnauwkeurige tracking van de ballon zonder ook extreme maar echte metingen te verwijderen - die enkele van de belangrijkste gegevens zijn voor prognoses. Als we specifiek kijken naar windgegevens, Sun en haar collega's ontwikkelden een statistische benadering die een robuust onderscheid maakt tussen extreme waarden en willekeurige fouten.

"Onze aanpak houdt rekening met een meer realistische verdeling van de windvector die scheef is met een lange staart van zeldzame extreme waarden, "zei Sun. "Dit maakt het mogelijk om waarnemingen te markeren die zeer waarschijnlijk fouten zijn als potentiële uitbijters zonder extreme waarden te verwijderen."

Naast de toepassing ervan op nieuwe dagelijkse gegevens, dit foutdetectieschema kan ook worden gebruikt voor de enorme hoeveelheden radiosonde-waarnemingen die in archieven over de hele wereld worden bewaard.

"We ontwikkelen een uitbijterdetectiemethode die snel en automatisch is. We zullen deze methode kunnen gebruiken om snel de miljoenen records in het archief te verwerken, " zei Sun. "We houden ook rekening met het mogelijke effect van klimaatverandering bij het ontwikkelen van de nieuwe methode."