Harmonie is een staat van overeenstemming en samenwerking.

Die staat van zijn is ook nodig voor de aerosol-observatiesystemen (AOS) die worden beheerd door de Atmospheric Radiation Measurement (ARM) Facility, een wetenschappelijke gebruikersfaciliteit voor het Amerikaanse ministerie van Energie (DOE).

Een paar jaar geleden, experts van ARM ontdekten verschillen in de definitieve dataproducten die zijn gekoppeld aan één set AOS-instrumenten die vóór 2010 aanwezig waren en daarna nog een set ontworpen en ingezet.

In antwoord, ARM startte drie jaar geleden een intensief project om aërosolobservatie-instrumenten en de stromen van gearchiveerde data die daaruit voortkomen te harmoniseren. Dit AOS-harmonisatieproject, drie gecompliceerde en drukke jaren in de maak, zal dit najaar grotendeels worden gedaan.

"Het doel van harmonisatie is om de verwerking te verenigen, zodat het uiteindelijke gegevensproduct kan worden vergeleken over de meetgeschiedenis van ARM, " zegt ARM technisch directeur Jim Mather, een atmosferische wetenschapper bij Pacific Northwest National Laboratory (PNNL).

Eerste generatie verwerking

De kern van het probleem zijn twee generaties meetsystemen, beide gefinancierd door het Amerikaanse ministerie van Energie, maar elk ontworpen door verschillende aannemers.

Disharmonie in aerosolgegevens was grotendeels het gevolg van verschillen in verwerking, zegt Mather. Eerste generatie verwerking, bijvoorbeeld, het gemiddelde van alle onbewerkte gegevens over een minuut in het veld, en vervolgens verdere correcties toegepast.

Voorafgaand aan de harmonisatie-inspanningen, er was nog een andere confounder:een aanzienlijke hoeveelheid handmatige verwerking. "Een van de problemen - misschien een belangrijk probleem, " zegt Mather, "is dat deze handmatige verwerking niet aan gebruikers werd gecommuniceerd of op een uniforme manier werd uitgevoerd tussen de twee soorten systemen."

Al deze historische tegenstromen "maakten het noodzakelijk om zoveel mogelijk van deze verwerking te automatiseren en te beschrijven, zodat wat er met de gegevens werd gedaan consistent en goed beschreven was, " zegt hij. "Het idee van harmonisatie was om dichter bij een uniforme opmaak voor al onze sites te komen. En het doel is altijd om de gebruikerswetenschap te verbeteren."

Spuitbussen:groot belang, en meer gegevens

Harmonie van gegevens en gegevensverwerking is belangrijk omdat aërosolen zelf belangrijk zijn. Ze zijn klein, gemeten in micrometers en nanometers, maar gezamenlijk oefenen deze atmosferische deeltjes een aanzienlijke invloed uit op de aarde.

Door interactie met zonnestraling door reflectie, absorptie, en verstrooiing, aërosolen hebben een directe invloed op de straling. In aanvulling, aërosolen beïnvloeden indirect de energiebalans van de aarde door hun impact op wolkenvorming.

In het begin van de jaren negentig, aërosolen uit de verbranding van biomassa, vulkanische uitbarstingen, en andere bronnen werden algemeen erkend vanwege hun invloed op de stralingsoverdracht in de atmosfeer, maar er waren weinig gegevens over hun massa, optische eigenschappen, verdeling, of andere factoren.

Vanaf dat moment, aerosolen meten, Mather zegt, "is een kerncapaciteit" bij ARM, die gedurende 25 jaar heeft verzameld, verwerkt, kwaliteit gecontroleerd, en gearchiveerd een breed scala aan metingen die relevant zijn voor de atmosfeer van de aarde.

Steeds grotere hoeveelheden AOS-gegevens

stapsgewijs, vanaf 1996, ARM heeft steeds meer aerosolgegevens verzameld. Naast de dagelijkse gegevensverzameling, de SGP was in 2003 de locatie van een uitgebreide aerosol-intensieve observatieperiode. In 2005, ook bij SGP, kwam het Aerosol Lidar Validation Experiment (ALIVE). Datzelfde jaar, de ARM Mobiele Faciliteit, uitgerust met een AOS-systeem, was klaar om voor 6 tot 18 maanden per keer over de hele wereld te worden ingezet. De draagbaarheid maakte het mogelijk om de regionale variabiliteit van aerosolgegevens vast te leggen.

tegen 2012, ARM had AOS-mogelijkheden op zijn vaste locaties, op twee mobiele faciliteiten, en een ARM-antennefaciliteit die aerosolmetingen deed hoog in de luchtkolom.

Al deze AOS-gegevens stroomden binnen - en tegen 2010 van twee verschillende soorten systemen. Hoe zag het eruit?

Experts bij ARM begonnen in 2014 te worstelen met de noodzaak van AOS-harmonisatie, wetende dat er twee werkbare maar verschillende systemen waren. Eén, noem het de 'originele AOS', werd gebouwd door DOE en werd kort daarna begeleid door door ARM gefinancierd personeel van de National Oceanic and Atmospheric Administration (NOAA). De andere - noem het "next-generation, of tweede generatie, AOS" is ontworpen en begeleid door DOE's Brookhaven National Laboratory (BNL).

"Er is niet één juiste manier om aerosolmonsters te nemen, " zegt Doug Sisterson, ARM Instrument Coordinator en een atmosferische wetenschapper gebaseerd op Argonne National Laboratory.

Het typische AOS-platform heeft een kern van minstens 10 instrumenten en honderd of meer datastromen die van elk afkomstig zijn. De harmonisatietaak - hoe aërosolgegevens in een gemeenschappelijke taal te vertalen - "bleek een behoorlijk omvangrijke onderneming, " zegt Mather. "Hoe complexer de instrumenten, hoe uitdagender deze dingen zijn."

Eerst een systeem, en dan twee

De eerste AOS werd in april 1996 in gebruik genomen bij het atmosferische observatorium Southern Great Plains (SGP) in Oklahoma. Gehuisvest in een op zichzelf staande trailer, het geïntegreerde systeem met vijf instrumenten was ontwikkeld door het milieumeetprogramma van de DOE. Een bijgevoegde intake stack bemonsterd vanaf 10 meter boven de grond, een hoogte die is berekend om oppervlaktetroebelheid te voorkomen. Het duurde niet lang, NOAA instrument mentoren, gefinancierd door ARM, nam de leiding.

In aanvulling, ARM begon ook met het verwerken van AOS-gegevens van een systeem van NOAA in Barrow, grenzend aan ARM's North Slope of Alaska (NSA) site. Deze Barrow AOS-gegevens staan ​​bekend als NSA X1 in het ARM Data Center. (NOAA exploiteert sinds 1976 een AOS-systeem bij NSA.) Bij SGP en bij NSA, NOAA-mentoren onderhouden systeemkalibraties, bewaakte gezondheid en status, en opgenomen gegevens voordat u ze doorstuurt naar ARM.

In 2009, ARM contracteerde met BNL voor het ontwerp, bouwen, en bedienen van verschillende nieuwe AOS-systemen. De systemen van de tweede generatie boden nieuwe mogelijkheden voor bedieningsmodi en verwerkingsinstrumentatie in vergelijking met de originele instrumentsuites voor AOS. Vandaag, ze vertegenwoordigen een aanzienlijke uitbreiding van nieuwe instrumenten en nieuwe metingen.

AOS-mentoren van BNL zijn nu Stephen R. Springston, Kunst Sedlacek, Chongai Kuang, Tom Watson, en anderen. (Springston is hoofd AOS-mentor voor alle door BNL ontworpen AOS-systemen.)

Nadat de volgende generatie systemen waren geïmplementeerd, ARM erkende dat de verschillen in verwerking tussen de systemen van de eerste en tweede generatie moesten worden geharmoniseerd om gegevenssets te leveren die gebruikers gemakkelijker kunnen vergelijken tussen locaties en jaren. In aanvulling, vooruitgang in rekensnelheid en algoritmen hadden ook de automatisering van de verwerking van de aerosolgegevens mogelijk gemaakt, wat in 1996 niet mogelijk was. Het AOS-harmonisatieproject werd gestart om gebruikers op hun gemak te stellen bij het gebruik van gegevens uit de verschillende systemen voor hun wetenschappelijk onderzoek.

"Harmonisatie streeft ernaar de metingen van alle systemen op gelijke voet te plaatsen, " zegt Springston, "en om verschillen op zijn best onbelangrijk te maken voor de eindgebruiker - en in het slechtste geval om de verschillen te documenteren. Een verstrooiingsmeting vanaf een locatie in Oklahoma in 1999 zou vergelijkbaar moeten zijn met een verstrooiingsmeting op Antarctica in 2016."

De Flynn-factor

Toen de DOE zei:"Repareer dit, " Connor Flynn stapte in. De PNNL-stafwetenschapper, instrumentatie expert, en ARM Aerosol Working Group Translator heeft de afgelopen drie jaar veel tijd besteed aan rechtstreekse samenwerking met de AOS instrumentmentoren bij BNL en NOAA; met Josh King bij het ARM Data Quality Office; en met ontwikkelaars Annette Koontz en Brian Ermold bij ARM's Data Management Facility bij PNNL.

"Dit is vanaf het begin een consensusproject geweest, ' zegt Flynn.

Sisterson stelt dat Flynn's "grootsheid wordt versterkt als je je realiseert hoe groot een probleem (harmonisatie) was."

Springston prijst hem omdat hij worstelt met de 'algoritmische consistentie' die harmonisatie vereist, en zegt dat "Connor enorm heeft gezwoegd om de verschillen tussen alle ARM-platforms te begrijpen, mentoren, exploitanten, en zelfs instrumentmodellen."

Flynn begon met teamwork. Hij faciliteerde partnerschappen tussen mentoren en anderen om te komen tot een staat van AOS-harmonie:uniforme geautomatiseerde verwerking, een uniform gegevensformaat, en een afgemeten vertrouwen in het vergelijken van de resultaten van beide systemen.

Tot dusver, alles gaat goed. Verschillende elementen in de taak zijn al voltooid, inclusief de harmonisatie van de meeste optische eigenschappen van AOS-aerosolen, aërosolgetaldichtheid (de condensatiedeeltjestellers, of CPC, familie), concentraties van wolkencondensatiekernen (de CNN-familie), en enkele AOS-spoorgasmetingen.

Er wordt nog aan gewerkt, de meer complexe instrumenten, inclusief die welke deeltjesgrootteverdelingen meten, hygroscopische groei, en aerosolsamenstelling.

De twee met een hogere prioriteit voor harmonisatie zijn de enkeldeeltjesroetfotometer (SP2), gebruikt voor het meten van de concentratie en massa van roetdeeltjes geproduceerd door bronnen zoals natuurbranden tot op de nanometer, en de Aerosol Chemical Speciation Monitor (ACSM).

De SP2 vereist nog steeds handmatige verwerking, zegt Flynn, "maar door harmonisatie hebben we autonome routines ontwikkeld om een ​​niveau van realtime operationele gezondheid en status te bieden."

de ACSM, een ander complex instrument, meet in realtime de chemische samenstelling van submicrondeeltjes. Als massaspectrometerinstrument, zegt Flynn, de gegevens "zijn nogal ingewikkeld om te verwerken." Het eindproduct kan altijd een handmatige beoordeling bevatten, hij voegt toe, "maar we werken samen met de ACSM-mentor, Tom Watson, en de instrumentverkoper, Aerodyne, om zowel real-time operationele gezondheid en status te verbeteren, evenals de kwaliteit van de autonome chemische soorten massaconcentraties."

De migratie van de AOS-metingen omvat het integreren van mentoractiviteiten en gegevensverwerking binnen de vastgestelde normen van ARM-operaties en van haar Data Quality Office. Alvorens deze geautomatiseerde opnames te ontwikkelen, kalibraties, en dataproducten, zegt Flynn, "bijna alle AOS-gegevens hebben een omslachtige route afgelegd, inclusief handmatige verwerking van gegevens door mentoren voordat de gegevens worden 'opnieuw' aan ARM geleverd."

Harmonisatie van drie verwerkingsfasen:

Het nemen van die integratie- en automatiseringsstappen is slechts de eerste van drie mogelijke verwerkingsfasen naar harmonisatie, zegt Flynn.

De tweede is het vergemakkelijken van de vergelijking van AOS-metingen van verschillende instrumentsuites - die zijn ontworpen door zowel NOAA als BNL. Eindgegevensproducten hebben nu "gedocumenteerde vergelijkbaarheidsniveaus, " zegt Flynn, evenals nauwkeurige en uitgebreide metadata en een uniforme "look and feel" voor het eindproduct.

De derde verwerkingsfase van harmonisatie, zegt Flynn, is "het verbeteren van de synergie van bij elkaar geplaatste instrumenten binnen dezelfde AOS-suite."

Bijvoorbeeld, drie metingen worden momenteel afzonderlijk genomen voor optische verstrooiing van aerosolen, uitsterven, en absorptie. Een nieuw dataproduct, AOS Aerosol optische eigenschappen (AOS AOP), wordt nu geëvalueerd, waarbij alle drie de bij elkaar geplaatste metingen worden gecombineerd. Een vergelijkbare inspanning zal metingen van aërosolgrootteverdeling van meerdere instrumenten combineren in een gemeenschappelijk raamwerk. Deze nieuwe dataproducten zullen het voor gebruikers gemakkelijker maken om met ARM-data te werken om aerosolprocessen te bestuderen.

In Oklahoma en Brazilië zijn al onderlinge vergelijkingstests uitgevoerd op gecolloceerde ARM-instrumenten.

Harmonisatie heeft tot nu toe geleid tot grote verbeteringen. Voordat, vergelijkingen tussen optische eigenschappen gerapporteerd door co-located AOS-systemen kunnen vooroordelen van wel 25 tot 50 procent vertonen. Nadat de verwerking was geharmoniseerd, zegt Flynn, metingen van dezelfde instrumenten tonen "uitstekende overeenkomst, " met een bias van slechts 2 tot 3 procent.

De eerdere verschillen waren vanwege "algoritmische verschillen in de verwerking door de twee systemen, "zei Springston. "Het identificeren van deze verschillen was een cruciale stap in de harmonisatie."

De meeste belangrijke onderdelen van het harmonisatieproject zullen dit najaar worden uitgevoerd, met inbegrip van harmonisatie van metingen van aerosolgrootteverdeling. "Echter, deze producten vertegenwoordigen fundamenten die in de toekomst waarschijnlijk zullen worden uitgebreid, ' zegt Flynn.

En hoe zit het met historische datasets? Deze kunnen van geval tot geval worden gedaan, hij zegt, door middel van een ARM engineering verzoek.

Mather, zuster, en Flynn waren het op één punt allemaal eens:dat ARM-gegevensgebruikers en hun behoeften op de eerste plaats komen. Alle AOS-mentoren "geloven dit ook, ' zegt Springston.

Tijdens het harmonisatieproces zegt Flynn, gebruikers moeten in het bijzonder het AOS AOP C-level product gebruiken en evalueren. ("C-niveau" wordt beschouwd als het beste gegevensniveau in ARM.) Ondertussen, de ARM-faciliteit zal het hoogste verwerkingsniveau van de datastroom van elk instrument aanbevelen (en archiveren).

Er is een groter plaatje om te overwegen, Flynn zegt:het verkrijgen van de juiste aerosolgegevens is erg belangrijk in de huidige stand van de atmosferische wetenschap. "Een van de grootste onzekerheden is de impact van aerosolen op het stralingsbudget, " zegt hij. Dat budget is de zonnebalans die zowel de verandering als het evenwicht in de atmosfeer van de planeet beïnvloedt.

Een nog grotere onzekerheid in de huidige modellen is de vorming van wolken, die zeer grote vluchtige vectoren van schaduw, regenen, koeling, opwarming, en planetaire albedo die worden gezaaid door zeer kleine aerosolen. Dus belangrijke aerosolgegevens op een geharmoniseerde manier aan elkaar koppelen, zegt Flynn, "is groot."