De rol van deep learning in de wetenschap staat op een keerpunt, met het weer, klimaat, en modellering van aardsystemen die in opkomst is als een opwindend toepassingsgebied voor fysica-geïnformeerd diep leren dat niet-lineaire relaties in grote datasets effectiever kan identificeren, patronen extraheren, emuleren complexe fysieke processen, en voorspellende modellen te bouwen.

"Deep learning heeft ongekend succes gehad in een aantal zeer uitdagende problemen, maar wetenschappers willen precies begrijpen hoe deze modellen werken en waarom ze de dingen doen die ze doen, " zei Karthik Kashinath, een computerwetenschapper en ingenieur in de Data &Analytics Services Group (DAS) van het National Energy Research Scientific Computing Centre (NERSC), die nauw betrokken is geweest bij de onderzoeks- en onderwijsinspanningen van NERSC op dit gebied. "Een belangrijk doel van deep learning voor de wetenschap is hoe je een neuraal netwerk ontwerpt en traint, zodat het de complexiteit van de processen die het wil modelleren nauwkeurig kan vastleggen. emuleren, of voorspellen, en we ontwikkelen manieren om natuurkunde en domeinkennis in deze neurale netwerken te gieten, zodat ze de natuurwetten gehoorzamen en hun resultaten verklaarbaar zijn, robuust, en betrouwbaar."

We hebben Kashinath ingehaald na de zomerschool Artificial Intelligence for Earth System Science (AI4ESS), een virtueel evenement van een week dat in juni werd georganiseerd door het National Center for Atmospheric Research (NCAR) en de University Corporation for Atmospheric Research (UCAR) dat werd bijgewoond door meer dan 2, 400 onderzoekers van over de hele wereld. Kashinath was betrokken bij het organiseren en presenteren op het evenement, samen met David John Gagne en Rich Loft van NCAR. Veel van Kashinaths huidige onderzoek richt zich op de toepassing van deep learning-methoden op het modelleren van klimaat- en aardsystemen.

Hoe worden deep learning-methodologieën toegepast bij het weer, klimaat, en onderzoek naar aardsystemen?

In de afgelopen jaren hebben we een significante toename gezien in het gebruik van deep learning in de wetenschap, niet alleen bij het vergroten, bestaande methoden te verbeteren of te vervangen, maar ook voor het ontdekken van nieuwe wetenschap in de natuurkunde, scheikunde, biologie, medicijn, en meer - ontdekkingen die bijna onmogelijk waren met traditionele statistische methoden. We beginnen nu hetzelfde te zien in de aardwetenschappen, met het aantal publicaties in tijdschriften als Geofysische onderzoeksbrieven en Natuur Geowetenschappen opkomende en wetenschappelijke conferenties nu met volledige tracks met machine en deep learning.

Wat levert deep learning op?

Het is buitengewoon krachtig in patroonherkenning en het ontdekken van zeer complexe niet-lineaire relaties die bestaan ​​in grote datasets, die beide van cruciaal belang zijn voor het ontwikkelen van modellen van aardwetenschappelijke systemen. Het belangrijkste doel van een weer- of klimaatmodeller is om de manieren te begrijpen waarop processen in de natuur werken en deze op een effectieve manier te modelleren, zodat we de toekomst van klimaatverandering en extreme weersomstandigheden kunnen voorspellen. Deep learning biedt nieuwe methoden om bestaande gegevens te gebruiken om te begrijpen hoe deze processen werken en om er modellen voor te ontwikkelen die niet alleen nauwkeurig en effectief zijn, maar ook rekenkundig veel sneller dan traditionele methoden. traditioneel, klimaat- en weermodellen lossen grote systemen van gekoppelde niet-lineaire partiële differentiaalvergelijkingen op, wat zeer rekenintensief is. Deep learning begint toe te nemen, uitbreiden, of zelfs delen van deze modellen vervangen door zeer efficiënte en snelle fysieke procesemulators. En dat is een belangrijke stap voorwaarts.

Patroonherkenning is een ander gebied waar deep learning het onderzoek naar aardsystemen beïnvloedt. De DAS-groep bij NERSC heeft hard gewerkt aan patroonherkenning voor het detecteren en volgen van weer- en klimaatpatronen in grote datasets. De Gordon Bell-prijs 2018 voor exascale klimaatanalyse met behulp van deep learning getuigt van onze bijdragen op dat gebied. Gezien het feit dat we al petabytes aan klimaatgegevens hebben en dat dit in een waanzinnig tempo toeneemt, het is fysiek onmogelijk om de belangrijkste kenmerken en patronen te doorzoeken en te herkennen met behulp van traditionele statistische benaderingen. Deep learning biedt zeer snelle manieren om die gegevens te ontginnen en nuttige informatie te extraheren, zoals extreme weerspatronen.

Een derde gebied is downscaling; dat is, gegeven een dataset met een lage resolutie, hoe produceer je gegevens met een zeer hoge resolutie die nodig zijn voor zaken als planning, vooral op regionale en lokale schaal? Een deel van de grote uitdaging van klimaatwetenschap is hoe we modellen met een zeer hoge resolutie kunnen bouwen die nauwkeurig zijn en gegevens produceren waarmee we betrouwbaar kunnen werken. Een manier om het probleem aan te pakken is door te zeggen oké, we weten dat deze modellen extreem duur zijn, en in de nabije toekomst - zelfs met sneller en beter computergebruik - zullen we echt niet in staat zijn om betrouwbare wereldwijde klimaatmodellen te bouwen met een ruimtelijke resolutie van 1 km of fijner. Dus als we een diepgaand leermodel kunnen maken dat klimaatgegevens met een lage resolutie gebruikt en gegevens met een hoge resolutie produceert die fysiek zinvol zijn, betrouwbaar, en nauwkeurig - dat is een game-wisselaar.

Wat is een grote uitdaging voor deep learning toegepast op de systeemwetenschap van de aarde?

Ik kom uit een achtergrond in vloeistofdynamica, waar het modelleren van turbulentie een al lang bestaande grote uitdaging is. Een vergelijkbare uitdaging in de atmosferische wetenschappen is het modelleren van wolken. Alle klimaatmodellen hebben parametriseringen – componenten in het klimaatmodel die beschrijven hoe verschillende fysieke processen zich gedragen en met elkaar omgaan. In de atmosfeer die omvat hoe wolken zich vormen, hoe straling werkt, wanneer en waar neerslag valt, enz. Cloudmodellering staat ook bekend als de grootste bron van onzekerheid in projecties van klimaatmodellen, en decennia lang was een van de grote uitdagingen het verminderen van de onzekerheid. Modellen zijn veel complexer geworden en leggen veel meer fysieke fenomenen vast, maar ze hebben nog steeds grote onzekerheden in hun voorspellingen. Dus een gebied waar diep leren een aanzienlijke impact zou kunnen hebben, is om ons te helpen betere emulators te bouwen van atmosferische processen zoals wolken, met als doel de onzekerheden in voorspellingen te verminderen. Dat is een heel concreet wetenschappelijk doel.

Als je vooruit kijkt, waar ben je het meest enthousiast over in termen van de impact van deep learning op onderzoek naar klimaat en aardsystemen?

De belangrijkste tegenwerking die we hebben gehad van de wetenschappelijke gemeenschap is dat neurale netwerken zwarte dozen zijn die moeilijk te begrijpen en te interpreteren zijn. en wetenschappers willen natuurlijk graag begrijpen hoe deze neurale netwerken precies werken en waarom ze de dingen doen die ze doen. Dus een ding waar ik echt enthousiast over ben, is het ontwikkelen van betere manieren om deze netwerken te interpreteren en te begrijpen en de kennis die we hebben over de fysica van het aardsysteem in deze modellen op te nemen, zodat ze robuuster zijn, betrouwbaar, betrouwbaar, interpreteerbaar, verklaarbaar, en transparant. Het doel is om onszelf ervan te overtuigen dat deze modellen zich gedragen op een manier die de fysica van de natuur respecteert, effectief gebruik maken van de domeinkennis die we hebben, en doen voorspellingen die we kunnen vertrouwen. Ik werd uitgenodigd om een ​​paper in te dienen bij: Proceedings van de Royal Society over precies dit onderwerp, "Natuurkunde-geïnformeerd diep leren voor weer- en klimaatmodellering, ", die nu wordt herzien.

Ik ben ook enthousiast over het bewijzen, in bedrijf, dat deze deep learning-modellen de rekensnelheid bieden die we beweren te zullen bieden wanneer we ze inbedden in een groot klimaat- of weermodel. Bijvoorbeeld, het European Weather Forecasting Centre is begonnen met het vervangen van sommige delen van zijn weersvoorspellingsmodel door machine- en deep learning-modellen, en ze beginnen al voordelen te zien. In de VS, NCAR en de National Oceanic and Atmospheric Administration beginnen ook delen van hun klimaat- en weermodellen te vervangen door machine learning en deep learning-modellen, en een aantal academische en industriële onderzoeksgroepen werken aan gerelateerde projecten. Chris Bretherton, een van 's werelds toonaangevende klimaatwetenschappers, leidt een groep aan de Universiteit van Washington die werkt aan het vervangen van enkele van de gecompliceerde cloudprocessen in deze grote klimaatmodellen door diepgaande leermethoden. Dus ik kijk er naar uit om hun resultaten over een jaar of twee te zien op het gebied van snelheid en prestaties.

Wat was de focus van het AI4ESS-evenement, en waarom werd het zo goed bezocht?

De Artificial Intelligence for Earth System Science (AI4ESS) Summer School was gericht op hoe deelnemers hun achtergrond in statistiek en machine learning kunnen versterken, leer de basisprincipes van deep learning en neurale netwerken, en leer hoe je deze kunt gebruiken voor uitdagende problemen in de aardsysteemwetenschappen. We hadden een overweldigende respons op de school - het zou een persoonlijk evenement zijn in Boulder, kleur, met een capaciteit van 80 studenten. Maar toen het eenmaal virtueel ging, wij hadden er 2, 400 deelnemers uit 40 landen over de hele wereld. Het werd live gestreamd via UCAR en ze volgden de dagelijkse logins.

Er was de hele week een grote deelname. We hadden elke dag sprekers uitgenodigd – drie lezingen per dag, dus 15 lezingen per week – met experts uit machine learning, diep leren, en de aardwetenschappen. Elke dag was er ook een paneldiscussie van 30 minuten tijdens de lunch, en voor mij, deze waren super spannend omdat al deze experts discussieerden en debatteerden over de uitdagingen en kansen van het gebruik van machine learning en deep learning voor aardsysteemwetenschap. De school hield ook een hackathon van een week, waar teams van zes elk een project kozen uit zes verschillende problemen om aan te werken voor de week. Ongeveer 500 mensen namen deel aan de hackathon, met veel samenwerking en interactie, inclusief individuele Slack-kanalen voor elk van de hackathon-teams. Er waren ook Slack-kanalen voor de hele week van de zomerschool over verschillende dingen:college-gerelateerde Q&A's, problemen met hackathon-uitdagingen, technische tips en trucs in machine learning en deep learning, enz. Er was dus veel Slack-activiteit gaande, met mensen die van gedachten wisselen, resultaten delen, enzovoorts.

Waarom wil iedereen dit soort dingen zo graag leren?

Ik denk dat de gemeenschap, vooral de jongere wetenschappers, zien dat deep learning een gamechanger in de wetenschap kan zijn en dat ze niet achter willen blijven. Ze geloven dat het binnenkort mainstream zal worden en dat het essentieel zal zijn voor het doen van wetenschap. Dat is de belangrijkste drijfveer. Dus richtte AI4ESS zich op het onderwijzen van de grondbeginselen en het leggen van de basis voor hen om machine en deep learning met succes toe te passen op hun onderzoek.