News

Gastvortrag beim DWD zu stationsbasierten Zeitreihenvorhersagen

Felix Kleinert hat im Rahmen des KI-Forums beim Deutschen Wetterdienst heute einen Gastvortrag zum Thema “MLAir & IntelliO3: Stationsbasierte Zeitreihenvorhersagen mittels Neuronaler Netze” gehalten. Darin wurde das in der Entwicklung befindliche Python-Framework für stationsbasierte Zeitreihenvorhersage, MLAir, vorgestellt und für bodennahe Ozonkonzentrationen angewendet.

DeepRain Projekt Fortschritt

Aufgrund der anhaltenden Covid-19 Situation führt das DeepRain Team jetzt monatliche Online-Projekttreffen durch. Für spezielle wissenschaftliche und technische Fragen gibt es zudem kleinere Treffen, die wöchentlich abgehalten werden. Am JSC wurde im Lauf des letzten Monats der Datenimport der COSMO-Wettermodelldaten verbessert und die Benchmarking-Tests zur Dateneingabe und Datenextraktion wurden erfolgreich abgeschlossen. Neue Instanzen der Rasdaman Array-Datenbank (sogenannte „data cubes“) wurden auf JSC-Ressourcen installiert. Darunter auch eine Enterprise Instanz, die bald zu einem Knoten in einer internationalen Daten-Föderation werden soll. Das JSC Team unterstützte außerdem das Team der Universität Osnabrück bei der Implementierung ihrer Maschinenlernprogramme auf den Jülicher Superrechnern.

Regenvorhersage mit DeepLearning

Die Vorhersage von Niederschlag basiert auf einer Vielzahl von Faktoren die durch Wettermodelle produziert werden. Der Einfluss dieser Faktoren auf die Menge und die Wahrscheinlichkeit für Niederschlag ist komplex, nicht linear und im Detail oft unbekannt. Um die Güte der Vorhersage zu verbessern nutzt das DeepRain Projekt neuronale Netzwerke, die lernen, diese Faktoren der Wettermodelle durch nicht lineare Kombinationen über mehrere Lagen des Netzwerkes hinweg zu kombinieren. Als Ergebnis des Projektes DeepRain konnten wir nun zeigen, dass dieser deep learning Ansatz besser als klassische Methoden der linearen Kombination sein kann. Dazu nutzen und vergleichen wir neuronale Netze mit verschiedenen Tiefen (‚Anzahl und Lagen‘) und verschieden Komplexitäten in Bezug auf die Anzahl der Neuronen des neuronalen Netzes. Die beste Performance konnten wir mit einem Netzwerk, welches 3 Lagen nutzt, erreichen. Das Ergebnis zeigt, dass die nicht lineare Kombination von Faktoren von Wettermodellen eine bessere Vorhersage-Qualität für den Niederschlag ermöglicht.

Viertes DeepRain-Projekttreffen

Icon Virtual Meeting
Icon Virtual Meeting
Icons made by surang from www.flaticon.com

Aufgrund der Covid-19-Situation musste das 4. DeepRain-Projekttreffen, das vom 10. bis 12. März 2020 stattfinden sollte, in eine Reihe von Web-Meetings mit den Projektpartnern umgewandelt werden. Der Schwerpunkt des Treffens lag auf der Vorbereitung von Input für den kommenden Projektbericht im April und der Planung konkreter Aktionen für die nächsten 6 Monate. In den letzten Monaten wurden viele Fortschritte in Bezug auf die Datenaufbereitung und die Machine Learning Workflows erzielt, aber es bleiben noch einige Fragen hinsichtlich der Implementierung dieser Abläufe auf dem JSC-Supercomputersystem. Dies hat das Projekt bisher daran gehindert, durch Machine Learning aussagekräftige Niederschlagsvorhersagen zu erstellen. Alle Projektpartner arbeiten zusammen, um diese Arbeitsabläufe in Gang zu bringen, und wir sind optimistisch, dass es, sobald diese Probleme gelöst sind, relativ einfach sein wird, die Lösungen auf viel größere Datensätze zu skalieren. Im nächsten Monat wird der Schwerpunkt auf Leistungsverbesserungen beim Datenimport, auf der Anwendung des Machine Learning auf Stations-Zeitreihendaten und auf der Nutzung der Parallelisierung auf allen Ebenen liegen, um Arbeitsabläufe, Werkzeuge und Datenverarbeitung auf dem HPC-System zu optimieren.

Datentransfer des DWD-Ensemble-Wettermodells nach Jülich abgeschlossen

Heute wurde das letzte Byte von mehr als 439 Terabyte Wettermodelldaten aus dem Ensemblevorhersagesystem COSMO des Deutschen Wetterdienstes DWD empfangen und im Jülicher Supercomputing Centre gespeichert. Dem DeepRain-Team stehen nun 7 Jahre stündliche Wetterdaten von 20 Ensemblemitgliedern zur Verfügung. Diese Daten sind eine wesentliche Grundlage für das Projekt. Sie werden verwendet, um die an der Universität Osnabrück entwickelten advanced neuronal networks zu trainieren und um die Vorhersagekraft des maschinellen Lernverfahrens an der Universität Bonn zu evaluieren.

Teilnahme am ESiWACE2 container hackathon

Von links: Amirpasha Mozaffari (JSC), Tomas Aliaga (CSCS), Jan Vogelsang (JSC), Bing Gong (JSC) vor dem Switzerland National Supercomputer Center (CSCS). 

Bing Gong, Amirpash Mozaffari und Jan Vogelsang nahmen vom 3. bis 6. Dezember 2019 am ESiWACE2 Container-Hackathon für Modellierer im Schweizer National Supercomputer Center (CSCS) in Lugano, Schweiz, teil. 

Die Containerisierung ist eine Methode, um eine Anwendung zusammen mit allen zugehörigen Konfigurationsdateien, Bibliotheken und Abhängigkeiten zu bündeln, die für einen effizienten und fehlerfreien Betrieb in verschiedenen Computerumgebungen erforderlich sind.

In drei Tagen haben sie an der Containerisierung des Workflows des maschinellen Lernens auf einem lokalen Rechner gearbeitet und später die Skripte für die Ausführung auf HPC portiert (siehe Anwendungsdetails: https://github.com/eth-cscs/ContainerHackathon/tree/wfppdl/wfppdl). Am CSCS steht der Rechner Piz Daint, der zur Zeit schnellste Supercomputers Europas, und der sechstschnellste der Welt  Unser Team hat es geschafft, den Workflow zu containerisieren, das Skript erfolgreich auf Piz Daint auszuführen und den Skalierungstest zu bestehen. 

DeepRain drittes Projekttreffen

Treffen mit Teilnehmern hinter einem Regensammler im Hinterhof des Instituts für Geowissenschaften an der Universität Bonn.

Das DeepRain-Team hat sich zu seiner dritten Projektbesprechung am Institut für Geowissenschaften der Universität Bonn getroffen. Passend zum Projektthema und zur Jahreszeit maß der Regensammler im Hinterhof des Instituts 8 mm Niederschlag während der 3 Tage der Sitzung.
(Quelle: https://www.ifgeo.uni-bonn.de/abteilungen/meteorologie/messdaten/wetterdaten-bonn-endenich/messwerte).
Nach dem ersten Projektjahr wurde viel erreicht, was die Verwaltung der riesigen Datenmengen betrifft, die im Projekt benötigt werden, aber auch die Erforschung geeigneter maschineller Lernstrategien und statistischer Methoden.

Das Projekttreffen bot eine gute Gelegenheit, all diese Informationen zusammenzubringen und die Strategie für die kommenden Monate zu diskutieren. Niederschläge vorherzusagen ist schwierig (wir wussten das von Anfang an), aber es ist auch schwierig zu verstehen, ob und wann eine Niederschlagsvorhersage tatsächlich “gut” ist und was das bedeutet. Selbst eine einfache Frage wie “Regen oder kein Regen?” ist aufgrund von Mess- und Modellunsicherheiten eigentlich nicht leicht zu beantworten. Es wird daher noch einige Zeit dauern, bis DeepRain seine ersten aussagekräftigen Datenprodukte generieren kann.

Workshop “Machine Learning in weather and climate modelling” in Oxford

Martin Schultz und Lukas Leufen besuchten einen Workshop zum Thema “Machine Learning in weather and climate modeling” am Corpus Christi College in Oxford. Dieser Workshop führte mehr als 100 hochkarätige Klimawissenschaftler und Experten für HPC-Computerwissenschaft und maschinelles Lernen zusammen, um die laufenden Arbeiten vorzustellen und das weitere Vorgehen zu diskutieren. Von Anfang an wurde deutlich, dass maschinelles Lernen in fast allen Phasen eines Wetter- und Klimamodellierungs-Workflows eine wichtige Rolle spielen kann. Viel diskutierte Themen waren die wahrgenommene Notwendigkeit, den Algorithmen des maschinellen Lernens physische Einschränkungen aufzuerlegen und Unsicherheiten zu quantifizieren. Martin Schultz’ Präsentation zu den Projekten IntelliAQ und DeepRain wurde gut angenommen und die positive Resonanz bestätigte die Forschungsstrategie dieser Projekte.

Masterarbeit “Deep Hyperresolution for Weather Forecasting”

An der Universität Osnabrück schloss Jonas Rebstadt sein Studium mit einer Masterarbeit zum Thema “Deep Hyperresolution for Weather Forecasting” erfolgreich ab. Ziel ist es, ein System zu entwickeln, das in der Lage ist, die Genauigkeit der Regenvorhersage ohne exorbitanten höheren Rechenaufwand zu erhöhen. Der in dieser Arbeit vorgestellte Ansatz versucht, die räumliche Auflösung eines aktuell produktiv genutzten Prognosemodells des Deutschen Wetterdienstes (DWD) zu erhöhen, indem er ein neuronales Netzwerk trainiert, das auf höherauflösenden Radarbildern als Ziel basiert.

Meilenstein bei der Datenübertragung: 100. Terabyte

Fortschritte beim Datentransfer: Ein wesentlicher Aspekt des DeepRain-Projekts ist die große Datenmenge, die für die Schulung und Bewertung von Methoden des maschinellen Lernens verwendet wird. Insgesamt werden derzeit über 430 Terabyte Daten vom Deutschen Wetterdienst an das Forschungszentrum Jülich übertragen, um sie auf JSC-Supercomputern für Deep Learning zu nutzen. Heute wurde das 100. Terabyte erfolgreich übertragen und in die Speichersysteme der JSC integriert. Dies ist ein wichtiger Meilenstein, da nun genügend Daten zur Verfügung stehen, um die ersten sinnvollen tiefen Erkenntnisse und Analysen durchzuführen.

Datenspeicher beim JSC zugeteilt

Das Jülicher Supercomputing Center (JSC) hat für das DeepRain-Projekt zwei große Datenprojekte mit einem Volumen von mehreren hundert Terabyte vergeben.

Die ersten 30 TByte meteorologischer Modelldaten wurden erfolgreich vom Deutschen Wetterdienst an die JSC übertragen und ein prototypischer Workflow zur Verarbeitung dieser Daten wurde etabliert.

Konferenz der Europäischen Geowissenschaftlichen Union

Der DeepRain-Vortrag von Martin Schultz auf der Konferenz der Europäischen Geowissenschaftlichen Union in Wien wurde gut aufgenommen. Maschinelle Lernverfahren erregen nun große Aufmerksamkeit im Forschungsbereich Wetter und Klima. Dem Vortrag folgten fruchtbare Diskussionen, die zu zukünftigen Kooperationen führen können.

Zweites DeepRain Projekttreffen

Das DeepRain-Team hat gerade sein zweites Projekttreffen abgeschlossen, und die Projektpartner kehren in ihre Heimatinstitutionen zurück. Das Treffen wurde am Institut für Kognitionswissenschaften der Universität Osnabrück organisiert und beinhaltete ein kurzes Tutorium über Deep Learning, was die Expertise der Forschungsgruppe von Prof. Gordon Pipa ist. Das Team von Prof. Pipa stellte seine Pläne für neuronale Netzwerkarchitekturen vor, die zum Lernen von Niederschlagsmustern aus dem Ensemblemodell des Deutschen Wetterdienstes verwendet werden sollen. Die DeepRain-Partner setzten ihre Diskussionen über das Datenmanagement auf der Terabyte-Skala fort und diskutierten über Validierungsmethoden und Fehlercharakteristika und wie diese die Leistung der neuronalen Netze beeinflussen können. Die sorgfältige Analyse von Fehlern und das Verständnis der Vorzüge und Grenzen des deep learning im Kontext von Wetterdaten sind die Hauptziele des DeepRain-Projekts.

Die DeepRain-Kooperationsvereinbarung ist abgeschlossen

Die DeepRain-Kooperationsvereinbarung ist abgeschlossen und von allen Projektpartnern unterzeichnet worden. Sie bildet die formale Grundlage für eine fruchtbare Zusammenarbeit zwischen dem Forschungszentrum Jülich als Koordinator, dem Deutschen Wetterdienst (DWD), den Universitäten Osnabrück und Bonn sowie der Jacobs University in Bremen. “Das DeepRain-Projekt übernimmt die Prinzipien von Open Science und Open Data. Daher legt die Kooperationsvereinbarung so wenig Einschränkungen wie möglich fest, aber einige Regeln sind notwendig”, sagt Dr. Martin Schultz, der das Projekt koordiniert.

Rasdaman-Trainingsworkshop

Zurück vom Rasdaman-Trainingsworkshop auf dem Campus der Jacobs University in Bremen, klingt der DeepRain-Koordinator Dr. Martin Schultz recht zufrieden: “Dieser Workshop war für alle zehn Teilnehmer sehr hilfreich. Wir haben nicht nur viel über die erstaunliche Technologie hinter Rasdaman und das gründliche Designkonzept gelernt, das tatsächlich Standards für die geografische Datenverarbeitung setzt, sondern es war auch gut, ein wenig Zeit zu finden, um praktisch an Proben aus den tatsächlichen Daten zu arbeiten, die während des Projekts verwendet werden. Es war großartig zu erfahren, dass wir noch mehr Daten vom DWD erhalten können, als wir anfangs gedacht hatten. Im JSC müssen wir nun unsere Köpfe zusammenstecken, um den Transfer und die Verwaltung eines halben Petabyte an Wettermodelldaten zu organisieren. DeepRain ist eindeutig eines der aufregendsten Projekte, an denen ich in meiner Karriere gearbeitet habe.

DeepRain Kickoff-Treffen

Gestern trafen sich die Partner des DeepRain-Projekts im Forschungszentrum Jülich zu ihrem Kickoff-Treffen. Zwei Monate nach Projektbeginn hatten die Partner bereits eine Reihe von E-Mails ausgetauscht und Fragen zur Auswahl und Verwaltung der Daten, zur Wahl der Methoden des Tiefenlernens, zu statistischen Ansätzen und anderen Themen diskutiert. Einige Vorarbeiten haben begonnen, und alle waren gespannt darauf, das Projekt auf den Weg zu bringen. Das DeepRain-Team besteht aus Wissenschaftlern mit recht unterschiedlichem Hintergrund, die alle begeistert sind, bei diesem herausfordernden Unterfangen zusammenzuarbeiten. Es war schwierig, das Treffen pünktlich zu halten, weil so viele interessante Diskussionen angestoßen wurden.
Neben der Klärung einer Reihe von formalen Fragen des Projektmanagements wurden auch einige Vereinbarungen getroffen, wie die nächsten Schritte angegangen werden sollen. Als gemeinsamer Testfall, der die meisten Aspekte abdeckt, die während des Projekts behandelt werden müssen, werden wir uns im Herbst auf die Harzregion konzentrieren. Diese Wahl wurde getroffen, da der Harz eine Region mit variabler Orographie darstellt und Daten aus früheren Downscaling-Studien vorliegen. Außerdem werden die Regenfälle im Herbst vor allem durch großräumige Wetterphänomene getrieben, was den Einstieg in die tiefen Lernnetze erleichtert. Schließlich ist der Harz durch Radardaten gut abgedeckt und wird eine Analyse der Auswirkungen einer überlappenden Radarerfassung ermöglichen. Zunächst werden wir an der Etablierung der notwendigen Datenströme und der Neuformatierung arbeiten und dabei die Rasdaman-Datenbanktechnologie nutzen. Parallel dazu werden einige erste Test-Neuronale Netze entworfen und Entscheidungen über die Bewertungsmetriken und -methoden getroffen. Die Projektpartner werden sich im Januar 2019 zu einem Rasdaman-Schulungsworkshop in Bremen wieder treffen. Das nächste Projekttreffen findet im März 2019 in Osnabrück statt.