10.03.2024 - 15.03.2024, Lorentz Center, Leiden, Netherlands
Sebastian Lehner
Der Workshop war insgesamt eine äußerst positive Erfahrung in vielerlei Hinsicht. Die Vernetzung und das Zusammentreffen mit Forschern verschiedener Hierarchieebenen, von Nachwuchskräften (Doktoranden) bis hin zu älteren Professoren. Dies ermöglichte zahlreiche und fruchtbare Diskussionen über verschiedene Themen im Zusammenhang mit der phänologischen Modellierung, einschließlich klimatologischer/meteorologischer Themen, aber auch weit über die Atmosphärenwissenschaften hinaus, einschließlich Molekularbiologie, Agroforstwirtschaft, Insektenphänologie, Fernerkundung und sehr viel spezifischere Bereiche der Ökologie, Umweltwissenschaft, Geoinformationssysteme und Klimatologie.
Im Rahmen dieses Workshops standen einige Schlüsselbereiche im Zusammenhang mit der phänologischen Modellierung im Mittelpunkt. Dazu gehören Daten, Modelle und die Auswirkungen der Modellierungsergebnisse. Neben Vorträgen, in denen die Teilnehmer ihre Forschungsarbeiten vorstellten, gab es auch einige Schulungssitzungen, die sich hauptsächlich auf R und verschiedene phänologische Modellierungsrahmen konzentrierten. Außerdem wurden spezielle Arbeitsgruppen mit der Bearbeitung von drei verschiedenen Themen beauftragt: 1) Positionspapier, 2) Benchmark, 3) Vorschlag.
Ich schloss mich der Benchmark-Gruppe an und wir begannen mit der Entwicklung eines Rahmens für das Benchmarking phänologischer Modelle. Während dieses Prozesses drehten sich die Diskussionen um 3 grundlegende Fragen: Warum? Wie? Was? Das Warum besteht darin, dass wir letztendlich die Leistung phänologischer Modelle verbessern und den Nutzern Hinweise geben wollen, welche Modelle für welche Zwecke zu verwenden sind. Das Wie ist im Wesentlichen die Frage, auf welche Merkmale ein Modell getestet werden soll. Dazu gehören beispielsweise die räumlich-zeitliche Übertragbarkeit (Training eines Modells in einem bestimmten Zeitraum/Raum und Anwendung in einem anderen Zeitraum/einer anderen räumlichen Region) und die Empfindlichkeit gegenüber Modelleingaben. Der Test-Workflow folgt den Standardverfahren des maschinellen Lernens: Aufteilung der Daten in Trainings-/Test-/Validierungsgruppen, Durchführung des Trainings und der Parameteroptimierung in der Trainings-/Testaufteilung der Daten und Validierung des Modells mit dem unabhängigen Validierungsdatensatz durch Berechnung einiger vordefinierter Bewertungsmetriken. Die Details des letzten Teils stellen die "Was"-Frage dar. Je nach den Besonderheiten der Bewertungsmetrik und der Datenaufteilung müssen unterschiedliche Daten verwendet werden.
Eine weitere wichtige Komponente, die wir besprochen haben, ist die Aufteilung der Daten für das Training. Dies ist nicht unbedingt trivial, denn eine naive, zufällige Aufteilung wird wahrscheinlich nicht zum gewünschten Erfolg führen. Das liegt daran, dass viele phänologische Modelle von vornherein in einem bestimmten Phasenraum gut funktionieren. Um ihr Extrapolationspotenzial zu testen, müssen die Daten speziell so aufgeteilt werden, dass dies getestet werden kann. Zum Beispiel die Aufteilung der Daten nach der Jahresdurchschnittstemperatur, um das Modell in einer kalten Periode zu trainieren und es in einer warmen Periode anzuwenden. Auch die räumliche Aufteilung ist nicht trivial, da die phänologischen Phasen von lokalen und regionalen Bedingungen abhängen und auch durch die Höhe über dem Meeresspiegel gekennzeichnet sind. Dies bedeutet, dass beispielsweise eine Trennung durch ein sachkundiges Clusterverfahren erforderlich sein könnte, wie z. B. Köppen-Geiger-Klimaregionen, und dann das Modell innerhalb eines Clusters trainiert und in einem anderen validiert wird, um die Übertragbarkeit über klimatologische Regionen hinweg zu testen.
Schließlich kam der Workshop zu einem Ende. Sowohl für die Benchmarking-Gruppe als auch für das Meinungspapier tauschte man Kontakte aus und beschloss, in naher Zukunft ein Treffen zu vereinbaren, um weitere Schritte zu besprechen und mit der Umsetzung der geplanten Arbeit zu beginnen. Speziell für das Benchmarking haben wir ein GitHub-Repository eingerichtet, in dem wir alle Informationen gesammelt haben, an denen wir bisher gearbeitet haben und an denen wir weiter arbeiten werden, um den phänologischen Benchmark-Datensatz zu verwirklichen.