In einer Ära, in der künstliche Intelligenz sich als Lösung für die komplexesten globalen Herausforderungen durchsetzt, von der Medizin bis zum Finanzwesen, ist ihre Anwendung in der Klimawissenschaft zu einem der treibendsten Forschungsbereiche geworden. Eine aktuelle Studie von Forschern des Massachusetts Institute of Technology (MIT) bringt jedoch eine überraschende und etwas ernüchternde Wendung und legt nahe, dass im Wettlauf um präzisere Klimavorhersagen größere und komplexere Deep-Learning-Modelle nicht immer ein Synonym für bessere Ergebnisse sind. Ihre Arbeit zeigt, dass in bestimmten Szenarien wesentlich einfachere Modelle, die auf fundamentalen physikalischen Gesetzen beruhen, genauere Prognosen liefern können als die fortschrittlichsten KI-Systeme.

Umweltwissenschaftler verlassen sich zunehmend auf riesige Modelle künstlicher Intelligenz, um Veränderungen in Wettermustern und dem langfristigen Klima vorherzusagen. Eine neue Analyse des MIT-Teams zeigt jedoch, wie die natürliche Variabilität, die den Klimadaten innewohnt, ein ernsthaftes Hindernis für KI-Modelle darstellen kann, was zu Schwierigkeiten bei der Vorhersage lokaler Temperaturen und Niederschlagsmengen führt. Ihre Forschung ist nicht nur ein Vergleich zweier Methodologien, sondern auch eine tiefgreifende Kritik an bestehenden Bewertungsverfahren (Benchmarking), die zur Beurteilung der Leistungsfähigkeit von maschinellen Lernmodellen in der Klimatologie verwendet werden.

Problematische Erfolgsmaßstäbe und die verborgene Falle natürlicher Oszillationen

Das Hauptproblem, auf das die Forscher stießen, liegt in den Standard-Testtechniken. Es zeigte sich, dass diese Techniken durch natürliche Variationen innerhalb der Klimadaten selbst, wie z. B. mehrjährige Schwankungen von Wettermustern wie den Phänomenen El Niño und La Niña, erheblich verzerrt werden können. Ein solches inhärentes "Rauschen" in den Daten kann den falschen Eindruck erwecken, dass ein Deep-Learning-Modell extrem präzise ist, während seine Leistung in Wirklichkeit auf falschen Annahmen oder der Anpassung an kurzfristige, unvorhersehbare Zyklen beruht. Dies führt zu einer Situation, in der ein Modell überlegen erscheinen mag, obwohl dies bei der Betrachtung langfristiger, stabiler Trends tatsächlich nicht der Fall ist.

Angesichts dieser Herausforderung entwickelten die Wissenschaftler eine robustere und zuverlässigere Methode zur Evaluierung dieser Techniken. Durch die Anwendung des neuen Ansatzes konnten sie die Stärken und Schwächen verschiedener Modelle klarer unterscheiden. Die Ergebnisse waren eindeutig: Während einfachere Modelle eine überlegene Genauigkeit bei der Schätzung regionaler Oberflächentemperaturen zeigten, erwiesen sich komplexere, auf Deep Learning basierende Ansätze als die bessere Wahl für die Schätzung lokaler Niederschläge, die von Natur aus viel chaotischer und schwieriger zu modellieren sind.

Diese Erkenntnisse wurden genutzt, um ein als Klima-Emulator bekanntes Simulationswerkzeug zu verbessern. Emulatoren sind vereinfachte Annäherungen an komplexe Klimamodelle, die wochen- oder monatelang auf Supercomputern laufen. Ihr Hauptvorteil ist die Geschwindigkeit; sie ermöglichen es Wissenschaftlern und politischen Entscheidungsträgern, die Auswirkungen verschiedener Szenarien menschlicher Aktivitäten, wie z. B. die Reduzierung oder Erhöhung von Treibhausgasemissionen, auf das zukünftige Klima in sehr kurzer Zeit zu simulieren.

Eine Mahnung zur Vorsicht bei der Anwendung künstlicher Intelligenz

Das Forschungsteam sieht seine Arbeit als eine Art "Mahnung zur Vorsicht", die vor den Risiken einer unkritischen Implementierung großer KI-Modelle im Bereich der Klimawissenschaft warnt. Während Deep-Learning-Modelle in Bereichen wie der Verarbeitung natürlicher Sprache oder der Bilderkennung unglaubliche Erfolge erzielt haben, ist die Klimawissenschaft grundlegend anders. Sie basiert auf bewährten physikalischen Gesetzen und Näherungen, und die wahre Herausforderung liegt darin, diese grundlegenden Prinzipien effizient in die Struktur eines KI-Modells zu integrieren, anstatt sich ausschließlich auf die Fähigkeit des Modells zu verlassen, selbstständig aus Daten zu lernen.

Noelle Selin, eine der Hauptautorinnen der Studie und Professorin am Institut für Daten, Systeme und Gesellschaft (IDSS) des MIT, betont die Bedeutung dieses Ansatzes: "Unser Ziel ist es, Modelle zu entwickeln, die nützlich und relevant für die Entscheidungen sind, die politische Entscheidungsträger in der Zukunft treffen müssen. Auch wenn es verlockend sein mag, das neueste, komplexeste maschinelle Lernmodell auf ein Klimaproblem anzuwenden, zeigt diese Studie, dass es entscheidend ist, innezuhalten und gründlich über die Grundlagen des Problems nachzudenken. Das ist nicht nur wichtig, sondern auch äußerst nützlich."

Vergleich zweier Welten: Lineare Skalierung gegenüber Deep Learning

Da das Klima der Erde ein unglaublich komplexes System ist, kann die Ausführung modernster Klimamodelle zur Vorhersage der Auswirkungen von Umweltverschmutzung auf Umweltfaktoren wie die Temperatur Wochen dauern, selbst auf den leistungsstärksten Supercomputern der Welt. Aus diesem Grund greifen Wissenschaftler häufig auf Klima-Emulatoren zurück. Ein politischer Entscheidungsträger kann einen solchen Emulator verwenden, um schnell zu bewerten, wie sich alternative Annahmen über Treibhausgasemissionen auf zukünftige Temperaturen auswirken würden, was ihnen bei der Gestaltung von Vorschriften und Strategien hilft.

Ein Emulator ist jedoch nutzlos, wenn er ungenaue Vorhersagen über die lokalen Auswirkungen des Klimawandels liefert. Obwohl Deep Learning für die Erstellung von Emulatoren immer beliebter geworden ist, haben nur wenige Studien detailliert untersucht, ob diese modernen Modelle bewährte und einfachere Ansätze übertreffen. Genau das hat das Team vom MIT getan. Sie verglichen eine traditionelle Technik, bekannt als lineare Musterskalierung (LPS), mit einem Deep-Learning-Modell unter Verwendung eines gängigen Referenzdatensatzes zur Evaluierung von Klima-Emulatoren.

Ihre ersten Ergebnisse zeigten, dass LPS die Deep-Learning-Modelle bei der Vorhersage fast aller getesteten Parameter, einschließlich Temperatur und Niederschlag, übertraf. "Große KI-Methoden sind für Wissenschaftler sehr attraktiv, aber sie lösen selten ein völlig neues Problem. Daher ist es notwendig, zuerst eine bestehende, einfachere Lösung zu implementieren, um festzustellen, ob der komplexe Ansatz des maschinellen Lernens wirklich eine Verbesserung bringt", erklärt Björn Lütjens, der Hauptautor der Studie.

Eine neue Methodik für eine gerechtere Bewertung

Einige der ersten Ergebnisse widersprachen dem fundamentalen Wissen der Forscher. Es wurde erwartet, dass ein leistungsfähiges Deep-Learning-Modell bei der Vorhersage von Niederschlägen genauer sein würde, da diese Daten keinem einfachen linearen Muster folgen. Eine detailliertere Analyse ergab, dass die große Menge an natürlicher Variabilität in den Simulationen von Klimamodellen dazu führt, dass das Deep-Learning-Modell schlecht mit unvorhersehbaren langfristigen Oszillationen, wie den El Niño/La Niña-Zyklen, umgeht. Dies verzerrte die Testergebnisse zugunsten von LPS, das diese Oszillationen einfach "mittelt" und damit ihre Komplexität ignoriert.

Auf der Grundlage dieser Erkenntnis konstruierten die Forscher eine neue, umfassendere Evaluierung mit mehr Daten, die die natürliche Klimavariabilität berücksichtigt. Mit dieser neuen Methodik änderte sich das Bild: Das Deep-Learning-Modell erwies sich als geringfügig besser als LPS bei der Vorhersage lokaler Niederschläge, aber LPS behielt weiterhin seinen Vorteil als genaueres Werkzeug zur Vorhersage der Temperatur.

"Es ist wichtig, das Modellierungswerkzeug zu verwenden, das für das spezifische Problem geeignet ist, aber um das tun zu können, muss man zuerst das Problem selbst richtig aufstellen", fügt Selin hinzu. Basierend auf diesen Ergebnissen integrierten die Forscher LPS in ihre Klima-Emulationsplattform, um lokale Temperaturänderungen unter verschiedenen Emissionsszenarien vorherzusagen.

Das Team betont jedoch, dass das Ziel nicht darin besteht, LPS zu einer universellen Lösung zu erklären. "Wir plädieren nicht dafür, dass LPS immer das Ziel sein sollte. Es hat immer noch seine Grenzen. Zum Beispiel sagt LPS keine Variabilität oder extremen Wetterereignisse voraus", betont Raffaele Ferrari, ein Mitautor der Studie. Stattdessen hoffen sie, dass ihre Ergebnisse die Notwendigkeit unterstreichen, bessere Techniken zum Vergleich und zur Bewertung von Modellen zu entwickeln, die ein vollständigeres Bild davon liefern könnten, welche Klima-Emulationstechnik für eine bestimmte Situation am besten geeignet ist.

Mit verbesserten Referenzmaßstäben für die Klima-Emulation könnten wir komplexere Methoden des maschinellen Lernens verwenden, um Probleme zu untersuchen, die derzeit sehr schwer zu lösen sind, wie z. B. die Auswirkungen von Aerosolen oder die Bewertung des Risikos extremer Niederschläge. Letztendlich werden genauere Bewertungstechniken sicherstellen, dass politische Entscheidungsträger ihre Entscheidungen auf den besten verfügbaren Informationen basieren, was im Kampf gegen den Klimawandel von entscheidender Bedeutung ist. Die Forscher hoffen, dass andere auf ihrer Analyse aufbauen werden, vielleicht durch die Untersuchung zusätzlicher Verbesserungen von Methoden und Maßstäben für die Klima-Emulation. Solche Forschungen könnten auf spezifische Auswirkungen ausgerichtete Metriken untersuchen, wie z. B. Dürreindikatoren und Waldbrandrisiken, oder neue Variablen wie regionale Windgeschwindigkeiten.

Quelle: Massachusetts Institute of Technology