Avec les supercalculateurs et les grands modèles, peut-on prévoir n'importe quelle catastrophe météorologique ?

Le papillon insaisissable

La méthode mondiale de prévision météorologique est appelée calcul numérique. Après avoir collecté suffisamment de données météorologiques suffisamment riches, elles sont remplacées par des équations complexes, et le résultat est ce qu'on appelle la prévision. En répétant ce processus, la prévision est continue.

Derrière ces équations se cachent des théories solides, telles que les équations de mouvement des fluides, les équations thermodynamiques et différentes interfaces, l'air, l'eau, les équations d'échange d'énergie entre les matériaux de la glace terrestre, etc. Les lois physiques et chimiques qu'elles représentent ont été rigoureusement calculées et vérifiées.

Mais les prévisions météorologiques ne sont toujours pas absolument exactes. Ce type de prédiction numérique consiste à prédire la tendance future à travers les changements d'éléments météorologiques qui se sont produits, et sa précision est sérieusement affectée par la précision des données d'observation.

De plus, avec le changement d'échelles de temps et d'espace, la complexité du système météorologique va considérablement augmenter. D'une part, lors de l'analyse des causes du temps, il y aura beaucoup de choses manquantes, et d'autre part, il y aura plus d'erreurs dans les données, ce qui à son tour affecte la prédiction.

Et lorsque l'échelle est suffisamment grande, le temps entrera dans un état chaotique. Ce n'est pas une métaphore. Le système météorologique est un système chaotique typique. La théorie du chaos a été proposée pour la première fois par les météorologues en 1963.

Un système chaotique signifie que de très petites perturbations du système peuvent avoir des conséquences extrêmement différentes - un autre nom pour cela est l'effet papillon, où un papillon bat des ailes en Californie et une tempête se déclenche au Texas et dans le golfe du Mexique.

Cela nécessite que le calcul initial de la valeur soit très précis, mais nous savons tous que la précision absolue n'existe pas, sans compter que face à des mouvements météorologiques aussi complexes, il y a trop de types et de quantités de données à collecter .

La prédiction humaine du temps, c'est comme essayer d'apprendre la relation entre les ailes d'un papillon et la trajectoire de l'œil d'un orage, c'est magnifique, parfois sans espoir, et même ésotérique.

D'une part, des équations de fonctions de plus en plus complexes sont construites en termes de précision, et autant de données que possible sont collectées à des intervalles plus courts, d'autre part, on s'appuie sur une expérience presque "intuitive".

À ce jour, tous les résultats des prévisions météorologiques sont toujours déterminés par deux parties - le résultat du calcul numérique, plus le jugement du prévisionniste. Les prévisions météorologiques dépendent encore fortement de l'expérience humaine.

Dans une certaine mesure, les êtres humains utilisent leurs propres sentiments pour lutter contre le chaos de la nature.

supercalculateur

Par conséquent, la prévision météorologique présente une caractéristique étrange - car tant que l'on s'appuie sur l'expérience et le sentiment humains, il y aura toujours des échecs, en particulier dans certains climats extrêmes, car les données sur les climats extrêmes sont trop rares, provoquant l'absence d'expérience cohérente. de celui-ci.

Cependant, comme la précision des prévisions numériques s'est améliorée au cours des dernières décennies, les prévisions météorologiques actuelles peuvent atteindre un niveau assez précis dans de nombreux cas. La prévision d'utilisabilité à moyen terme est proche de 10 jours, et la prévision à court terme - pour par exemple, quand l'air froid arrivera.De combien la température va baisser, les humains ont pu juger très précisément. En effet, bien que les changements globaux de l'environnement climatique mondial soient chaotiques, à de nombreux niveaux microscopiques, tels que la formation de masses d'air, les changements de pression atmosphérique et la trajectoire des mouvements des nuages, ils sont décrits de manière vivante et précise par de plus en plus de fonctions et formules.

Par exemple, les récentes pluies torrentielles à Pékin, Tianjin et Hebei.

Du 29 juillet au 1er août, le typhon Dusurui s'est déplacé vers le nord avec une vapeur d'eau abondante et a été intercepté par des hautes pressions dans le nord de la Chine.Des orages extrêmes rarement vus dans l'histoire se sont produits dans la région Pékin-Tianjin-Hebei.

L'extrême se traduit par plusieurs aspects, le premier est la grande quantité. Les précipitations dans le comté de Lincheng, Xingtai, province du Hebei dépassent 1 000 millimètres, soit 1 mètre, ce qui équivaut à la quantité totale de précipitations au cours des deux premières années ici. Deuxièmement, cela a duré près de quatre jours à partir du 29 juillet et il a plu sans interruption pendant 83 heures même à Pékin. Le Hebei, le Shaanxi, le Henan et d'autres endroits ont également connu de fortes pluies pendant deux jours consécutifs. Enfin, il a un large éventail d'influences et toute la Chine du Nord est enveloppée de pluie.

Les prévisionnistes ont prédit cette pluie extrême avec une précision presque complète. Derrière tout cela, il y a les grands progrès de la prévision météorologique au cours des dernières décennies - le calcul numérique est passé d'un simple ensemble d'équations à l'un des algorithmes les plus complexes au monde. Après tout, plus on utilise de données et d'algorithmes pour capturer des événements imprévisibles. temps Eh bien, et afin de traiter cette quantité massive de données et d'algorithmes complexes, des superordinateurs ont été introduits.

Beaucoup de gens n'ont peut-être aucune idée de l'énorme quantité de données météorologiques, mais voici un chiffre : chaque jour, les données météorologiques de la Chine augmentent jusqu'à 40 To. mon pays a mis en place un ensemble complet de réseau d'observation météorologique en trois dimensions, avec plus de 70 000 stations d'observation météorologique couvrant 99,6% des villes et villages du pays. Le temps de transmission des données a été raccourci de 1 heure dans le passé à 1 minute ces derniers temps années.

Il est assez difficile de traiter une telle quantité de données en soi, mais il est presque impossible de les combiner avec des équations de calcul numérique - les équations aux dérivées partielles complexes et les calculs en virgule flottante nécessitent beaucoup de calculs. nécessite des délais extrêmement élevés. Sous diverses contraintes, seuls les supercalculateurs peuvent répondre à la demande.

Heureusement, la Chine est à l'avant-garde du monde à cet égard.

Le calcul intensif a toujours été une carte de visite de la Chine. Par exemple, la Chine possède 162 des 500 supercalculateurs les plus rapides au monde. Un autre exemple est que j'ai remporté trois fois la plus haute distinction internationale pour les applications de calcul intensif - le Gordon Bell Award. Deux d'entre eux sont The deux contenus primés "Atmospheric Dynamics Framework" et "Earthquake Simulation" sont tous deux liés à la météorologie.

Le supercalculateur actuellement utilisé en Chine s'appelle "Pai-Dawn". Sa vitesse de calcul maximale atteint 8 189 500 milliards de fois par seconde et sa capacité de stockage atteint 23 088 To. L'échelle s'est hissée à la troisième place mondiale dans le domaine de la météorologie.

Ce n'est pas fini. Avec la croissance rapide du volume de données et l'usure du matériel, la durée de vie des supercalculateurs est généralement de 6 à 8 ans. Ainsi, après "Pai-Dawn", de nouveaux supercalculateurs sont également lancés les uns après les autres. Cette année, le premier lot A du nouveau sous-système de calcul haute performance (HPC) 1 au niveau de l'état a été installé et construit. Ses performances ont encore été améliorées par rapport à "Pai-Dawning", atteignant 13PFlops, et sa capacité de stockage a également augmenté pour 76PB.

D'autres supercalculateurs sont en route.

La carte conceptuelle du système informatique national à haute performance "Pai-Shuguang". L'image provient du Centre national d'information météorologique.

** "Stagnation" et la Nouvelle Voie**

En général, le supercalcul composé de centaines ou de milliers de processeurs constitue une base solide pour la prévision météorologique, mais il reste encore des choses qui ne peuvent pas être faites ou qui sont difficiles à faire.

Comme le typhon. Notre prédiction du typhon Dusurui est loin de la précision de la prédiction de fortes pluies. Les principales méthodes de prévision des typhons dans le monde utilisent toutes des modèles dynamiques, qui simulent le mouvement atmosphérique sur la base des lois de la physique atmosphérique, y compris la dynamique des fluides et la thermodynamique, puis prédisent les changements dans les typhons.

Il y a de nombreuses inexactitudes dans le modèle dynamique, ce qui a amené tout le monde à prédire le chemin de Du Surui de différentes manières au début. Surui irait directement au delta de la rivière des Perles.

En fait, la prévision des typhons a toujours été un problème mondial, car un typhon peut subir des changements drastiques d'intensité en peu de temps, et sa trajectoire est imprévisible en raison de l'influence de nombreux facteurs sur une très grande échelle spatio-temporelle.

C'est un système chaotique typique.

Par conséquent, la prévision météorologique basée sur la prédiction numérique est devenue un complexe de contradictions, ce qui lui donne une énorme marge d'amélioration, mais elle est très limitée - la seule façon pour les gens d'approcher la précision est d'accumuler de l'expérience. Collecter des données et construire plus et fonctions plus complexes, mais ses avantages marginaux sont de plus en plus forts. Plus de données ne peuvent pas améliorer considérablement et globalement la précision des prévisions météorologiques à l'échelle macro et micro, tandis que le coût de l'informatique continue d'augmenter.

À ce stade, la situation semble avoir atteint une impasse. Des données massives, des algorithmes complexes et des exigences de puissance de calcul élevées font des calculs numériques un goulot d'étranglement dans une certaine mesure, mais ces trois conditions vous semblent-elles familières ?

Cela ressemble un peu aux trois éléments d'un grand modèle ?

En fait, dans le matériel d'un séminaire interne sur la technologie météorologique vu par Pinwan, certains experts ont directement déclaré que l'intelligence artificielle et le travail météorologique sont similaires dans leur méthodologie.

Étant donné que les formules de calcul numérique ne peuvent pas réellement épuiser toutes les causes et effets dans l'ensemble du système chaotique, pourquoi ne pas utiliser la méthode du réseau de neurones pour y importer des données massives, et laisser l'ordinateur trouver et apprendre les lois par lui-même ?

Cela semble être une explication indescriptible, mais extrêmement mystérieuse et raisonnable.

L'ENIAC, le premier ordinateur électronique de l'humanité, et l'EDSAC, le premier ordinateur construit selon la structure de von Neumann, ont effectivement été utilisés pour effectuer des calculs scientifiques liés à la météorologie.Le développement de la météorologie a toujours été en phase avec le développement de l'informatique Le progrès est étroitement lié - le calcul haute performance a promu la solution de problèmes complexes en science météorologique, et après avoir sauté hors de la pensée informatique générale, les réseaux de neurones et les grands modèles semblent être une direction très intéressante et raisonnable pour la météorologie et les prévisions météorologiques .

En fait, l'Observatoire météorologique central s'est référé aux résultats du modèle à grande échelle d'intelligence artificielle pour la prédiction de la trajectoire du typhon Dusurui.

Autrement

Les grands modèles météorologiques ne sont pas apparus avec la popularité de l'IA générative à la fin de l'année dernière. Il existe de nombreux grands modèles qui utilisent une puissance de calcul puissante, d'énormes quantités de données et diverses architectures d'apprentissage en profondeur pour prédire le temps. à l'étranger sont Nvidia FourCastNet, DeepMind, GraphCast de Google et ClimaX de Microsoft, les derniers modèles nationaux sont le modèle Huawei Pangu et le modèle Shanghai Fengwu, ce dernier du Laboratoire d'intelligence artificielle de Shanghai.

Pangu et Fengwu ont tous deux utilisé l'ensemble de données de réanalyse météorologique du Centre météorologique européen nommé ERA5, qui a fourni un total de 2000 To de diverses données météorologiques couvrant 37 surfaces isobares à la surface de la Terre au cours des 60 dernières années.

Ces données offrent un espace de jeu pour les grands modèles - au lieu d'utiliser des calculs numériques précis et correspondants, l'IA peut exploiter de manière plus flexible diverses relations complexes entre les données.

Pangu a construit une structure de transformateur 3D pour intégrer les processus physiques interactifs complexes de l'océan, de l'atmosphère et de la terre. Dans le passé, les grands modèles climatiques, tels que FourCastNet de Nvidia, utilisaient une structure 2D - chaque surface isobare est une couche , évidemment, là n'existe aucun moyen pour le plan 2D de mieux refléter le processus des changements météorologiques.

Selon les matériaux vus par Pinwan, Huawei a utilisé un codage de position absolue dans cette structure 3D, ce qui a considérablement accéléré la convergence du modèle.En outre, Huawei a formé quatre modèles de base correspondant respectivement à 1 heure, 3 heures, 6 heures et 24 heures. Prévision horaire, la méthode de fusion dans le domaine temporel réduit considérablement l'erreur causée par la petite taille de pas et les itérations multiples dans le modèle précédent.

Pour la prédiction de l'ancien et difficile typhon, Pangu a utilisé la pression moyenne au niveau de la mer comme référence de prédiction, et le résultat était meilleur que celui de l'Agence météorologique européenne.

L'idée du grand modèle Fengwu est d'utiliser 6 encodeurs indépendants pour encoder et décoder différents paramètres météorologiques (humidité, vent, température, etc.), et d'utiliser des réseaux de transformateurs indépendants pour apprendre entre différentes variables.

Différent de la méthode de fusion dans le domaine temporel de Huawei pour réduire les erreurs, Fengwu a conçu un espace de cache pour stocker et rejouer les résultats du processus de formation, afin que le réseau neuronal puisse s'adapter à ses erreurs, obtenant ainsi de meilleurs résultats de prédiction.

Bien que les résultats de ces nouvelles prédictions de modèles météorologiques à grande échelle soient encore préliminaires et que les résultats publiés soient meilleurs que les méthodes de prédiction numériques traditionnelles pour certains indicateurs spécifiques, des tests et une optimisation complets sont encore nécessaires, mais il ne fait aucun doute qu'ils représentent une sorte d'un nouveau paradigme radicalement différent des prévisions météorologiques traditionnelles.

À l'heure actuelle, le modèle à grande échelle Pangu de Huawei a réalisé une opération commerciale préliminaire dans le centre européen de prévisions météorologiques à moyen terme, tandis que Fengwu prétend être le modèle mondial de prévisions météorologiques AI haute résolution le plus précis.38,7 kilomètres, mieux que les 54,11 kilomètres de le Centre européen pour les prévisions météorologiques à moyen terme.

Longue route à suivre

Le changement arrive. Les grands modèles météorologiques ont le potentiel de bouleverser les paradigmes de prévision météorologique à bien des égards, comme la vitesse. Fengwu utilise un GPU pour générer 37 niveaux de résultats de prévisions météorologiques haute précision et haute résolution pour toutes les régions du monde au cours des 14 prochains jours en 1 minute, tandis que les prévisions météorologiques à 7 jours de Pangu ne prennent que 9,8 secondes à générer.

Le système de transmission des données météorologiques en temps réel et l'infrastructure générale de puissance de calcul mise en place pour les calculs numériques vont donc changer. Selon les initiés du Bureau météorologique appris par Pinwan, bien qu'il ne soit utilisé comme référence de prévision qu'à court terme, à moyen et long terme, le potentiel des grands modèles météorologiques est sans aucun doute énorme.

Maintenant, il peut y avoir deux problèmes principaux auxquels sont confrontés ces grands modèles météorologiques.Le premier est le réglage. Comment étiqueter correctement des données telles que le climat extrême dans le grand modèle est un problème. Le modèle d'IA a une forte capacité d'ajustement, de sorte que des erreurs peuvent se produire dans les prévisions à long terme. Cela peut être appelé "l'illusion" du grand modèle. modèle météorologique.

De plus, les modèles à grande échelle actuels n'ont pas de réserve de savoir-faire industriel plus approfondie, et la construction des modèles est effectuée par des informaticiens plutôt que par des experts en météorologie, ce qui signifie que ces modèles verticaux à grande échelle manquent encore de "rétroaction humaine". réglage.

Un autre problème est la puissance de calcul banale. Bien que mon pays se classe parmi les premiers au monde en termes de développement de supercalculateurs, le grand modèle n'utilise pas la puissance de calcul générale des supercalculateurs traditionnels. Le fonctionnement des réseaux profonds nécessite un calcul parallèle à grande échelle. C'est le GPU hautes performances, et nous sommes toujours coincés à cet égard.

Heureusement, le coût de la puissance de calcul directement impliquée dans le grand modèle météo n'est pas élevé.Selon la situation apprise par Pinwan, des dizaines de cartes graphiques Nvidia (même pas les modèles les plus avancés) peuvent être complétées en quelques semaines, au plus 2 mois Formation modèle. Cela est également devenu un avantage par rapport aux modèles de prédiction numérique traditionnels.

Avec la bénédiction de grands modèles météorologiques, l'expression "imprévisible" pourrait bientôt devenir une fausse proposition, et un jour, peut-être pourrons-nous vraiment prédire d'où viennent les papillons flottants et les ouragans violents en même temps.