Com supercomputadores e grandes modelos, qualquer desastre meteorológico pode ser previsto?

A Borboleta Indescritível

O método mundial de previsão do tempo é chamado de cálculo numérico. Depois de coletar dados meteorológicos suficientes e ricos o suficiente, eles são substituídos em equações complexas e o resultado é a chamada previsão. Repetindo esse processo, a previsão continuará.

Por trás dessas equações estão algumas teorias sólidas, como equações de movimento de fluidos, equações termodinâmicas e diferentes interfaces, equações de troca de energia de material de gelo, ar, água, etc. As leis físicas e químicas que elas representam foram rigorosamente calculadas e verificadas.

Mas a previsão do tempo ainda não é absolutamente precisa. Esse tipo de previsão numérica é prever a tendência futura por meio das mudanças de elementos meteorológicos que ocorreram, e sua precisão é seriamente afetada pela precisão dos dados de observação.

Além disso, com a mudança das escalas de tempo e espaço, a complexidade do sistema meteorológico aumentará dramaticamente. Por um lado, ao analisar as causas do clima, muitas coisas faltarão e, por outro lado, haverá mais erros nos dados, o que, por sua vez, afeta a previsão. o resultado de.

E quando a escala for grande o suficiente, o clima entrará em um estado caótico. Isso não é uma metáfora. O sistema meteorológico é um sistema caótico típico. A teoria do caos foi proposta pela primeira vez por meteorologistas em 1963.

Um sistema caótico significa que perturbações muito pequenas no sistema podem ter consequências muito diferentes – outro nome para isso é o efeito borboleta, em que uma borboleta bate as asas na Califórnia e uma tempestade começa no Texas e no Golfo do México.

Isso exige que o cálculo inicial do valor seja muito preciso, mas todos sabemos que não existe precisão absoluta, sem falar que diante de movimentos meteorológicos tão complexos, existem muitos tipos e quantidades de dados a serem coletados .

A previsão humana do tempo é como tentar aprender a relação entre as asas de uma borboleta e a trajetória do olho de uma tempestade: é magnífica, às vezes sem esperança e até esotérica.

Por um lado, equações de função cada vez mais complexas são construídas em termos de precisão e o máximo de dados possível é coletado em intervalos mais curtos; por outro lado, uma experiência quase "intuitiva" é considerada.

Até hoje, todos os resultados da previsão do tempo ainda são determinados por duas partes - o resultado do cálculo numérico, mais o julgamento do meteorologista. A previsão do tempo ainda é altamente dependente da experiência humana.

Até certo ponto, os seres humanos estão usando seus próprios sentimentos para lutar contra o caos da natureza.

supercomputador

Portanto, a previsão meteorológica apresenta uma característica estranha – porque enquanto se confiar na experiência e no sentimento humano, sempre haverá falhas, especialmente em alguns climas extremos, porque os dados sobre climas extremos são muito escassos, fazendo com que a experiência humana não seja coerente. disso.

No entanto, como a precisão da previsão numérica melhorou nas últimas décadas, a previsão do tempo atual pode atingir um nível bastante preciso em muitos casos. A previsão de usabilidade de médio prazo é próxima a 10 dias, e a previsão de curto prazo - por Por exemplo, quando o ar frio chegará, quanto a temperatura cairá, os humanos têm sido capazes de julgar com muita precisão. Isso ocorre porque, embora as mudanças globais globais no ambiente climático sejam caóticas, em muitos níveis microscópicos, como a formação de massas de ar, mudanças na pressão do ar e a trajetória dos movimentos das nuvens, estão sendo descritos de forma vívida e precisa por mais e mais funções e fórmulas .

Por exemplo, as recentes chuvas torrenciais em Pequim, Tianjin e Hebei.

De 29 de julho a 1º de agosto, o tufão Dusurui moveu-se para o norte com abundante vapor d'água e foi interceptado por altas pressões no norte da China.Tempestades extremas raramente vistas na história ocorreram na região de Beijing-Tianjin-Hebei.

O extremo se reflete em vários aspectos, o primeiro é a grande quantidade. A precipitação no condado de Lincheng, Xingtai, província de Hebei excede 1.000 milímetros, ou 1 metro, o que é igual à quantidade total de precipitação nos dois anos originais aqui. Em segundo lugar, durou quase quatro dias a partir de 29 de julho e choveu continuamente por 83 horas, mesmo em Pequim. Hebei, Shaanxi, Henan e outros lugares também sofreram fortes chuvas por dois dias consecutivos. Finalmente, tem uma ampla gama de influência e todo o norte da China está envolto em chuva.

Os meteorologistas previram essa chuva extrema com precisão quase total. Por trás disso está o grande progresso da previsão do tempo nas últimas décadas - o cálculo numérico evoluiu de um simples conjunto de equações para um dos algoritmos mais complexos do mundo. Afinal, quanto mais dados e algoritmos são usados para capturar dados imprevisíveis bem, e para lidar com essa enorme quantidade de dados e algoritmos complexos, os supercomputadores foram introduzidos.

Muitas pessoas podem não ter noção da enorme quantidade de dados meteorológicos, mas aqui está uma figura: todos os dias, os dados meteorológicos da China crescem até 40 TB. meu país estabeleceu um conjunto completo de rede de observação meteorológica tridimensional, com mais de 70.000 estações de observação meteorológica cobrindo 99,6% das cidades e vilas do país. O tempo de transmissão de dados foi reduzido de 1 hora no passado para 1 minuto nos últimos anos.

É muito difícil lidar com uma quantidade tão grande de dados em si, mas é quase impossível combiná-los com equações de cálculo numérico - equações diferenciais parciais complexas e cálculos de ponto flutuante exigem muitos cálculos. Poder, especialmente previsão do tempo, também requer pontualidade extremamente alta. Sob várias restrições, apenas supercomputadores podem atender à demanda.

Felizmente, a China está na vanguarda do mundo nesse aspecto.

A supercomputação sempre foi um cartão de visita da China. Por exemplo, a China tem 162 dos 500 supercomputadores mais rápidos do mundo. Outro exemplo é que ganhei o maior prêmio internacional para aplicações de supercomputação - o Gordon Bell Award três vezes. Dois deles são The dois conteúdos premiados "Atmospheric Dynamics Framework" e "Earthquake Simulation" são ambos relacionados à meteorologia.

O supercomputador usado atualmente na China é chamado de "Pai-Dawn". Sua velocidade máxima de computação chega a 8.189,5 trilhões de vezes por segundo e sua capacidade de armazenamento chega a 23.088 TB. A escala saltou para o terceiro lugar no mundo no campo da meteorologia.

Isso não acabou. Com o rápido crescimento do volume de dados e o desgaste do hardware, a vida útil dos supercomputadores é de 6 a 8 anos. Portanto, depois do "Pai-Dawn", novos supercomputadores também estão sendo lançados um após o outro. O primeiro lote deste ano do novo subsistema de computação de alto desempenho (HPC) de nível estadual 1 foi instalado e construído. Seu desempenho foi melhorado em comparação com o "Pai-Dawning", atingindo 13PFlops, e sua capacidade de armazenamento também aumentou para 76PB.

Mais supercomputadores estão a caminho.

O mapa conceitual do sistema de computador doméstico de alto desempenho "Pai-Shuguang". A imagem vem do Centro Nacional de Informações Meteorológicas.

** "Estagnação" e o Novo Caminho**

Em geral, a supercomputação composta por centenas ou milhares de CPUs constitui uma base sólida para a previsão do tempo, mas ainda há coisas que não podem ser feitas ou são difíceis de fazer.

Tal como o tufão. Nossa previsão do tufão Dusurui está longe da precisão da previsão de chuva forte. Todos os principais métodos de previsão de tufões no mundo usam modelos dinâmicos, que simulam o movimento atmosférico com base nas leis da física atmosférica, incluindo dinâmica de fluidos e termodinâmica, e então predizem mudanças nos tufões.

Existem muitas imprecisões no modelo dinâmico, o que fez com que todos previssem o caminho de Du Surui de várias maneiras no início. Surui iria direto para o Delta do Rio das Pérolas.

De fato, a previsão de tufões sempre foi um problema mundial, pois um tufão pode sofrer mudanças drásticas de intensidade em um curto período de tempo, e sua trajetória é imprevisível devido à influência de muitos fatores em uma escala de tempo-espaço muito grande.

É um sistema caótico típico.

Portanto, a previsão do tempo com base na previsão numérica tornou-se um complexo de contradições, o que faz com que haja um enorme espaço para melhorias, mas é muito limitado - a única maneira de as pessoas abordarem a precisão é acumular experiência Coletando dados e construindo mais e funções mais complexas, mas seus benefícios marginais estão se tornando cada vez mais fortes. Mais dados não podem melhorar de forma significativa e abrangente a precisão das previsões meteorológicas nas escalas macro e micro, enquanto o custo geral da computação continua a crescer.

Neste ponto, a situação parece ter chegado a um impasse. Dados massivos, algoritmos complexos e altos requisitos de poder de computação fazem com que os cálculos numéricos se tornem um gargalo até certo ponto, mas essas três condições parecem familiares?

Parece um pouco com os três elementos de um grande modelo?

De fato, no material de um seminário interno sobre tecnologia meteorológica visto por Pinwan, alguns especialistas declararam diretamente que a inteligência artificial e o trabalho meteorológico são semelhantes em metodologia.

Como as fórmulas de cálculo numérico não podem realmente esgotar todas as causas e efeitos em todo o sistema caótico, por que não usar o método de rede neural para importar dados massivos para ele e deixar o computador encontrar e aprender as leis por si mesmo?

Esta parece ser uma explicação indescritível, mas extremamente misteriosa e razoável.

O ENIAC, o primeiro computador eletrônico do ser humano, e o EDSAC, o primeiro computador construído de acordo com a estrutura de von Neumann, foram realmente usados para realizar cálculos científicos relacionados à meteorologia. ciência. O progresso está intimamente conectado - a computação de alto desempenho promoveu a solução de problemas complexos na ciência meteorológica e, depois de saltar fora da ideia geral de computação, redes neurais e grandes modelos parecem ser uma direção muito interessante e razoável para meteorologia e clima previsão.

De fato, o Observatório Meteorológico Central referiu-se aos resultados do modelo de inteligência artificial em grande escala para a previsão da trajetória do tufão Dusurui.

Outro jeito

Grandes modelos meteorológicos não apareceram com a popularidade da IA generativa no final do ano passado. Existem muitos modelos grandes que usam poder de computação poderoso, grandes quantidades de dados e várias arquiteturas de aprendizado profundo para prever o clima. Os mais famosos no exterior são Nvidia FourCastNet, DeepMind, GraphCast do Google e ClimaX da Microsoft, os últimos modelos domésticos são o modelo Huawei Pangu e o modelo Shanghai Fengwu, este último do Laboratório de Inteligência Artificial de Xangai.

Tanto Pangu quanto Fengwu usaram o conjunto de dados de reanálise meteorológica do Centro Meteorológico Europeu chamado ERA5, que forneceu um total de 2.000 TB de vários dados meteorológicos cobrindo 37 superfícies isobáricas na superfície da Terra nos últimos 60 anos.

Esses dados fornecem um espaço para grandes modelos jogarem - em vez de usar cálculos numéricos precisos e correspondentes, a IA pode explorar com mais flexibilidade várias relações complexas entre os dados.

Pangu construiu uma estrutura transformadora 3D para integrar os complexos processos físicos interativos do oceano, atmosfera e terra. No passado, grandes modelos climáticos, como o FourCastNet da Nvidia, usavam uma estrutura 2D — cada superfície isobárica é uma camada, obviamente, há não há como o plano 2D refletir melhor o processo de mudanças meteorológicas.

De acordo com os materiais vistos por Pinwan, a Huawei usou codificação de posição absoluta nesta estrutura 3D, o que acelerou significativamente a convergência do modelo. Além disso, a Huawei treinou quatro modelos básicos correspondentes a 1 hora, 3 horas, 6 horas e 24 horas, respectivamente. Previsão horária, o método de fusão no domínio do tempo reduz significativamente o erro causado pelo pequeno tamanho do passo e múltiplas iterações no modelo anterior.

Para a previsão do antigo e difícil tufão, Pangu usou a pressão média do nível do mar como referência de previsão, e o resultado foi melhor do que o da Agência Meteorológica Europeia.

A ideia do grande modelo de Fengwu é usar 6 codificadores independentes para codificar e decodificar diferentes parâmetros meteorológicos (umidade, vento, temperatura, etc.) e usar redes de transformadores independentes para aprender entre diferentes variáveis.

Diferente do método de fusão no domínio do tempo da Huawei para reduzir erros, Fengwu projetou um espaço de cache para armazenar e reproduzir os resultados do processo de treinamento, para que a rede neural possa se adaptar aos seus erros, obtendo assim melhores resultados de previsão.

Embora os resultados dessas novas previsões de modelos meteorológicos em grande escala ainda sejam preliminares e os resultados publicados sejam melhores do que os métodos tradicionais de previsão numérica em alguns indicadores específicos, testes abrangentes e otimização ainda são necessários, mas não há dúvida de que eles representam um tipo de Um novo paradigma radicalmente diferente da previsão do tempo tradicional.

Atualmente, o grande modelo Pangu da Huawei alcançou a operação comercial inicial no centro europeu de previsão do tempo de médio alcance, enquanto Fengwu afirma ser o modelo de previsão do tempo AI de alta resolução global mais preciso e o erro da previsão de Du Surui com 24 horas de antecedência é de 38,7 quilômetros, melhor que os 54,11 quilômetros do Centro Europeu de Previsão do Tempo de Médio Prazo.

Longa estrada à frente

A mudança está chegando. Grandes modelos climáticos têm o potencial de derrubar paradigmas de previsão do tempo de várias maneiras, como velocidade. Fengwu usa uma GPU para gerar 37 níveis de resultados de previsão do tempo de alta precisão e alta resolução para todas as regiões do mundo nos próximos 14 dias em 1 minuto, enquanto a previsão do tempo de 7 dias de Pangu leva apenas 9,8 segundos para ser gerada.

O sistema de transmissão de dados meteorológicos em tempo real e a infraestrutura de poder de computação geral estabelecida para cálculos numéricos irão, portanto, mudar. Segundo os insiders do Bureau Meteorológico apreendidos por Pinwan, embora seja usado apenas como referência de previsão no curto prazo, no médio e longo prazo, o potencial dos grandes modelos meteorológicos é sem dúvida enorme.

Agora, pode haver dois problemas principais enfrentados por esses grandes modelos meteorológicos: o primeiro é o ajuste. Como rotular corretamente dados como clima extremo no modelo grande é um problema. O modelo AI tem uma forte capacidade de ajuste, portanto, podem ocorrer erros na previsão de longo prazo. Isso pode ser chamado de "ilusão" do grande modelo meteorológico.

Além disso, os atuais modelos de grande escala não possuem uma reserva industrial mais profunda, e a construção dos modelos é feita por cientistas da computação em vez de especialistas em meteorologia, o que significa que esses modelos verticais de grande escala ainda carecem de "feedback humano" afinação.

Outro problema é o poder de computação comum. Embora meu país esteja entre os melhores do mundo em termos de desenvolvimento de supercomputadores, o modelo grande não usa o poder de computação geral dos supercomputadores tradicionais. A operação de redes profundas requer computação paralela em grande escala. É a GPU de alto desempenho e ainda estamos presos nesse aspecto.

Felizmente, o custo do poder de computação diretamente envolvido no modelo climático grande não é alto. De acordo com o conhecimento de Pinwan, dezenas de placas gráficas Nvidia (nem mesmo os modelos mais avançados) podem ser concluídas em algumas semanas, no máximo 2 meses. . Isso também se tornou uma vantagem sobre os modelos de previsão numérica tradicionais.

Com a bênção de grandes modelos meteorológicos, a frase "imprevisível" pode em breve se tornar uma proposição falsa e, um dia, talvez possamos realmente prever de onde vêm as borboletas esvoaçantes e os furacões violentos ao mesmo tempo.