Можно ли с помощью суперкомпьютеров и больших моделей предсказать любую метеорологическую катастрофу?

Неуловимая бабочка

Всемирный метод прогнозирования погоды называется численным расчетом.После сбора достаточного количества и достаточно богатых метеорологических данных они подставляются в сложные уравнения, и в результате получается так называемый прогноз.Повторяя этот процесс, прогноз является непрерывным.

За этими уравнениями стоят некоторые твердые теории, такие как уравнения движения жидкости, термодинамические уравнения и различные интерфейсы, уравнения энергообмена с воздухом, водой, наземным льдом и т. д. Физические и химические законы, которые они представляют, были тщательно рассчитаны и проверены.

Но прогноз погоды все же не совсем точен. Этот вид численного прогноза заключается в предсказании будущей тенденции посредством произошедших изменений метеорологических элементов, и на его точность серьезно влияет точность данных наблюдений.

Более того, по мере изменения временных и пространственных масштабов сложность метеорологической системы будет резко возрастать.С одной стороны, при анализе причин погоды будет много чего упускать, а с другой стороны, будет быть больше ошибок в данных, что в свою очередь влияет на результат прогноза.

А когда масштаб будет достаточно большим, погода войдет в хаотичное состояние. Это не метафора. Метеорологическая система представляет собой типичную хаотическую систему. Теория хаоса впервые была предложена метеорологами в 1963 году.

Хаотическая система означает, что очень небольшие возмущения в системе могут иметь совершенно разные последствия — другое название этого явления — эффект бабочки, когда бабочка машет крыльями в Калифорнии, а шторм поднимается в Техасе и Мексиканском заливе.

Это требует, чтобы первоначальный расчет значения был очень точным, но все мы знаем, что абсолютной точности не существует, не говоря уже о том, что перед лицом таких сложных метеорологических движений необходимо собрать слишком много типов и объемов данных. .

Человеческое предсказание погоды похоже на попытку узнать взаимосвязь между крыльями бабочки и траекторией глаза бури: это великолепно, иногда безнадежно и даже эзотерично.

С одной стороны, строятся все более сложные уравнения функций с точки зрения точности, и собирается как можно больше данных с более короткими интервалами, с другой стороны, делается ставка на почти «интуитивный» опыт.

По сей день все результаты прогноза погоды по-прежнему определяются двумя частями: результатом численного расчета и суждением синоптика. Прогнозирование погоды по-прежнему сильно зависит от человеческого опыта.

В какой-то степени люди используют свои чувства для борьбы с хаосом природы.

суперкомпьютер

Таким образом, метеорологическое прогнозирование представляет собой странную характеристику — поскольку, пока кто-то полагается на человеческий опыт и чувства, всегда будут неудачи, особенно в некоторых экстремальных климатических условиях, поскольку данных об экстремальных климатических условиях слишком мало, что приводит к тому, что у человека нет связного опыта. этого.

Однако по мере повышения точности численного прогноза за последние несколько десятилетий текущий прогноз погоды во многих случаях может достигать достаточно точного уровня: среднесрочный прогноз юзабилити близок к 10 суткам, а краткосрочный прогноз — к 10 суткам. Например, когда прибудет холодный воздух.Насколько понизится температура, люди смогли очень точно судить. Это связано с тем, что, хотя общие глобальные изменения климатической среды носят хаотический характер, на многих микроскопических уровнях, таких как формирование воздушных масс, изменения атмосферного давления и траектории движения облаков, они ярко и точно описываются все большим количеством функций и функций. формулы .

Например, недавние проливные дожди в Пекине, Тяньцзине и Хэбэе.

С 29 июля по 1 августа тайфун Дюсуруй двигался на север с обильным водяным паром и был перехвачен высоким давлением в Северном Китае.Экстремальные ливни, редко наблюдавшиеся в истории, произошли в районе Пекин-Тяньцзинь-Хэбэй.

Крайность выражается в нескольких аспектах, первый — в большом количестве. Количество осадков в уезде Линчэн, Синтай, провинция Хэбэй, превышает 1000 миллиметров, или 1 метр, что равно общему количеству осадков за первые два года здесь. Во-вторых, он длился почти четыре дня, начиная с 29 июля, и дождь лил непрерывно в течение 83 часов даже в Пекине. Хэбэй, Шэньси, Хэнань и другие места также пережили проливной дождь в течение двух дней подряд. Наконец, он имеет широкий спектр влияния, и весь Северный Китай окутан дождем.

Синоптики предсказали этот экстремальный дождь почти с полной точностью. За этим стоит огромный прогресс прогнозирования погоды за последние несколько десятилетий — численный расчет превратился из простого набора уравнений в один из самых сложных алгоритмов в мире.В конце концов, чем больше данных и алгоритмов используется для захвата непредсказуемых погода Ну, и для того, чтобы справиться с этим огромным объемом данных и сложными алгоритмами, были введены суперкомпьютеры.

Многие люди могут не иметь представления об огромном количестве данных о погоде, но вот цифра: каждый день данные о погоде в Китае увеличиваются до 40 ТБ. моя страна создала полный набор трехмерной сети наблюдения за погодой с более чем 70 000 метеорологических станций наблюдения, охватывающих 99,6% городов и деревень страны Время передачи данных было сокращено с 1 часа в прошлом до 1 минуты в последнее время годы.

Самому справиться с таким огромным объемом данных довольно сложно, но совместить их с уравнениями численного расчета практически невозможно — сложные уравнения в частных производных и вычисления с плавающей запятой требуют большого количества вычислений. требует чрезвычайно высокой своевременности, и при различных ограничениях только суперкомпьютеры могут удовлетворить этот спрос.

К счастью, Китай в этом отношении находится на переднем крае мира.

Суперкомпьютеры всегда были визитной карточкой Китая.Например, в Китае 162 из 500 самых быстрых в мире суперкомпьютеров.Другим примером является то, что я трижды выигрывал высшую награду за международные суперкомпьютерные приложения – премию Гордона Белла. два отмеченных наградами содержания «Atmospheric Dynamics Framework» и «Earthquake Simulation» связаны с метеорологией.

Суперкомпьютер, используемый в настоящее время в Китае, называется «Пай-Заря». Его пиковая скорость вычислений достигает 8189,5 трлн раз в секунду, а объем памяти достигает 23088 ТБ. Масштаб подскочил на третье место в мире в области метеорологии.

Это еще не конец.С быстрым ростом объемов данных и износом оборудования срок службы суперкомпьютеров в основном составляет 6-8 лет.Поэтому после «Пай-Зари» один за другим запускаются и новые суперкомпьютеры. Установлена и построена первая в этом году партия новой подсистемы высокопроизводительных вычислений (HPC) государственного уровня 1. Ее производительность была дополнительно улучшена по сравнению с «Pai-Dawning» и достигла 13 PFlops, а емкость хранилища также увеличена до 76ПБ.

На подходе еще больше суперкомпьютеров.

Концептуальная карта отечественной высокопроизводительной вычислительной системы «Пай-Шугуан» Изображение предоставлено Национальным центром метеорологической информации.

** «Застой» и Новый Путь**

В целом, суперкомпьютеры, состоящие из сотен или тысяч процессоров, составляют прочную основу для прогнозирования погоды, но все же есть вещи, которые невозможно или трудно сделать.

Например, тайфун. Наше предсказание тайфуна Дусуруи далеко от точности предсказания сильного дождя. Все основные методы прогнозирования тайфунов в мире используют динамические модели, которые моделируют движение атмосферы на основе законов физики атмосферы, включая гидродинамику и термодинамику, а затем предсказывают изменения в тайфунах.

В динамической модели много неточностей, из-за чего все вначале предсказывали траекторию движения Ду Суруи по-разному.Европейский центр среднесрочного прогноза погоды, признанный более авторитетным и точным в этой Суруи пойдет прямо к дельте Жемчужной реки.

На самом деле прогнозирование тайфунов всегда было мировой проблемой, потому что тайфун может претерпевать резкие изменения интенсивности за короткий промежуток времени, а его траектория непредсказуема из-за влияния многих факторов в очень большом пространственно-временном масштабе.

Это типичная хаотическая система.

Поэтому прогноз погоды, основанный на численном предсказании, превратился в комплекс противоречий, что дает ему огромные возможности для совершенствования, но весьма ограниченные — единственный способ приблизиться к точности для людей — это накопить опыт Собирая данные и конструируя больше и более сложные функции, но его предельные преимущества становятся все сильнее и сильнее.Больше данных не может значительно и всесторонне повысить точность прогнозов погоды на макро- и микромасштабах, в то время как общая стоимость вычислений продолжает расти.

На данный момент ситуация, похоже, зашла в тупик. Массивные данные, сложные алгоритмы и высокие требования к вычислительной мощности делают численные расчеты в некоторой степени узким местом, но кажутся ли эти три условия знакомыми?

Похоже на три элемента большой модели?

На самом деле, в материале внутреннего семинара по метеорологическим технологиям, увиденном Пинваном, некоторые эксперты прямо заявили, что искусственный интеллект и метеорологическая работа схожи по методологии.

Поскольку численные расчетные формулы не могут на самом деле исчерпать все причины и следствия во всей хаотической системе, почему бы не использовать метод нейронной сети для импорта в нее массивных данных, а компьютер сам найдет и выучит законы?

Это кажется неописуемым, но чрезвычайно загадочным и разумным объяснением.

ENIAC, первый электронный компьютер человечества, и EDSAC, первый компьютер, построенный по схеме фон Неймана, фактически использовались для проведения научных расчетов, связанных с метеорологией.Развитие метеорологии всегда шло в ногу с развитием информатики Прогресс тесно связан - высокопроизводительные вычисления способствовали решению сложных задач в метеорологической науке, и после выпрыгивания из общего вычислительного мышления нейронные сети и большие модели кажутся очень интересным и разумным направлением для метеорологии и прогнозирования погоды. .

На самом деле Центральная метеорологическая обсерватория сослалась на результаты масштабной модели искусственного интеллекта для прогноза траектории тайфуна Дусуруи.

Другой путь

Большие метеорологические модели не появились с ростом популярности генеративного ИИ в конце прошлого года.Было много больших моделей, которые используют мощные вычислительные мощности, огромные объемы данных и различные архитектуры глубокого обучения для предсказания погоды.Наиболее известные из них за рубежом — Nvidia FourCastNet, DeepMind, Google GraphCast и Microsoft ClimaX, последними отечественными моделями являются модель Huawei Pangu и модель Shanghai Fengwu, последняя из Шанхайской лаборатории искусственного интеллекта.

И Pangu, и Fengwu использовали набор данных повторного метеорологического анализа Европейского метеорологического центра под названием ERA5, который предоставил в общей сложности 2000 ТБ различных метеорологических данных, охватывающих 37 изобарических поверхностей на поверхности земли за последние 60 лет.

Эти данные предоставляют пространство для игры с большими моделями — вместо использования точных и соответствующих числовых расчетов ИИ может более гибко анализировать различные сложные взаимосвязи между данными.

Пангу построил трехмерную структуру-трансформер для интеграции сложных интерактивных физических процессов океана, атмосферы и суши.В прошлом большие модели климата, такие как FourCastNet от Nvidia, использовали двумерную структуру — каждая изобарическая поверхность представляет собой слой, очевидно, там 2D-плоскость никак не может лучше отразить процесс метеорологических изменений.

Согласно материалам, увиденным Pinwan, Huawei использовала кодирование абсолютного положения в этой 3D-структуре, что значительно ускорило сходимость модели.Кроме того, Huawei обучила четыре базовые модели, соответствующие 1 часу, 3 часам, 6 часам и 24 часам соответственно. Почасовой прогноз, метод слияния во временной области значительно снижает ошибку, вызванную небольшим размером шага и несколькими итерациями в предыдущей модели.

Для прогноза старого и сложного тайфуна Пангу использовал среднее давление на уровне моря в качестве ориентира для прогноза, и результат был лучше, чем у Европейского метеорологического агентства.

Идея большой модели Fengwu состоит в том, чтобы использовать 6 независимых энкодеров для кодирования и декодирования различных метеорологических параметров (влажность, ветер, температура и т. д.), а также использовать независимые трансформаторные сети для обучения между различными переменными.

В отличие от метода слияния во временной области Huawei для уменьшения количества ошибок, Fengwu разработал кэш-пространство для хранения и воспроизведения результатов процесса обучения, чтобы нейронная сеть могла адаптироваться к своим ошибкам, тем самым достигая лучших результатов прогнозирования.

Хотя результаты этих новых метеорологических крупномасштабных модельных прогнозов все еще являются предварительными, а опубликованные результаты лучше, чем традиционные методы численного прогноза по некоторым конкретным показателям, все еще необходимы всестороннее тестирование и оптимизация, но нет сомнения, что они представляют собой своего рода Новая парадигма радикально отличается от традиционного прогнозирования погоды.

В настоящее время крупномасштабная модель Huawei Pangu прошла предварительную коммерческую эксплуатацию в Европейском центре прогнозов погоды среднего радиуса действия, в то время как Fengwu претендует на звание самой точной глобальной модели прогноза погоды AI с высоким разрешением.38,7 км, лучше, чем 54,11 км Европейский центр среднесрочных прогнозов погоды.

Впереди долгая дорога

Грядут перемены. Большие погодные модели могут перевернуть парадигмы прогнозирования погоды во многих отношениях, например, в скорости. Fengwu использует графический процессор для генерации 37 уровней высокоточных результатов прогноза погоды с высоким разрешением для всех регионов мира на следующие 14 дней в течение 1 минуты, в то время как 7-дневный прогноз погоды Pangu генерируется всего за 9,8 секунды.

Таким образом, изменится система передачи данных о погоде в реальном времени и общая инфраструктура вычислительных мощностей, созданная для численных расчетов. По словам инсайдеров Метеорологического бюро, которым удалось узнать Пинвана, хотя он используется только в качестве справочного прогноза в краткосрочной, среднесрочной и долгосрочной перспективе, потенциал крупных метеорологических моделей, несомненно, огромен.

Теперь перед этими большими метеорологическими моделями могут стоять две основные проблемы: первая — настройка. Как правильно маркировать такие данные, как экстремальный климат в большой модели, является проблемой. Модель ИИ обладает сильной подгоночной способностью, поэтому в долгосрочном прогнозе могут возникать ошибки. Это можно назвать «иллюзией» большого метеорологическая модель.

Кроме того, нынешние крупномасштабные модели не имеют более глубокого отраслевого ноу-хау, а построение моделей выполняется учеными-компьютерщиками, а не экспертами-метеорологами, а это означает, что в этих вертикальных крупномасштабных моделях по-прежнему отсутствует «человеческая обратная связь». тюнинг.

Другой проблемой является обычная вычислительная мощность. Хотя моя страна занимает одно из первых мест в мире по развитию суперкомпьютеров, большая модель не использует общую вычислительную мощность традиционных суперкомпьютеров. Функционирование глубоких сетей требует крупномасштабных параллельных вычислений. Это высокопроизводительный графический процессор, и мы все еще застряли в этом отношении.

К счастью, стоимость вычислительной мощности, непосредственно связанной с большой моделью погоды, не высока.Согласно ситуации, изученной Pinwan, десятки видеокарт Nvidia (даже не самые продвинутые модели) могут быть завершены за несколько недель, максимум 2 месяцев Модельное обучение. Это также стало преимуществом перед традиционными моделями численного прогнозирования.

С благословения больших моделей погоды фраза «непредсказуемый» вскоре может стать ложным утверждением, и однажды, возможно, мы действительно сможем предсказать, откуда одновременно берутся порхающие бабочки и сильные ураганы.