За допомогою суперкомп’ютерів і великих моделей чи можна передбачити будь-яку метеорологічну катастрофу?

Невловимий метелик

У всьому світі метод прогнозування погоди називається чисельним розрахунком. Після збору достатньої кількості метеорологічних даних їх підставляють у складні рівняння, і результатом є так званий прогноз. Повторюючи цей процес, прогноз є безперервним.

За цими рівняннями стоять деякі надійні теорії, такі як рівняння руху рідини, термодинамічні рівняння та різні інтерфейси, рівняння обміну енергією повітря, води, наземного льоду тощо. Фізичні та хімічні закони, які вони представляють, були ретельно розраховані та перевірені.

Але прогноз погоди поки не зовсім точний. Цей вид числового прогнозування призначений для прогнозування майбутньої тенденції через зміни метеорологічних елементів, які відбулися, і на його точність серйозно впливає точність даних спостережень.

Більше того, зі зміною часових і просторових масштабів різко зросте складність метеорологічної системи: з одного боку, при аналізі причин погоди буде багато пропущеного, а з іншого, в даних буде більше помилок, що, у свою чергу, вплине на прогнозований результат.

І коли масштаб буде досить великим, погода увійде в хаотичний стан. Це не метафора. Метеорологічна система є типовою хаотичною системою. Теорія хаосу була вперше запропонована метеорологами в 1963 році.

Хаотична система означає, що дуже невеликі збурення системи можуть мати дуже різні наслідки — інша назва — ефект метелика, коли метелик змахує крилами в Каліфорнії, а в Техасі та Мексиканській затоці здіймається шторм.

Це вимагає, щоб початковий розрахунок значення був дуже точним, але ми всі знаємо, що абсолютної точності не існує, не кажучи вже про те, що в умовах таких складних метеорологічних змін потрібно зібрати занадто багато типів і обсягів даних. .

Людське передбачення погоди схоже на спробу дізнатися про зв’язок між крилами метелика та траєкторією руху ока шторму. Це чудово, часом безнадійно та навіть езотерично.

З одного боку, все більш і більш складні функціональні рівняння будуються з точки зору точності, і якомога більше даних збирається через коротші проміжки часу, з іншого боку, покладаються на майже «інтуїтивний» досвід.

До цього дня всі результати прогнозу погоди все ще визначаються двома частинами - результатом числового розрахунку та судженням синоптика. Прогнозування погоди все ще сильно залежить від людського досвіду.

Певною мірою люди використовують власні почуття, щоб боротися з хаосом природи.

суперкомп'ютер

Таким чином, метеорологічне прогнозування має дивну характеристику, тому що, поки людина покладається на людський досвід і відчуття, завжди будуть невдачі, особливо в деяких екстремальних кліматичних умовах, оскільки дані про екстремальні кліматичні умови надто мізерні, що спричиняє відсутність узгодженого досвіду. цього.

Однак, оскільки точність числового прогнозу покращилася за останні кілька десятиліть, поточний прогноз погоди може досягати досить точного рівня в багатьох випадках.Середньостроковий прогноз зручності використання становить близько 10 днів, а короткостроковий прогноз — для наприклад, коли прийде холодне повітря.Наскільки знизиться температура, люди змогли дуже точно судити. Це пояснюється тим, що хоча загальні глобальні кліматичні зміни є хаотичними, на багатьох мікроскопічних рівнях, таких як утворення повітряних мас, зміни атмосферного тиску та траєкторія руху хмар, описуються яскраво й точно все більшою кількістю функцій і формули .

Наприклад, нещодавні проливні дощі в Пекіні, Тяньцзіні та Хебеї.

З 29 липня по 1 серпня тайфун "Дусуруй" рухався на північ із великою кількістю водяної пари та був перехоплений високим тиском у Північному Китаї. У регіоні Пекін-Тяньцзінь-Хебей пройшли надзвичайно рідкісні в історії зливи.

Крайність відображається в кількох аспектах, перший – це велика кількість. Кількість опадів у повіті Ліньчен, Сінтай, провінція Хебей, перевищує 1000 міліметрів, або 1 метр, що дорівнює загальній кількості опадів за перші два роки тут. По-друге, він тривав майже чотири дні, починаючи з 29 липня, і навіть у Пекіні йшов безперервний дощ протягом 83 годин. У Хебеї, Шеньсі, Хенані та інших місцях також два дні поспіль йшов сильний дощ. Нарешті, він має широкий діапазон впливу, і весь Північний Китай оповитий дощем.

Синоптики спрогнозували цей екстремальний дощ майже з повною точністю. За цим стоїть великий прогрес у прогнозуванні погоди за останні кілька десятиліть: чисельні розрахунки розвинулися від простого набору рівнянь до одного з найскладніших алгоритмів у світі. Зрештою, чим більше даних і алгоритмів використовується для фіксації непередбачуваних погода Ну, а щоб мати справу з цією величезною кількістю даних і складними алгоритмами, були представлені суперкомп’ютери.

Багато людей можуть не мати уявлення про величезну кількість даних про погоду, але ось цифра: щодня дані про погоду в Китаї зростають до 40 ТБ. моя країна створила повний набір тривимірної мережі спостереження за погодою з понад 70 000 метеорологічних станцій спостереження, які охоплюють 99,6% міст і сіл країни. Час передачі даних скорочено з 1 години в минулому до 1 хвилини останнім часом років.

Самостійно працювати з такою величезною кількістю даних досить важко, але майже неможливо поєднати їх із числовими рівняннями розрахунку — складні диференціальні рівняння в частинних похідних і обчислення з плаваючою комою вимагають багато обчислень.Енергія, особливо прогноз погоди, також вимагає надзвичайно високої своєчасності.За різних обмежень лише суперкомп’ютери можуть задовольнити попит.

На щастя, Китай займає перше місце в цьому плані.

Суперкомп’ютери завжди були візитною карткою Китаю. Наприклад, у Китаї є 162 із 500 найшвидших суперкомп’ютерів у світі. Іншим прикладом є те, що я тричі вигравав найвищу нагороду за міжнародні суперкомп’ютерні програми — премію Гордона Белла. Два з них — The два відзначені нагородами контенту "Atmospheric Dynamics Framework" і "Earthquake Simulation" обидва пов'язані з метеорологією.

Суперкомп'ютер, який зараз використовується в Китаї, називається "Pai-Dawn". Його пікова швидкість обчислень досягає 8189,5 трильйонів разів на секунду, а його ємність пам'яті досягає 23088 ТБ. Шкала підскочила на третє місце в світі в галузі метеорології.

Це ще не кінець. Зі стрімким зростанням обсягу даних і зношеності апаратного забезпечення термін служби суперкомп’ютерів здебільшого становить від 6 до 8 років. Тому після «Pai-Dawn» один за одним також запускаються нові суперкомп’ютери. Було встановлено та створено першу цьогорічну партію нової підсистеми високопродуктивних обчислень (HPC) державного рівня 1. Її продуктивність була додатково покращена порівняно з Pai-Dawning, досягнувши 13 ПФлопс, а її ємність пам’яті також зросла до 76PB.

На підході ще більше суперкомп’ютерів.

Концептуальна карта вітчизняної високопродуктивної комп'ютерної системи "Пай-Шугуан", зображення надійшло з Національного центру метеорологічної інформації.

** «Застій» і новий шлях**

Загалом, суперкомп’ютери, що складаються з сотень чи тисяч процесорів, становлять міцну основу для прогнозування погоди, але все ще є речі, які неможливо або важко зробити.

Такий як тайфун. Наші прогнози щодо тайфуну Дусуруї далекі від точності прогнозів сильних дощів. Основні методи прогнозування тайфунів у світі використовують динамічні моделі, які імітують рух атмосфери на основі законів фізики атмосфери, включаючи динаміку рідини та термодинаміку, а потім передбачають зміни в тайфунах.

У динамічній моделі багато неточностей, через що на початку кожен передбачав шлях Ду Суруї різними способами.Європейський центр середньострокового прогнозу погоди, який визнаний більш авторитетним і точним у цій галузі, свого часу вважав, що Ду Суруі пішов би прямо до дельти Перлової річки.

Насправді, прогнозування тайфуну завжди було світовою проблемою, оскільки тайфун може зазнати різких змін в інтенсивності за короткий проміжок часу, а його шлях є непередбачуваним через вплив багатьох факторів у дуже великому часово-просторовому масштабі.

Це типова хаотична система.

Таким чином, прогноз погоди, заснований на числовому передбаченні, став комплексом суперечностей, що робить його величезним простором для вдосконалення, але він дуже обмежений. Єдиний спосіб для людей наблизитися до точності – це накопичувати досвід. більш складні функції, але його граничні переваги стають все сильнішими.Більша кількість даних не може істотно та всебічно підвищити точність прогнозів погоди на макро- та мікромасштабах, тоді як загальні витрати на обчислення продовжують зростати.

На цьому етапі ситуація, здається, зайшла в глухий кут. Великі дані, складні алгоритми та високі вимоги до обчислювальної потужності роблять чисельні обчислення певною мірою вузьким місцем, але чи здаються ці три умови знайомими?

Здається трохи схожим на три елементи великої моделі?

Насправді в матеріалах внутрішнього семінару з метеорологічних технологій, які бачив Пінван, деякі експерти прямо заявили, що штучний інтелект і метеорологічна робота схожі за методологією.

Оскільки формули числового розрахунку не можуть фактично вичерпати всі причини та наслідки у всій хаотичній системі, чому б не використати метод нейронної мережі, щоб імпортувати в неї масивні дані, і дозволити комп’ютеру знаходити та вивчати закони самостійно?

Це здається невимовним, але надзвичайно загадковим і розумним поясненням.

ENIAC, перший електронний комп’ютер людини, і EDSAC, перший комп’ютер, побудований за структурою фон Неймана, фактично використовувалися для виконання наукових обчислень, пов’язаних з метеорологією. Розвиток метеорології завжди йшов у руслі розвитку комп’ютерів. Прогрес тісно пов'язаний - високопродуктивні обчислення сприяли вирішенню складних проблем у метеорологічній науці, і після виходу із загальної ідеї обчислювальної техніки нейронні мережі та великі моделі здаються дуже цікавим і розумним напрямком для метеорології та погоди прогнозування.

Насправді Центральна метеорологічна обсерваторія послалася на результати масштабної моделі штучного інтелекту для прогнозування траєкторії тайфуну Дусуруї.

Інший спосіб

Великі метеорологічні моделі не з’явилися разом із популярністю генеративного штучного інтелекту наприкінці минулого року. Було багато великих моделей, які використовують потужну обчислювальну потужність, величезні обсяги даних і різні архітектури глибокого навчання для прогнозування погоди. Більш відомі з них за кордоном — Nvidia FourCastNet, DeepMind, Google GraphCast і Microsoft ClimaX, останні вітчизняні моделі — модель Huawei Pangu і модель Shanghai Fengwu, остання від Шанхайської лабораторії штучного інтелекту.

І Pangu, і Fengwu використовували набір метеорологічних даних Європейського метеорологічного центру під назвою ERA5, який надав загалом 2000 ТБ різних метеорологічних даних, що охоплюють 37 ізобаричних поверхонь на поверхні землі за останні 60 років.

Ці дані надають простір для відтворення великих моделей — замість використання точних і відповідних числових обчислень штучний інтелект може більш гнучко досліджувати різні складні зв’язки між даними.

Pangu побудував структуру 3D-трансформера для інтеграції складних інтерактивних фізичних процесів океану, атмосфери та суші. У минулому великі кліматичні моделі, такі як FourCastNet від Nvidia, використовували 2D-структуру — кожна ізобарна поверхня є шаром, очевидно, там 2D площина не може краще відображати процес метеорологічних змін.

Згідно з матеріалами, які бачив Pinwan, Huawei використовувала кодування абсолютної позиції в цій 3D-структурі, що значно прискорило конвергенцію моделі.Крім того, Huawei навчила чотири базові моделі, що відповідають 1 годині, 3 годинам, 6 годинам і 24 годинам відповідно. Погодинний прогноз, метод злиття у часовій області значно зменшує помилку, спричинену малим розміром кроку та кількома ітераціями в попередній моделі.

Для прогнозу старого та складного тайфуну Пангу використовував середній тиск на рівні моря як еталон прогнозу, і результат був кращим, ніж результат Європейського метеорологічного агентства.

Ідея великої моделі Fengwu полягає у використанні 6 незалежних кодувальників для кодування та декодування різних метеорологічних параметрів (вологість, вітер, температура тощо), а також використання незалежних мереж трансформаторів для навчання між різними змінними.

На відміну від методу об’єднання у часовій області Huawei для зменшення помилок, Fengwu розробив кеш-пам’ять для зберігання та відтворення результатів процесу навчання, щоб нейронна мережа могла адаптуватися до своїх помилок, таким чином досягаючи кращих результатів прогнозування.

Незважаючи на те, що результати цих нових прогнозів метеорологічної великомасштабної моделі все ще є попередніми, а опубліковані результати кращі, ніж традиційні чисельні методи прогнозування за деякими конкретними показниками, все ще необхідні всебічне тестування та оптимізація, але немає сумніву, що вони представляють різновид Нова парадигма, яка радикально відрізняється від традиційного прогнозу погоди.

Наразі широкомасштабна модель Pangu від Huawei досягла попередньої бізнес-операції в Європейському центрі середнього прогнозу погоди, тоді як Fengwu стверджує, що є найточнішою глобальною моделлю прогнозу погоди з високою роздільною здатністю штучного інтелекту.38,7 кілометра, краще, ніж 54,11 кілометра Європейський центр середньострокових прогнозів погоди.

Довга дорога попереду

Наближаються зміни. Великі погодні моделі мають потенціал змінити парадигми прогнозування погоди багатьма способами, наприклад швидкістю. Fengwu використовує графічний процесор для створення 37 рівнів високоточних результатів прогнозу погоди з високою роздільною здатністю для всіх регіонів світу протягом наступних 14 днів протягом 1 хвилини, тоді як 7-денний прогноз погоди Pangu створює лише 9,8 секунди.

Тому система передачі даних про погоду в реальному часі та загальна інфраструктура обчислювальної потужності, створена для чисельних розрахунків, зміняться. За словами інсайдерів Метеорологічного бюро, які дізнався Pinwan, хоча він використовується лише як орієнтир для прогнозу в короткостроковій перспективі, у середньостроковій і довгостроковій перспективі, потенціал великих моделей погоди, безсумнівно, величезний.

Тепер у цих великих метеорологічних моделей можуть виникнути дві основні проблеми.Перша – це налаштування. Як правильно позначити такі дані, як екстремальний клімат у великій моделі, є проблемою. Модель AI має сильну здатність підбирати, тому в довгостроковому прогнозі можуть виникнути помилки. Це можна назвати «ілюзією» великого метеорологічна модель.

Крім того, нинішні великомасштабні моделі не мають глибшого галузевого ноу-хау, а розробкою моделей займаються інформатики, а не метеорологи, що означає, що цим вертикальним великомасштабним моделям все ще бракує «людського зворотного зв’язку». тюнінг.

Іншою проблемою є звичайна обчислювальна потужність. Хоча моя країна займає одне з перших місць у світі за розвитком суперкомп’ютерів, велика модель не використовує загальну обчислювальну потужність традиційних суперкомп’ютерів. Робота глибоких мереж вимагає великомасштабних паралельних обчислень. Це високопродуктивний графічний процесор, і ми все ще застрягли в цьому відношенні.

На щастя, вартість обчислювальної потужності, безпосередньо задіяної у великій моделі погоди, невисока.Згідно з ситуацією, яку дізнався Пінван, десятки відеокарт Nvidia (навіть не найсучасніші моделі) можуть бути завершені за кілька тижнів, максимум за 2 місяців Модельне навчання. Це також стало перевагою перед традиційними моделями числового прогнозування.

З благословенням великих метеорологічних моделей фраза «непередбачуваний» незабаром може стати помилковою тезою, і одного разу, можливо, ми справді зможемо передбачити, звідки водночас беруться пурхання метеликів і жорстокі урагани. Куди ти йдеш.