Süper bilgisayarlar ve büyük modeller ile herhangi bir meteorolojik felaket tahmin edilebilir mi?

Zor Kelebek

Dünya çapında hava tahmini yöntemine sayısal hesaplama denir.Yeterli ve yeterince zengin meteorolojik veri toplandıktan sonra, bunlar karmaşık denklemlere dönüştürülür ve sonuç sözde tahmindir.Bu işlemi tekrarlayarak, tahmin süreklidir.

Bu denklemlerin arkasında akışkan hareket denklemleri, termodinamik denklemler ve farklı arayüzler, hava, su, kara buzu malzeme enerji değişim denklemleri gibi bazı sağlam teoriler vardır. Temsil ettikleri fiziksel ve kimyasal yasalar titizlikle hesaplanmış ve doğrulanmıştır.

Ancak hava tahmini hala tam olarak doğru değil. Bu tür bir sayısal tahmin, meydana gelen meteorolojik unsurlardaki değişiklikler aracılığıyla gelecekteki eğilimi tahmin etmektir ve doğruluğu, gözlem verilerinin doğruluğundan ciddi şekilde etkilenir.

Ayrıca zaman ve mekan ölçeklerinin değişmesiyle birlikte meteorolojik sistemin karmaşıklığı dramatik bir şekilde artacaktır.Bir yandan havanın sebeplerini incelerken bir yandan da gözden kaçan çok şey olacaktır. verilerde daha fazla hata olacak ve bu da tahminin sonucunu etkileyecektir.

Ve ölçek yeterince büyük olduğunda, hava kaotik bir duruma girecek. Bu bir mecaz değildir.Meteorolojik sistem tipik bir kaotik sistemdir.Kaos teorisi ilk olarak 1963 yılında meteorologlar tarafından ortaya atılmıştır.

Kaotik bir sistem, sistemdeki çok küçük tedirginliklerin çok farklı sonuçlara yol açabileceği anlamına gelir - bunun bir başka adı da kelebek etkisidir; Kaliforniya'da bir kelebeğin kanatlarını çırpması ve Teksas ile Meksika Körfezi'nde bir fırtınanın başlaması.

Bu, değerin ilk hesaplamasının çok doğru olmasını gerektirir, ancak hepimiz biliyoruz ki mutlak doğruluk yoktur, bu tür karmaşık meteorolojik hareketler karşısında toplanacak çok fazla türde ve miktarda veri olduğundan bahsetmeye bile gerek yok. .

İnsanın hava tahmini, bir kelebeğin kanatları ile bir fırtınanın gözünün yörüngesi arasındaki ilişkiyi öğrenmeye çalışmak gibidir, muhteşem, bazen umutsuz ve hatta ezoteriktir.

Bir yandan doğruluk açısından gittikçe daha karmaşık fonksiyon denklemleri kuruluyor ve daha kısa aralıklarla mümkün olduğunca çok veri toplanıyor, diğer yandan neredeyse "sezgisel" bir deneyime güveniliyor.

Bugüne kadar, tüm hava tahmini sonuçları hala iki kısım tarafından belirleniyor - sayısal hesaplamanın sonucu ve tahmincinin yargısı. Hava tahmini hala büyük ölçüde insan deneyimine bağlıdır.

Bir dereceye kadar insanoğlu, doğanın kaosuna karşı savaşmak için kendi duygularını kullanıyor.

Süper bilgisayar

Bu nedenle, meteorolojik tahmin tuhaf bir özellik sunar çünkü insan deneyimine ve hislerine güvenildiği sürece, özellikle bazı aşırı iklimlerde her zaman başarısızlıklar olacaktır, çünkü aşırı iklimlere ilişkin veriler çok azdır ve bu da insanın tutarlı bir deneyime sahip olmamasına neden olur. onun

Bununla birlikte, son birkaç on yılda sayısal tahminin doğruluğu arttığından, mevcut hava durumu tahmini çoğu durumda oldukça doğru bir düzeye ulaşabilir.Orta vadeli kullanılabilirlik tahmini 10 güne yakındır ve kısa vadeli tahmin - Örneğin soğuk havanın ne zaman geleceği, sıcaklığın ne kadar düşeceğini insanlar çok doğru bir şekilde yargılayabilmiştir. Bunun nedeni, genel küresel iklim ortamı değişikliklerinin kaotik olmasına rağmen, hava kütlelerinin oluşumu, hava basıncındaki değişiklikler ve bulut hareketlerinin yörüngesi gibi birçok mikroskobik düzeyde, giderek daha fazla işlev tarafından canlı ve doğru bir şekilde tanımlanıyor olmasıdır. formüller

Örneğin, Pekin, Tianjin ve Hebei'deki son sağanak yağmurlar.

29 Temmuz'dan 1 Ağustos'a kadar Dusurui Tayfunu bol su buharı ile kuzeye doğru hareket etti ve Kuzey Çin'de yüksek basınç tarafından yakalandı.Tarihte ender görülen şiddetli yağmur fırtınaları Pekin-Tianjin-Hebei bölgesinde meydana geldi.

Aşırı uç birkaç yönden yansıtılır, ilki büyük miktardır. Hebei Eyaleti, Xingtai, Lincheng İlçesindeki yağış 1.000 milimetreyi veya 1 metreyi aşıyor, bu da buradaki ilk iki yıldaki toplam yağış miktarına eşit. İkincisi, 29 Temmuz'dan itibaren yaklaşık dört gün sürdü ve Pekin'de bile 83 saat aralıksız yağmur yağdı. Hebei, Shaanxi, Henan ve diğer yerler de iki gün üst üste şiddetli yağmur yaşadı. Son olarak, geniş bir etki alanına sahiptir ve Kuzey Çin'in tamamı yağmurla örtülmüştür.

Tahminciler bu aşırı yağmuru neredeyse tam bir doğrulukla tahmin ettiler. Bunun arkasında, son birkaç on yılda hava tahmininin büyük ilerlemesi var - sayısal hesaplama, basit bir denklem setinden dünyanın en karmaşık algoritmalarından birine dönüştü. Sonuçta, öngörülemeyen verileri yakalamak için daha fazla veri ve algoritma kullanılıyor. Peki, bu büyük miktarda veri ve karmaşık algoritmalarla başa çıkmak için süper bilgisayarlar tanıtıldı.

Birçok kişinin büyük miktarda hava durumu verisi hakkında bir fikri olmayabilir, ancak bir rakam var: Çin'in hava durumu verileri her gün 40 TB'a kadar çıkıyor. ülkem, ülkenin kasaba ve köylerinin %99,6'sını kapsayan 70.000'den fazla meteorolojik gözlem istasyonu ile eksiksiz bir üç boyutlu hava gözlem ağı seti kurmuştur.Veri iletim süresi geçmişte 1 saatten son zamanlarda 1 dakikaya indirilmiştir. yıl.

Bu kadar büyük miktarda veriyle başa çıkmak oldukça zordur, ancak bunları sayısal hesaplama denklemleriyle birleştirmek neredeyse imkansızdır - karmaşık kısmi diferansiyel denklemler ve kayan nokta hesaplamaları çok fazla hesaplama gerektirir.Güç, özellikle hava tahmini, aynı zamanda son derece yüksek zamanlılık gerektirir.Çeşitli kısıtlamalar altında, yalnızca süper bilgisayarlar talebi karşılayabilir.

Neyse ki Çin bu konuda dünyanın en ön saflarında yer alıyor.

Süper bilgisayar her zaman Çin'in kartviziti olmuştur.Örneğin, Çin dünyanın en hızlı 500 süper bilgisayarının 162'sine sahiptir.Başka bir örnek de uluslararası süperbilgisayar uygulamaları için en yüksek ödülü üç kez Gordon Bell Ödülü'nü kazandım.Bunlardan ikisi The ödüllü iki içerik "Atmospheric Dynamics Framework" ve "Earthquake Simulation" meteoroloji ile ilgilidir.

Şu anda Çin'de kullanılan süper bilgisayarın adı "Pai-Dawn". En yüksek işlem hızı saniyede 8189,5 trilyon kez, depolama kapasitesi 23088 TB'a ulaşıyor. Ölçek, meteoroloji alanında dünyada üçüncü sıraya sıçradı.

Bu iş bitmedi.Veri hacminin hızla artması ve donanımın aşınması ve yıpranması ile süper bilgisayarların hizmet ömrü çoğunlukla 6 ila 8 yıldır.Bu nedenle, "Pai-Dawn" dan sonra yeni süper bilgisayarlar da birbiri ardına piyasaya sürülüyor. Bu yılın ilk A partisi yeni durum düzeyinde yüksek performanslı bilgi işlem (HPC) alt sistemi 1 kuruldu ve inşa edildi. Performansı "Pai-Dawning" ile karşılaştırıldığında daha da iyileştirildi, 13PFlops'a ulaştı ve depolama kapasitesi de arttı. 76PB.

Daha fazla süper bilgisayar yolda.

Yerli yüksek performanslı bilgisayar sistemi "Pai-Shuguang" konsept haritası Resim Ulusal Meteorolojik Bilgi Merkezi'nden geliyor.

** "Durgunluk" ve Yeni Yol**

Genel olarak, yüzlerce veya binlerce CPU'dan oluşan süper hesaplama, hava tahmini için sağlam bir temel oluşturur, ancak yine de yapılamayan veya yapılması zor olan şeyler vardır.

Tayfun gibi. Dusurui Tayfunu tahminimiz, şiddetli yağmur tahmininin doğruluğundan uzaktır. Dünyadaki ana akım tayfun tahmin yöntemlerinin tümü, akışkan dinamiği ve termodinamik de dahil olmak üzere atmosfer fiziği yasalarına dayalı olarak atmosferik hareketi simüle eden ve ardından tayfunlardaki değişiklikleri tahmin eden dinamik modeller kullanır.

Başlangıçta herkesin Du Surui'nin yolunu çeşitli şekillerde tahmin etmesine neden olan dinamik modelde birçok yanlışlık var.Bu alanda daha yetkili ve doğru olarak tanınan Avrupa Orta Menzilli Hava Tahmin Merkezi, bir zamanlar Du'nun Surui doğruca Pearl River Deltasına gidecekti.

Aslında, tayfun tahmini her zaman dünya çapında bir sorun olmuştur, çünkü bir tayfun kısa bir süre içinde şiddetli yoğunluk değişikliklerine uğrayabilir ve çok büyük bir zaman-uzay ölçeğinde birçok faktörün etkisi nedeniyle yolu tahmin edilemez.

Tipik bir kaotik sistemdir.

Bu nedenle, sayısal tahmine dayalı hava tahmini, bir çelişkiler kompleksi haline geldi, bu da onun iyileştirilmesi için büyük bir alana sahip olmasına neden oluyor, ancak çok sınırlı - insanların doğruluğa yaklaşmasının tek yolu, deneyim biriktirmektir. daha karmaşık işlevler, ancak marjinal faydaları gittikçe güçleniyor.Daha fazla veri, makro ve mikro ölçeklerde hava tahminlerinin doğruluğunu büyük ölçüde ve kapsamlı bir şekilde iyileştiremezken, genel Bilgi işlem maliyeti artmaya devam ediyor.

Bu noktada durum çıkmaza girmiş görünüyor. Devasa veriler, karmaşık algoritmalar ve yüksek bilgi işlem gücü gereksinimleri, sayısal hesaplamaları bir dereceye kadar darboğaz haline getiriyor, ancak bu üç koşul tanıdık geliyor mu?

Büyük bir modelin üç unsuru gibi mi görünüyor?

Aslında, Pinwan tarafından görülen meteoroloji teknolojisi üzerine bir dahili seminerin materyalinde, bazı uzmanlar doğrudan yapay zeka ve meteorolojik çalışmanın metodoloji açısından benzer olduğunu beyan ettiler.

Sayısal hesaplama formülleri tüm kaotik sistemdeki tüm nedenleri ve sonuçları gerçekten tüketemeyeceğine göre, neden sinir ağı yöntemini kullanarak büyük miktarda veriyi sisteme aktarmıyor ve bilgisayarın yasaları kendi kendine bulup öğrenmesine izin vermiyorsunuz?

Bu tarif edilemez, ancak son derece gizemli ve makul bir açıklama gibi görünüyor.

İnsanoğlunun ilk elektronik bilgisayarı olan ENIAC ve von Neumann yapısına göre yapılmış ilk bilgisayar olan EDSAC aslında meteoroloji ile ilgili bilimsel hesaplamaları yapmak için kullanılmıştı.Meteorolojinin gelişimi her zaman bilgisayarın gelişimi ile paralel olmuştur. İlerleme yakından bağlantılıdır - yüksek performanslı bilgi işlem, meteoroloji bilimindeki karmaşık sorunların çözümünü desteklemiştir ve genel bilgi işlem fikrinin dışına çıktıktan sonra, sinir ağları ve büyük modeller meteoroloji ve hava durumu için çok ilginç ve makul bir yön gibi görünmektedir. tahmin

Aslında, Merkezi Meteoroloji Gözlemevi, Dusurui Tayfunu'nun yörüngesinin tahmini için yapay zekanın büyük ölçekli modelinin sonuçlarına atıfta bulundu.

Diğer yol

Büyük meteorolojik modeller, geçen yılın sonunda üretici yapay zekanın popülaritesi ile ortaya çıkmadı. Hava durumunu tahmin etmek için güçlü bilgi işlem gücü, büyük miktarda veri ve çeşitli derin öğrenme mimarileri kullanan birçok büyük model vardı. Daha ünlü olanlar yurtdışında Nvidia FourCastNet, DeepMind, Google'ın GraphCast ve Microsoft'un ClimaX'i, en son yerli modeller ise Huawei Pangu modeli ve ikincisi Şanghay Yapay Zeka Laboratuvarı'ndan olan Shanghai Fengwu modelidir.

Hem Pangu hem de Fengwu, Avrupa Meteoroloji Merkezi'nin son 60 yılda dünya yüzeyindeki 37 izobarik yüzeyi kapsayan toplam 2000 TB çeşitli meteorolojik veri sağlayan ERA5 adlı meteorolojik yeniden analiz veri setini kullandı.

Bu veriler, büyük modellerin oynaması için bir alan sağlar - hassas ve karşılık gelen sayısal hesaplamalar kullanmak yerine yapay zeka, veriler arasındaki çeşitli karmaşık ilişkileri daha esnek bir şekilde inceleyebilir.

Pangu, okyanusun, atmosferin ve karanın karmaşık etkileşimli fiziksel süreçlerini entegre etmek için bir 3B transformatör yapısı inşa etti. 2B uçağın meteorolojik değişim sürecini daha iyi yansıtması mümkün değildir.

Pinwan'ın gördüğü materyallere göre Huawei, bu 3 boyutlu yapıda mutlak konum kodlaması kullanmış ve bu da modelin yakınsamasını önemli ölçüde hızlandırmıştır.Ayrıca Huawei, sırasıyla 1 saat, 3 saat, 6 saat ve 24 saate karşılık gelen dört temel modeli eğitmiştir. Saatlik tahmin, zaman alanı füzyon yöntemi, önceki modeldeki küçük adım boyutunun ve çoklu yinelemelerin neden olduğu hatayı önemli ölçüde azaltır.

Eski ve zorlu tayfunun tahmini için Pangu, tahmin kriteri olarak ortalama deniz seviyesi basıncını kullandı ve sonuç, Avrupa Meteoroloji Ajansı'nınkinden daha iyi oldu.

Fengwu büyük modelinin fikri, farklı meteorolojik parametreleri (nem, rüzgar, sıcaklık vb.) kodlamak ve çözmek için 6 bağımsız kodlayıcı kullanmak ve farklı değişkenler arasında öğrenmek için bağımsız trafo ağlarını kullanmaktır.

Hataları azaltmak için Huawei'nin zaman alanı birleştirme yönteminden farklı olarak Fengwu, eğitim sürecinin sonuçlarını depolamak ve yeniden oynatmak için bir önbellek alanı tasarladı, böylece sinir ağı kendi hatalarına uyum sağlayabilir ve böylece daha iyi tahmin sonuçları elde edebilir.

Bu yeni meteorolojik büyük ölçekli model tahminlerinin sonuçları henüz ön hazırlık niteliğinde olmasına ve yayınlanan sonuçların bazı spesifik göstergelerde geleneksel sayısal tahmin yöntemlerinden daha iyi olmasına rağmen, kapsamlı test ve optimizasyona hala ihtiyaç duyulmaktadır, ancak bunların bir tür temsil ettiğine şüphe yoktur. Geleneksel hava tahmininden kökten farklı yeni bir paradigma.

Şu anda, Huawei'nin Pangu büyük ölçekli modeli, Avrupa orta menzilli hava tahmin merkezinde ön işletme operasyonunu gerçekleştirirken, Fengwu en doğru küresel yüksek çözünürlüklü yapay zeka hava tahmin modeli olduğunu iddia ediyor. Avrupa Orta Menzilli Hava Tahminleri Merkezi.

Önümüzde Uzun Yol

Değişim geliyor. Büyük hava modelleri, hız gibi birçok yönden hava tahmini paradigmalarını alt üst etme potansiyeline sahiptir. Fengwu, önümüzdeki 14 gün içinde dünyanın tüm bölgeleri için 37 düzeyde yüksek hassasiyetli ve yüksek çözünürlüklü hava tahmini sonuçlarını 1 dakika içinde oluşturmak için bir GPU kullanırken, Pangu'nun 7 günlük hava tahmininin oluşturulması yalnızca 9,8 saniye sürer.

Gerçek zamanlı hava durumu veri iletim sistemi ve sayısal hesaplamalar için kurulan genel bilgi işlem gücü altyapısı bu nedenle değişecektir. Pinwan tarafından öğrenilen Meteoroloji Bürosu'nun içerdekilerine göre, yalnızca kısa vadede, orta ve uzun vadede bir tahmin referansı olarak kullanılsa da, büyük meteorolojik modellerin potansiyeli şüphesiz çok büyük.

Şimdi, bu büyük meteorolojik modellerin karşılaştığı iki ana sorun olabilir: Birincisi, ayarlamadır. Büyük modelde aşırı iklim gibi verilerin doğru bir şekilde etiketlenmesi bir sorundur. AI modelinin güçlü bir uydurma yeteneği vardır, bu nedenle uzun vadeli tahminde hatalar meydana gelebilir. Bu, büyük modelin "illüzyonu" olarak adlandırılabilir. meteorolojik model.

Ek olarak, mevcut büyük ölçekli modellerin daha derin bir endüstri bilgisi rezervi yoktur ve modellerin inşası meteoroloji uzmanları yerine bilgisayar bilimcileri tarafından yapılır, bu da bu dikey büyük ölçekli modellerin hala "insan geri bildiriminden" yoksun olduğu anlamına gelir. ayarlama.

Diğer bir sorun da sıradan bilgi işlem gücüdür.Ülkem süper bilgisayar geliştirme açısından dünyanın en iyileri arasında yer alsa da, büyük model geleneksel süper bilgisayarların genel bilgi işlem gücünü kullanmaz.Derin ağların çalışması büyük ölçekli paralel bilgi işlem gerektirir. Bu, yüksek performanslı GPU'dur ve bu konuda hala sıkışıp kaldık.

Neyse ki, doğrudan hava büyük modelinde yer alan bilgi işlem gücünün maliyeti yüksek değil.Pinwan'ın öğrendiği duruma göre, onlarca Nvidia ekran kartı (en gelişmiş modeller bile değil) birkaç haftada, en fazla 2 gün içinde tamamlanabiliyor. ay Model eğitimi. Bu aynı zamanda geleneksel sayısal tahmin modellerine göre bir avantaj haline geldi.

Büyük hava modellerinin nimetiyle, "öngörülemez" ifadesi kısa sürede yanlış bir önermeye dönüşebilir ve belki bir gün, belki de kanat çırpan kelebekler ile şiddetli kasırgaların aynı anda nereden geldiğini gerçekten tahmin edebiliriz. Nereye gidiyorsun?