Với siêu máy tính và mô hình lớn, có thể dự đoán bất kỳ thảm họa khí tượng nào không?

Bướm khó nắm bắt

Phương pháp dự báo thời tiết phổ biến trên thế giới được gọi là tính toán số, sau khi thu thập đủ và phong phú dữ liệu khí tượng, chúng được thay thế thành các phương trình phức tạp và kết quả là cái gọi là dự báo.

Đằng sau những phương trình này là một số lý thuyết vững chắc, chẳng hạn như phương trình chuyển động của chất lỏng, phương trình nhiệt động lực học và các giao diện khác nhau, không khí, nước, phương trình trao đổi năng lượng của vật liệu băng trên đất liền, v.v. Các định luật vật lý và hóa học mà chúng đại diện đã được tính toán và xác minh nghiêm ngặt.

Nhưng dự báo thời tiết vẫn không chính xác tuyệt đối. Loại dự đoán số này là để dự đoán xu hướng tương lai thông qua những thay đổi của các yếu tố khí tượng đã xảy ra và độ chính xác của nó bị ảnh hưởng nghiêm trọng bởi độ chính xác của dữ liệu quan sát.

Hơn nữa, với sự thay đổi của quy mô thời gian và không gian, độ phức tạp của hệ thống khí tượng sẽ tăng lên đáng kể, một mặt, khi phân tích nguyên nhân của thời tiết, sẽ có nhiều điều thiếu sót, mặt khác, sẽ có nhiều lỗi hơn trong dữ liệu, do đó ảnh hưởng đến dự đoán.

Và khi quy mô đủ lớn, thời tiết sẽ chuyển sang trạng thái hỗn loạn. Đây không phải là một phép ẩn dụ. Hệ thống khí tượng là một hệ thống hỗn loạn điển hình. Lý thuyết hỗn loạn lần đầu tiên được đề xuất bởi các nhà khí tượng học vào năm 1963.

Một hệ thống hỗn loạn có nghĩa là những nhiễu loạn rất nhỏ đối với hệ thống có thể gây ra những hậu quả cực kỳ khác nhau—tên gọi khác của nó là hiệu ứng cánh bướm, trong đó một con bướm đập cánh ở California và một cơn bão nổi lên ở Texas và Vịnh Mexico.

Điều này đòi hỏi việc tính toán giá trị ban đầu phải rất chính xác, nhưng chúng ta đều biết rằng không tồn tại độ chính xác tuyệt đối, chưa kể trước những biến động khí tượng phức tạp như vậy, có quá nhiều loại và số lượng dữ liệu cần thu thập. .

Dự báo thời tiết của con người cũng giống như việc cố gắng tìm hiểu mối quan hệ giữa cánh của một con bướm và quỹ đạo của mắt bão.

Một mặt, các phương trình hàm ngày càng phức tạp được xây dựng về độ chính xác và càng nhiều dữ liệu càng tốt được thu thập trong khoảng thời gian ngắn hơn, mặt khác, trải nghiệm gần như "trực quan" được dựa vào.

Cho đến ngày nay, mọi kết quả dự báo thời tiết vẫn được xác định bởi hai phần - kết quả tính toán bằng số, cộng với phán đoán của người dự báo. Dự báo thời tiết vẫn phụ thuộc nhiều vào kinh nghiệm của con người.

Ở một mức độ nào đó, con người đang dùng chính tình cảm của mình để chống lại sự hỗn loạn của tự nhiên.

siêu máy tính

Do đó, dự báo khí tượng có một đặc điểm kỳ lạ—bởi vì chỉ cần dựa vào kinh nghiệm và cảm giác của con người thì sẽ luôn có sai sót, đặc biệt là ở một số vùng khí hậu khắc nghiệt, bởi vì dữ liệu về các vùng khí hậu khắc nghiệt quá khan hiếm, khiến con người không có kinh nghiệm nhất quán của nó.

Tuy nhiên, do độ chính xác của dự đoán số đã được cải thiện trong vài thập kỷ qua, dự báo thời tiết hiện tại có thể đạt đến mức khá chính xác trong nhiều trường hợp.Dự báo khả năng sử dụng trung hạn là gần 10 ngày và dự báo ngắn hạn—cho ví dụ như khi nào không khí lạnh tràn về, nhiệt độ sẽ giảm bao nhiêu, con người đã có thể phán đoán rất chính xác. Điều này là do mặc dù những thay đổi môi trường khí hậu toàn cầu nói chung là hỗn loạn, nhưng ở nhiều cấp độ vi mô, chẳng hạn như sự hình thành các khối không khí, thay đổi áp suất không khí và quỹ đạo chuyển động của mây, ngày càng được mô tả một cách sinh động và chính xác bởi nhiều chức năng và công thức .

Ví dụ như trận mưa xối xả vừa qua ở Bắc Kinh, Thiên Tân và Hà Bắc.

Từ ngày 29/7 đến ngày 1/8, bão Dusurui di chuyển lên phía Bắc mang theo lượng hơi nước dồi dào và bị áp cao chặn lại ở phía Bắc Trung Quốc, đồng thời xảy ra các trận mưa bão cực đoan hiếm thấy trong lịch sử ở khu vực Bắc Kinh-Thiên Tân-Hà Bắc.

Cực đoan được phản ánh trong một số khía cạnh, đầu tiên là số lượng lớn. Lượng mưa ở huyện Lâm Thành, Hình Đài, tỉnh Hà Bắc vượt quá 1.000 milimét, tương đương với tổng lượng mưa trong hai năm đầu ở đây. Thứ hai, nó kéo dài gần 4 ngày kể từ ngày 29 tháng 7 và trời mưa liên tục trong 83 giờ ngay cả ở Bắc Kinh. Hà Bắc, Thiểm Tây, Hà Nam và những nơi khác cũng có mưa lớn trong hai ngày liên tiếp. Cuối cùng, nó có phạm vi ảnh hưởng rộng, và toàn bộ miền Bắc Trung Quốc chìm trong mưa.

Các nhà dự báo đã dự đoán trận mưa cực đoan này với độ chính xác gần như tuyệt đối. Đằng sau điều này là tiến bộ vượt bậc của dự báo thời tiết trong vài thập kỷ qua—việc tính toán bằng số đã phát triển từ một tập hợp các phương trình đơn giản thành một trong những thuật toán phức tạp nhất trên thế giới. thời tiết tốt, và để xử lý lượng dữ liệu khổng lồ và các thuật toán phức tạp này, các siêu máy tính đã ra đời.

Nhiều người có thể không có khái niệm về lượng dữ liệu thời tiết khổng lồ, nhưng đây là một con số: Mỗi ngày, dữ liệu thời tiết của Trung Quốc tăng lên tới 40 TB. đất nước tôi đã thiết lập một bộ mạng quan sát thời tiết ba chiều hoàn chỉnh, với hơn 70.000 trạm quan trắc khí tượng bao phủ 99,6% thị trấn và làng mạc của cả nước. Thời gian truyền dữ liệu đã được rút ngắn từ 1 giờ trước đây xuống còn 1 phút trong thời gian gần đây năm.

Khá khó để tự xử lý một lượng dữ liệu khổng lồ như vậy, nhưng hầu như không thể kết hợp chúng với các phương trình tính toán số—các phương trình vi phân từng phần phức tạp và phép tính dấu chấm động đòi hỏi nhiều tính năng, đặc biệt là dự báo thời tiết, cũng đòi hỏi tính kịp thời cực cao, dưới nhiều ràng buộc khác nhau, chỉ có siêu máy tính mới đáp ứng được.

May mắn thay, Trung Quốc đi đầu thế giới về vấn đề này.

Siêu máy tính luôn là con bài của Trung Quốc, ví dụ như Trung Quốc có 162 trong số 500 siêu máy tính nhanh nhất thế giới, một ví dụ khác là tôi đã ba lần giành được giải thưởng cao nhất về ứng dụng siêu máy tính quốc tế - Giải thưởng Gordon Bell. hai nội dung đoạt giải “Khung động lực học khí quyển” và “Mô phỏng động đất” đều liên quan đến khí tượng học.

Siêu máy tính hiện đang được sử dụng ở Trung Quốc có tên là "Pai-Dawn", tốc độ tính toán cao nhất của nó đạt 8189,5 nghìn tỷ lần mỗi giây và dung lượng lưu trữ đạt 23088TB, quy mô đã nhảy vọt lên vị trí thứ ba trên thế giới trong lĩnh vực khí tượng học.

Điều này vẫn chưa kết thúc. Với sự tăng trưởng nhanh chóng của khối lượng dữ liệu và sự hao mòn của phần cứng, tuổi thọ của các siêu máy tính hầu hết là từ 6 đến 8 năm, do đó, sau "Pai-Dawn", các siêu máy tính mới cũng lần lượt được ra mắt. Lô hệ thống con tính toán hiệu năng cao (HPC) cấp nhà nước 1 đầu tiên của năm nay đã được cài đặt và xây dựng. Hiệu suất của nó đã được cải thiện hơn nữa so với "Pai-Dawning", đạt 13PFlops và dung lượng lưu trữ của nó cũng tăng lên 76PB.

Nhiều siêu máy tính đang trên đường.

Bản đồ khái niệm của hệ thống máy tính hiệu suất cao trong nước "Pai-Shuguang". Hình ảnh do Trung tâm Thông tin Khí tượng Quốc gia cung cấp.

** "Trì trệ" và Con đường Mới**

Nhìn chung, siêu máy tính gồm hàng trăm, hàng nghìn CPU tạo thành nền tảng vững chắc cho dự báo thời tiết, nhưng vẫn có những thứ chưa thể làm được hoặc rất khó làm.

Chẳng hạn như bão. Dự đoán của chúng tôi về cơn bão Dusurui còn lâu mới chính xác như dự đoán về mưa lớn. Các phương pháp dự báo bão dòng chính trên thế giới đều sử dụng các mô hình động lực học, mô phỏng chuyển động của khí quyển dựa trên các quy luật vật lý khí quyển, bao gồm động lực học chất lưu và nhiệt động lực học, từ đó dự đoán diễn biến của bão.

Có nhiều điểm không chính xác trong mô hình động lực học, điều này khiến mọi người ngay từ đầu đã dự đoán đường đi của Du Surui theo nhiều cách khác nhau, Trung tâm Dự báo Thời tiết Tầm trung Châu Âu, được công nhận là có thẩm quyền và chính xác hơn trong lĩnh vực này, từng tin rằng Du Surui sẽ đi thẳng đến Châu thổ Châu Giang.

Trên thực tế, dự báo bão luôn là vấn đề nhức nhối trên toàn thế giới, bởi bão có thể thay đổi mạnh về cường độ trong thời gian ngắn và đường đi của nó rất khó đoán do chịu tác động của nhiều yếu tố trên phạm vi thời gian - không gian rất lớn.

Đó là một hệ thống hỗn loạn điển hình.

Do đó, dự báo thời tiết dựa trên dự đoán số đã trở thành một phức hợp mâu thuẫn, khiến nó có rất nhiều cơ hội để cải thiện, nhưng nó rất hạn chế - cách duy nhất để mọi người tiếp cận độ chính xác là tích lũy kinh nghiệm Thu thập dữ liệu và xây dựng thêm và nhiều chức năng phức tạp hơn, nhưng lợi ích cận biên của nó ngày càng trở nên mạnh mẽ.. Nhiều dữ liệu hơn không thể cải thiện đáng kể và toàn diện độ chính xác của dự báo thời tiết ở quy mô vĩ mô và vi mô, trong khi nhìn chung, chi phí điện toán tiếp tục tăng.

Lúc này, tình hình dường như đã đi vào bế tắc. Dữ liệu khổng lồ, thuật toán phức tạp và yêu cầu sức mạnh tính toán cao khiến các phép tính số trở thành một nút cổ chai ở một mức độ nào đó, nhưng ba điều kiện này có quen thuộc không?

Có vẻ hơi giống ba yếu tố của một mô hình lớn?

Trên thực tế, trong tài liệu của một hội thảo nội bộ về công nghệ khí tượng mà Pinwan đã xem, một số chuyên gia đã trực tiếp tuyên bố rằng trí tuệ nhân tạo và công việc khí tượng tương tự nhau về phương pháp luận.

Vì các công thức tính toán bằng số thực sự không thể nói hết tất cả các nguyên nhân và kết quả trong toàn bộ hệ thống hỗn loạn, tại sao không sử dụng phương pháp mạng thần kinh để nhập dữ liệu khổng lồ vào đó và để máy tính tự tìm và học các quy luật?

Đây dường như là một lời giải thích khó hiểu nhưng vô cùng bí ẩn và hợp lý.

ENIAC, chiếc máy tính điện tử đầu tiên của nhân loại và EDSAC, chiếc máy tính đầu tiên được chế tạo theo cấu trúc von Neumann, thực chất được sử dụng để thực hiện các tính toán khoa học liên quan đến khí tượng học. .Tiến bộ được kết nối chặt chẽ-điện toán hiệu năng cao đã thúc đẩy giải quyết các vấn đề phức tạp trong khoa học khí tượng, và sau khi thoát ra khỏi tư duy điện toán tổng quát, mạng nơ-ron và các mô hình lớn dường như là một hướng đi rất thú vị và hợp lý cho khí tượng học và dự báo thời tiết .

Trên thực tế, Đài quan sát khí tượng trung ương đã tham khảo kết quả của mô hình quy mô lớn trí tuệ nhân tạo để dự đoán quỹ đạo của cơn bão Dusurui.

Cách khác

Các mô hình khí tượng lớn đã không xuất hiện cùng với sự phổ biến của AI tổng quát vào cuối năm ngoái, đã có nhiều mô hình lớn sử dụng sức mạnh tính toán mạnh mẽ, lượng dữ liệu khổng lồ và nhiều kiến trúc học sâu khác nhau để dự đoán thời tiết. ở nước ngoài là Nvidia FourCastNet, DeepMind, GraphCast của Google và ClimaX của Microsoft, các mẫu trong nước mới nhất là mẫu Huawei Pangu và mẫu Shanghai Fengwu, mẫu sau của Phòng thí nghiệm Trí tuệ Nhân tạo Thượng Hải.

Cả Pangu và Fengwu đều sử dụng bộ dữ liệu phân tích lại khí tượng của Trung tâm Khí tượng Châu Âu có tên là ERA5, cung cấp tổng cộng 2000TB dữ liệu khí tượng khác nhau bao gồm 37 bề mặt đẳng áp trên bề mặt trái đất trong 60 năm qua.

Những dữ liệu này cung cấp không gian cho các mô hình lớn chơi - thay vì sử dụng các phép tính số chính xác và tương ứng, AI có thể khai thác linh hoạt hơn các mối quan hệ phức tạp khác nhau giữa dữ liệu.

Pangu đã xây dựng cấu trúc biến áp 3D để tích hợp các quá trình vật lý tương tác phức tạp của đại dương, khí quyển và đất đai. Trước đây, các mô hình khí hậu lớn, chẳng hạn như FourCastNet của Nvidia, đã sử dụng cấu trúc 2D—mỗi bề mặt đẳng áp là một lớp, rõ ràng là có không có cách nào để mặt phẳng 2D phản ánh tốt hơn quá trình thay đổi khí tượng.

Theo các tài liệu mà Pinwan nhìn thấy, Huawei đã sử dụng mã hóa vị trí tuyệt đối trong cấu trúc 3D này, giúp tăng tốc đáng kể sự hội tụ của mô hình. Ngoài ra, Huawei đã đào tạo bốn mô hình cơ bản tương ứng với 1 giờ, 3 giờ, 6 giờ và 24 giờ. Dự đoán hàng giờ, phương pháp hợp nhất miền thời gian giúp giảm đáng kể lỗi do kích thước bước nhỏ và nhiều lần lặp lại trong mô hình trước đó.

Để dự đoán cơn bão cũ và khó khăn, Pangu đã sử dụng áp suất mực nước biển trung bình làm chuẩn dự đoán và kết quả tốt hơn so với Cơ quan Khí tượng Châu Âu.

Ý tưởng của mô hình lớn Fengwu là sử dụng 6 bộ mã hóa độc lập để mã hóa và giải mã các thông số khí tượng khác nhau (độ ẩm, gió, nhiệt độ, v.v.) và sử dụng các mạng biến áp độc lập để học giữa các biến khác nhau.

Khác với phương pháp hợp nhất miền thời gian của Huawei để giảm lỗi, Fengwu đã thiết kế một không gian bộ đệm để lưu trữ và phát lại kết quả của quá trình đào tạo, để mạng nơ-ron có thể thích ứng với các lỗi của nó, từ đó đạt được kết quả dự đoán tốt hơn.

Mặc dù kết quả của các dự đoán mô hình khí tượng quy mô lớn mới này vẫn còn sơ bộ và kết quả được công bố tốt hơn các phương pháp dự đoán số truyền thống ở một số chỉ số cụ thể, nhưng vẫn cần thử nghiệm và tối ưu hóa toàn diện, nhưng không nghi ngờ gì nữa, chúng đại diện cho một loại của Một mô hình mới hoàn toàn khác với dự báo thời tiết truyền thống.

Hiện tại, mô hình quy mô lớn Pangu của Huawei đã đạt được hoạt động kinh doanh sơ bộ tại trung tâm dự báo thời tiết tầm trung châu Âu, trong khi Fengwu tuyên bố là mô hình dự báo thời tiết AI độ phân giải cao toàn cầu chính xác nhất.38,7 km, tốt hơn so với 54,11 km của Trung tâm dự báo thời tiết tầm trung châu Âu.

Con đường dài phía trước

Sự thay đổi đang đến. Các mô hình thời tiết lớn có khả năng thay đổi các mô hình dự báo thời tiết theo nhiều cách, chẳng hạn như tốc độ. Fengwu sử dụng GPU để tạo ra 37 cấp độ kết quả dự báo thời tiết có độ chính xác cao và độ phân giải cao cho tất cả các khu vực trên thế giới trong 14 ngày tới trong vòng 1 phút, trong khi dự báo thời tiết 7 ngày của Pangu chỉ mất 9,8 giây để tạo ra.

Do đó, hệ thống truyền dữ liệu thời tiết thời tiết thực và cơ sở hạ tầng sức mạnh tính toán chung được thiết lập cho các tính toán số sẽ thay đổi. Theo những người trong cuộc của Cục Khí tượng mà Pinwan biết được, mặc dù nó chỉ được sử dụng làm tài liệu tham khảo dự báo trong ngắn hạn, nhưng trong trung và dài hạn, tiềm năng của các mô hình thời tiết lớn chắc chắn là rất lớn.

Bây giờ, có thể có hai vấn đề chính mà các mô hình khí tượng lớn này gặp phải Đầu tiên là điều chỉnh. Làm thế nào để gắn nhãn chính xác các dữ liệu như khí hậu khắc nghiệt trong mô hình lớn là một vấn đề, mô hình AI có khả năng khớp rất mạnh nên có thể xảy ra sai sót trong dự báo dài hạn. mô hình khí tượng

Ngoài ra, các mô hình quy mô lớn hiện tại không có ngành sâu hơn biết cách dự trữ và việc xây dựng các mô hình được thực hiện bởi các nhà khoa học máy tính chứ không phải các chuyên gia khí tượng, điều đó có nghĩa là các mô hình quy mô lớn thẳng đứng này vẫn thiếu "phản hồi của con người" điều chỉnh.

Một vấn đề khác là sức mạnh tính toán thông thường, mặc dù nước tôi đứng trong top đầu thế giới về phát triển siêu máy tính, nhưng mô hình lớn không sử dụng sức mạnh tính toán chung của siêu máy tính truyền thống, hoạt động của mạng sâu đòi hỏi tính toán song song quy mô lớn. Đó là GPU hiệu suất cao và chúng tôi vẫn đang bế tắc về vấn đề này.

May mắn thay, chi phí năng lượng tính toán liên quan trực tiếp đến mô hình lớn thời tiết không cao, theo tình hình mà Pinwan biết được, hàng chục card đồ họa Nvidia (thậm chí không phải là mẫu cao cấp nhất) có thể được hoàn thành trong vài tuần, nhiều nhất là 2 tháng đào tạo người mẫu. Điều này cũng đã trở thành một lợi thế so với các mô hình dự đoán số truyền thống.

Với sự hỗ trợ của các mô hình thời tiết lớn, cụm từ "không thể đoán trước" có thể sớm trở thành một mệnh đề sai lầm, và một ngày nào đó, có lẽ chúng ta thực sự có thể dự đoán đồng thời những cánh bướm dập dờn và những cơn cuồng phong dữ dội sẽ đi về đâu.