Gần đây, HBM trở thành chủ đề nóng trong ngành chip. Theo TrendForce, dung lượng bit của bộ nhớ băng thông cao (HBM) dự kiến sẽ đạt 290 triệu GB vào năm 2023, tăng khoảng 60% so với cùng kỳ năm ngoái và dự kiến sẽ tăng thêm 30% vào năm 2024. Khái niệm bộ nhớ HBM do AMD đề xuất vào năm 2008 đã được SK Hynix hiện thực hóa thông qua công nghệ TSV vào năm 2013. 10 năm sau khi được giới thiệu, HBM dường như đã thực sự bước sang kỷ nguyên thương mại hóa quy mô lớn.
Sự cất cánh của khái niệm HBM có liên quan trực tiếp đến sự phổ biến của AIGC. Máy chủ AI có yêu cầu cao hơn về băng thông, so với DDR SDRAM, HBM có băng thông cao hơn và mức tiêu thụ năng lượng thấp hơn. Băng thông cực cao khiến HBM trở thành thành phần cốt lõi của GPU hiệu suất cao và HBM về cơ bản là cấu hình tiêu chuẩn của máy chủ AI. Hiện tại, chi phí của HBM đứng thứ ba trong chi phí của máy chủ AI, chiếm khoảng 9% và giá bán trung bình của một máy chủ cao tới 18.000 USD.
Kể từ khi ChatGPT xuất hiện vào năm ngoái, thị trường mô hình quy mô lớn đã bắt đầu phát triển nhanh chóng, tại thị trường trong nước, những gã khổng lồ công nghệ như Baidu, Ali, HKUST Xunfei, SenseTime và Huawei đã liên tiếp tuyên bố sẽ đào tạo AI của riêng mình mô hình quy mô lớn. TrendForce dự đoán rằng vào năm 2025 sẽ có 5 AIGC quy mô lớn tương đương với ChatGPT, 25 sản phẩm AIGC quy mô trung bình của Midjourney và 80 sản phẩm AIGC quy mô nhỏ. . Đây là những lĩnh vực tăng trưởng tiềm năng cho HBM.
Kể từ đầu năm 2023, đơn đặt hàng HBM từ Samsung và SK Hynix tăng nhanh, giá HBM cũng tăng theo, gần đây giá HBM3 DRAM đã tăng gấp 5 lần. Samsung đã nhận được đơn đặt hàng từ AMD và Nvidia để tăng nguồn cung HBM. SK hynix đã bắt đầu mở rộng dây chuyền sản xuất HBM, nhằm tăng gấp đôi năng lực sản xuất HBM. Truyền thông Hàn Quốc đưa tin, Samsung có kế hoạch đầu tư khoảng 760 triệu đô la Mỹ để mở rộng sản xuất HBM, nhằm tăng gấp đôi công suất sản xuất HBM vào cuối năm tới và công ty đã đặt hàng các thiết bị lớn.
Ưu điểm của HBM trong AIGC
Nói một cách dễ hiểu, HBM sẽ tăng sức mạnh tính toán của các máy chủ. Do phải xử lý một lượng lớn dữ liệu trong thời gian ngắn nên các máy chủ AI có yêu cầu cao hơn về băng thông. Chức năng của HBM tương tự như “trạm trung chuyển” dữ liệu, đó là lưu các dữ liệu hình ảnh như từng khung hình, hình ảnh được sử dụng vào vùng đệm khung hình, chờ GPU gọi. So với công nghệ bộ nhớ truyền thống, HBM có băng thông cao hơn, số lượng I/O nhiều hơn, mức tiêu thụ điện năng thấp hơn và kích thước nhỏ hơn, có thể cải thiện đáng kể khối lượng xử lý dữ liệu và tốc độ truyền của máy chủ AI.
Nguồn: rambus
Có thể thấy HBM đang có lợi thế ở mức độ "cuốn chiếu" về băng thông. Nếu HBM2E chạy ở tốc độ 3,6Gbps trên giao diện rộng 1024 bit, bạn sẽ nhận được băng thông 3,7Tb mỗi giây, gấp hơn 18 lần băng thông của LPDDR5 hoặc DDR4.
Ngoài lợi thế về băng thông, HBM có thể tiết kiệm diện tích, do đó có thể phù hợp với nhiều GPU hơn trong hệ thống. Bộ nhớ HBM bao gồm một ngăn xếp bộ nhớ trên cùng gói vật lý với GPU.
Kiến trúc như vậy có nghĩa là tiết kiệm diện tích và điện năng đáng kể so với thiết kế bộ nhớ GDDR5/6 truyền thống, cho phép cài đặt nhiều GPU hơn trong hệ thống. Khi các bộ dữ liệu HPC, AI và phân tích dữ liệu tăng kích thước và các vấn đề tính toán trở nên phức tạp hơn, thì dung lượng bộ nhớ GPU và băng thông ngày càng nhiều là điều cần thiết. GPU H100 SXM5 cung cấp băng thông bộ nhớ hơn 3 TB/giây bằng cách hỗ trợ 80 GB (năm ngăn xếp) bộ nhớ HBM3 nhanh, gấp đôi băng thông bộ nhớ của A100.
Giá là một yếu tố hạn chế đối với HBM trong quá khứ. Nhưng hiện nay thị trường mô hình cỡ lớn đang trong thời kỳ tranh giành, đối với những đại gia đặt mô hình cỡ lớn thì thời gian là tiền bạc, vì vậy HBM vốn “đắt xắt ra miếng” đã trở thành món khoái khẩu mới của các đại gia. người khổng lồ mô hình quy mô. Với sự gia tăng dần nhu cầu về GPU cao cấp, HBM đã bắt đầu trở thành cấu hình tiêu chuẩn của máy chủ AI.
Hiện tại, Nvidia A100 và H100 đều được trang bị 80GB HBM2e và HBM3.Trong chip Grace Hopper mới nhất tích hợp CPU và GPU, khả năng mang HBM của một chip đơn đã tăng 20%, đạt 96GB.
MI300 của AMD cũng được trang bị HBM3, trong đó dung lượng MI300A bằng với thế hệ trước là 128GB, MI300X cao cấp hơn đạt 192GB, tăng 50%.
Dự kiến, Google sẽ tích cực mở rộng hợp tác với Broadcom vào nửa cuối năm 2023 để phát triển chip tăng tốc AI của AISC. TPU cũng được lên kế hoạch trang bị bộ nhớ HBM để mở rộng cơ sở hạ tầng AI.
Bố cục tăng tốc của nhà cung cấp bộ nhớ
Một "cảnh kiếm tiền" như vậy cho phép các đại gia lưu trữ đẩy nhanh quá trình bố trí bộ nhớ HBM. Hiện tại, ba nhà sản xuất chip nhớ hàng đầu thế giới đang chuyển thêm năng lực sản xuất để sản xuất HBM, nhưng do cần có thời gian để điều chỉnh năng lực sản xuất nên khó có thể nhanh chóng tăng sản lượng HBM và dự kiến nguồn cung HBM sẽ vẫn khan hiếm trong hai năm tới.
Thị trường của HBM chủ yếu được kiểm soát bởi ba gã khổng lồ DRAM lớn. Tuy nhiên, khác với thị trường DRAM do Samsung dẫn đầu, SK Hynix phát triển tốt hơn trên thị trường HBM. Như đã đề cập ở phần đầu, SK Hynix đã phát triển sản phẩm HBM đầu tiên. Vào tháng 4 năm 2023, SK Hynix đã công bố việc phát triển sản phẩm DRAM HBM3 24GB đầu tiên, sử dụng công nghệ TSV để xếp chồng 12 chip DRAM sản phẩm đơn lẻ theo chiều dọc, mỏng hơn 40% so với chip hiện có, đạt được chiều cao tương đương với các sản phẩm 16GB. Trong khi đó, SK Hynix có kế hoạch chuẩn bị các mẫu HBM3E với hiệu suất truyền dữ liệu 8Gbps vào nửa cuối năm 2023 và đưa vào sản xuất hàng loạt vào năm 2024.
Việc bố trí các công ty bán dẫn trong nước cho HBM chủ yếu xoay quanh lĩnh vực đóng gói và giao diện.
NationalChip Technology hiện đang nghiên cứu và lập kế hoạch cho công nghệ đóng gói chip 2.5D của bộ nhớ đa HBM, đồng thời tích cực thúc đẩy nghiên cứu phát triển và ứng dụng công nghệ Chiplet.
Sau khi hoàn thành dây chuyền sản xuất 2.5D/3D của Tongfu Microelectronics Co., Ltd., nó sẽ tạo ra bước đột phá trong nước trong lĩnh vực công nghệ đóng gói hiệu suất cao HBM.
BIWIN đã tung ra chip bộ nhớ và mô-đun bộ nhớ hiệu suất cao, đồng thời sẽ tiếp tục chú ý đến công nghệ HBM.
Chip PCIe 5.0/CXL 2.0 Retimer của Montage Technology đã được sản xuất hàng loạt. Con chip này là bản nâng cấp quan trọng của sản phẩm PCIe 4.0 Retimer của Montage Technology, có thể cung cấp cho ngành công nghiệp một PCIe 5.0/CXL 2.0 băng thông cao, ổn định và đáng tin cậy giải pháp kết nối.
HBM dù tốt nhưng vẫn cần bình tĩnh, HBM vẫn đang ở giai đoạn khá sớm và tương lai của nó vẫn còn một chặng đường dài phía trước. Có thể thấy trước rằng khi ngày càng có nhiều nhà sản xuất tiếp tục nỗ lực trong các lĩnh vực như AI và học máy, thì độ phức tạp của thiết kế sản phẩm bộ nhớ đang tăng lên nhanh chóng và các yêu cầu cao hơn đối với băng thông được đặt ra. của HBM.
Độ hot của HBM phản ánh khả năng lái của AIGC. Vậy ngoài HBM và GPU, còn sản phẩm nào có thể phát triển trong làn sóng mới này?
Nói về các con chip đánh lửa khác
Ưu điểm của FPGA bắt đầu xuất hiện
FPGA (Field Programmable Gate Array) là một mạch tích hợp với các phần tử logic, bộ nhớ và tài nguyên kết nối có thể lập trình được. Không giống như ASIC (Mạch tích hợp dành riêng cho ứng dụng), FPGA có ưu điểm là tính linh hoạt, khả năng tùy biến, khả năng xử lý song song và dễ dàng nâng cấp.
Thông qua lập trình, người dùng có thể thay đổi các kịch bản ứng dụng của FPGA bất cứ lúc nào và FPGA có thể mô phỏng các hoạt động song song khác nhau của CPU, GPU và phần cứng khác. Do đó, nó còn được gọi là "chip vạn năng" trong ngành.
FPGA có ý nghĩa đối với nhu cầu suy luận trí tuệ nhân tạo của các mô hình cơ bản thường xuyên thay đổi. Khả năng lập trình của FPGA vượt quá tính kinh tế điển hình của việc sử dụng FPGA. Rõ ràng, FPGA sẽ không phải là đối thủ nặng ký với các hệ thống AI quy mô lớn sử dụng hàng nghìn GPU, nhưng khi AI thâm nhập sâu hơn vào lĩnh vực điện tử, phạm vi ứng dụng của FPGA sẽ mở rộng.
Ưu điểm của FPGA so với GPU là mức tiêu thụ điện năng và độ trễ thấp hơn. GPU không thể tận dụng tốt bộ nhớ trên chip và cần thường xuyên đọc DRAM ngoài chip, do đó mức tiêu thụ điện năng rất cao. FPGA có thể sử dụng linh hoạt bộ lưu trữ trên chip nên mức tiêu thụ điện năng thấp hơn nhiều so với GPU.
Vào ngày 27 tháng 6, AMD đã công bố ra mắt hệ thống trên chip (SoC) thích ứng AMD Versal Premium VP1902, đây là một SoC thích ứng dựa trên FPGA. Đây là một thiết bị dựa trên chiplet, cấp mô phỏng giúp đơn giản hóa việc xác minh các thiết kế bán dẫn ngày càng phức tạp. Được biết, AMD VP1902 sẽ trở thành FPGA lớn nhất thế giới, so với sản phẩm thế hệ trước (Xilinx VU19P), VP1902 mới bổ sung chức năng Versal và sử dụng thiết kế chip nhỏ, giúp tăng hơn gấp đôi hiệu suất chính của FPGA.
Báo cáo nghiên cứu của Dongxing Securities tin rằng FPGA có lợi thế lớn trong lý luận AI nhờ độ trễ và lợi thế tiêu thụ điện năng do kiến trúc của nó mang lại. Báo cáo nghiên cứu trước đây của Zheshang Securities cũng chỉ ra rằng ngoài GPU, giải pháp CPU+FPGA còn có thể đáp ứng nhu cầu sức mạnh tính toán khổng lồ của AI.
Khác với HBM bị độc quyền bởi các công ty nước ngoài, các công ty trong nước đã tích lũy sẵn chip FPGA.
Hoạt động kinh doanh chính của Anlu Technology là R&D, thiết kế và bán chip FPGA và phần mềm EDA đặc biệt.Các sản phẩm đã được sử dụng rộng rãi trong điều khiển công nghiệp, truyền thông mạng, điện tử tiêu dùng và các lĩnh vực khác. Ziguang Tongchuang, một công ty con của Ziguang Guowei, là một công ty FPGA chuyên nghiệp chuyên thiết kế và bán các chip FPGA đa năng. Ziguang Guowei từng tuyên bố tại buổi họp báo hiệu suất rằng chip FPGA của công ty có thể được sử dụng trong lĩnh vực AI. Dongtu Technology chủ yếu thực hiện công nghiệp hóa chip FPGA.Công ty cổ phần Zhongke Yihai Micro của công ty đã độc lập phát triển phần mềm EDA để hỗ trợ phát triển ứng dụng cho các sản phẩm FPGA của mình.
Ý tưởng mới để thay thế trong nước: Tích hợp lưu trữ và điện toán + Chiplet
Chúng tôi có thể sử dụng các quy trình và công nghệ hiện có của mình để phát triển chip AI có thể cạnh tranh với Nvidia về hiệu suất không? Một số "ý tưởng mới" đã xuất hiện, chẳng hạn như tích hợp lưu trữ và tính toán + Chiplet.
Việc tách biệt lưu trữ và tính toán sẽ dẫn đến tắc nghẽn năng lượng tính toán. Với sự phát triển nhanh chóng của công nghệ AI, nhu cầu về sức mạnh tính toán đã bùng nổ. Trong thời kỳ hậu Moore, băng thông lưu trữ hạn chế băng thông hiệu quả của hệ thống máy tính và sự phát triển sức mạnh tính toán của hệ thống đang gặp khó khăn. Ví dụ: phải mất 99 ngày để đào tạo mô hình BERT từ đầu với 8 khối 1080TI. Kiến trúc tích hợp điện toán lưu trữ không có khái niệm lưu trữ đa cấp độ sâu. Tất cả các tính toán được thực hiện trong bộ nhớ, do đó loại bỏ tường lưu trữ và chi phí bổ sung tương ứng do tính không đồng nhất của điện toán lưu trữ; việc loại bỏ tường lưu trữ có thể rất nhiều giảm xử lý dữ liệu. , không chỉ cải thiện tốc độ truyền và xử lý dữ liệu mà còn cải thiện tỷ lệ hiệu quả năng lượng nhiều lần.
Một mặt, mức tiêu thụ năng lượng cần thiết để xử lý cùng một sức mạnh tính toán giữa kiến trúc tích hợp lưu trữ-máy tính và bộ xử lý kiến trúc truyền thống sẽ giảm; mở bức tường biên dịch của kiến trúc truyền thống.
Các học giả tại Đại học bang Arizona đã phát hành SIAM mô phỏng điểm chuẩn kiến trúc IMC dựa trên Chiplet vào năm 2021 để đánh giá tiềm năng của kiến trúc mới này trong đào tạo mô hình lớn AI. SIAM tích hợp các mô hình truy cập thiết bị, mạch, kiến trúc, mạng trên chip (NoC), mạng trong gói (NoP) và truy cập DRAM để kích hoạt hệ thống máy tính hiệu năng cao từ đầu đến cuối. SIAM có khả năng mở rộng trong việc hỗ trợ các mạng thần kinh sâu (DNN) và có thể được tùy chỉnh cho các cấu trúc và cấu hình mạng khác nhau. Nhóm nghiên cứu của nó chứng minh tính linh hoạt, khả năng mở rộng và tốc độ mô phỏng của SIAM bằng cách đo điểm chuẩn các DNN nâng cao khác nhau bằng bộ dữ liệu CIFAR-10, CIFAR-100 và ImageNet. Người ta nói rằng so với GPU NVIDIA V100 và T4, kiến trúc chiplet +IMC thu được thông qua SIAM cho thấy hiệu suất năng lượng của ResNet-50 trên bộ dữ liệu ImageNet đã tăng lần lượt là 130 và 72.
Điều này có nghĩa là chip AI tích hợp máy tính lưu trữ dự kiến sẽ đạt được sự tích hợp không đồng nhất với sự trợ giúp của công nghệ Chiplet và công nghệ đóng gói ngăn xếp 2.5D/3D, từ đó hình thành một hệ thống máy tính quy mô lớn. Sự kết hợp giữa lưu trữ và tính toán + Chiplet dường như là một cách khả thi để hiện thực hóa nó. Người ta nói rằng Công nghệ Yizhu đang khám phá con đường này. Con chip thương mại có sức mạnh tính toán lớn tích hợp AI và lưu trữ thế hệ đầu tiên của nó có thể đạt được sức mạnh tính toán của một thẻ duy nhất hơn 500 T. Trong vòng 75 W. Có thể điều này sẽ bắt đầu khúc dạo đầu cho đường cong tăng trưởng thứ hai của sức mạnh điện toán AI.
Phần kết luận
Tại Hội nghị Trí tuệ Nhân tạo Thế giới, Giám đốc điều hành AMD Lisa Su đã nói rằng sẽ có một siêu chu kỳ điện toán quy mô lớn trong mười năm tới, vì vậy đây là thời điểm tốt để trở thành nhà cung cấp công nghệ và nó cũng khác với một số công ty sẽ sử dụng các công nghệ này để phát triển các công nghệ khác nhau. Đây là thời điểm tốt để làm việc với các khách hàng của ứng dụng.
Không ai muốn một ngành chỉ có một người chơi thống trị. Liệu thị trường mô hình quy mô lớn có thể cho phép ngành công nghiệp chip có cấu trúc thị trường mới và những người chơi mới có thể xuất hiện không?
"Thị trường mô hình lớn đã mang đến những mô hình thị trường và cơ hội mới cho ngành công nghiệp chip. Bằng cách thúc đẩy sự phát triển của chip AI, thúc đẩy sự phát triển của thị trường trung tâm dữ liệu và điện toán đám mây, đồng thời tạo ra những thay đổi trong bối cảnh cạnh tranh, sự gia tăng của các mô hình lớn đã mang lại cơ hội mới cho ngành công nghiệp chip.hướng phát triển.
Cần lưu ý rằng ngành công nghiệp chip là một ngành có tính cạnh tranh cao và sử dụng nhiều công nghệ. Việc gia nhập ngành đòi hỏi nguồn lực tài chính và kỹ thuật đáng kể để đáp ứng các yêu cầu phức tạp về sản xuất và R&D. Mặc dù thị trường mô hình quy mô lớn mang lại cơ hội cho những người chơi mới, nhưng họ cần phải vượt qua những thách thức về kỹ thuật, tài chính và tiếp thị để thành công trong ngành công nghiệp chip có tính cạnh tranh cao. ” Chatgpt đã trả lời.
Xem bản gốc
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Thị trường mô hình quy mô lớn, không chỉ HBM nóng
Nguồn gốc: Công nghiệp bán dẫn dọc và ngang
Gần đây, HBM trở thành chủ đề nóng trong ngành chip. Theo TrendForce, dung lượng bit của bộ nhớ băng thông cao (HBM) dự kiến sẽ đạt 290 triệu GB vào năm 2023, tăng khoảng 60% so với cùng kỳ năm ngoái và dự kiến sẽ tăng thêm 30% vào năm 2024. Khái niệm bộ nhớ HBM do AMD đề xuất vào năm 2008 đã được SK Hynix hiện thực hóa thông qua công nghệ TSV vào năm 2013. 10 năm sau khi được giới thiệu, HBM dường như đã thực sự bước sang kỷ nguyên thương mại hóa quy mô lớn.
Sự cất cánh của khái niệm HBM có liên quan trực tiếp đến sự phổ biến của AIGC. Máy chủ AI có yêu cầu cao hơn về băng thông, so với DDR SDRAM, HBM có băng thông cao hơn và mức tiêu thụ năng lượng thấp hơn. Băng thông cực cao khiến HBM trở thành thành phần cốt lõi của GPU hiệu suất cao và HBM về cơ bản là cấu hình tiêu chuẩn của máy chủ AI. Hiện tại, chi phí của HBM đứng thứ ba trong chi phí của máy chủ AI, chiếm khoảng 9% và giá bán trung bình của một máy chủ cao tới 18.000 USD.
Kể từ khi ChatGPT xuất hiện vào năm ngoái, thị trường mô hình quy mô lớn đã bắt đầu phát triển nhanh chóng, tại thị trường trong nước, những gã khổng lồ công nghệ như Baidu, Ali, HKUST Xunfei, SenseTime và Huawei đã liên tiếp tuyên bố sẽ đào tạo AI của riêng mình mô hình quy mô lớn. TrendForce dự đoán rằng vào năm 2025 sẽ có 5 AIGC quy mô lớn tương đương với ChatGPT, 25 sản phẩm AIGC quy mô trung bình của Midjourney và 80 sản phẩm AIGC quy mô nhỏ. . Đây là những lĩnh vực tăng trưởng tiềm năng cho HBM.
Kể từ đầu năm 2023, đơn đặt hàng HBM từ Samsung và SK Hynix tăng nhanh, giá HBM cũng tăng theo, gần đây giá HBM3 DRAM đã tăng gấp 5 lần. Samsung đã nhận được đơn đặt hàng từ AMD và Nvidia để tăng nguồn cung HBM. SK hynix đã bắt đầu mở rộng dây chuyền sản xuất HBM, nhằm tăng gấp đôi năng lực sản xuất HBM. Truyền thông Hàn Quốc đưa tin, Samsung có kế hoạch đầu tư khoảng 760 triệu đô la Mỹ để mở rộng sản xuất HBM, nhằm tăng gấp đôi công suất sản xuất HBM vào cuối năm tới và công ty đã đặt hàng các thiết bị lớn.
Ưu điểm của HBM trong AIGC
Nói một cách dễ hiểu, HBM sẽ tăng sức mạnh tính toán của các máy chủ. Do phải xử lý một lượng lớn dữ liệu trong thời gian ngắn nên các máy chủ AI có yêu cầu cao hơn về băng thông. Chức năng của HBM tương tự như “trạm trung chuyển” dữ liệu, đó là lưu các dữ liệu hình ảnh như từng khung hình, hình ảnh được sử dụng vào vùng đệm khung hình, chờ GPU gọi. So với công nghệ bộ nhớ truyền thống, HBM có băng thông cao hơn, số lượng I/O nhiều hơn, mức tiêu thụ điện năng thấp hơn và kích thước nhỏ hơn, có thể cải thiện đáng kể khối lượng xử lý dữ liệu và tốc độ truyền của máy chủ AI.
Có thể thấy HBM đang có lợi thế ở mức độ "cuốn chiếu" về băng thông. Nếu HBM2E chạy ở tốc độ 3,6Gbps trên giao diện rộng 1024 bit, bạn sẽ nhận được băng thông 3,7Tb mỗi giây, gấp hơn 18 lần băng thông của LPDDR5 hoặc DDR4.
Ngoài lợi thế về băng thông, HBM có thể tiết kiệm diện tích, do đó có thể phù hợp với nhiều GPU hơn trong hệ thống. Bộ nhớ HBM bao gồm một ngăn xếp bộ nhớ trên cùng gói vật lý với GPU.
Giá là một yếu tố hạn chế đối với HBM trong quá khứ. Nhưng hiện nay thị trường mô hình cỡ lớn đang trong thời kỳ tranh giành, đối với những đại gia đặt mô hình cỡ lớn thì thời gian là tiền bạc, vì vậy HBM vốn “đắt xắt ra miếng” đã trở thành món khoái khẩu mới của các đại gia. người khổng lồ mô hình quy mô. Với sự gia tăng dần nhu cầu về GPU cao cấp, HBM đã bắt đầu trở thành cấu hình tiêu chuẩn của máy chủ AI.
Hiện tại, Nvidia A100 và H100 đều được trang bị 80GB HBM2e và HBM3.Trong chip Grace Hopper mới nhất tích hợp CPU và GPU, khả năng mang HBM của một chip đơn đã tăng 20%, đạt 96GB.
MI300 của AMD cũng được trang bị HBM3, trong đó dung lượng MI300A bằng với thế hệ trước là 128GB, MI300X cao cấp hơn đạt 192GB, tăng 50%.
Dự kiến, Google sẽ tích cực mở rộng hợp tác với Broadcom vào nửa cuối năm 2023 để phát triển chip tăng tốc AI của AISC. TPU cũng được lên kế hoạch trang bị bộ nhớ HBM để mở rộng cơ sở hạ tầng AI.
Bố cục tăng tốc của nhà cung cấp bộ nhớ
Một "cảnh kiếm tiền" như vậy cho phép các đại gia lưu trữ đẩy nhanh quá trình bố trí bộ nhớ HBM. Hiện tại, ba nhà sản xuất chip nhớ hàng đầu thế giới đang chuyển thêm năng lực sản xuất để sản xuất HBM, nhưng do cần có thời gian để điều chỉnh năng lực sản xuất nên khó có thể nhanh chóng tăng sản lượng HBM và dự kiến nguồn cung HBM sẽ vẫn khan hiếm trong hai năm tới.
Thị trường của HBM chủ yếu được kiểm soát bởi ba gã khổng lồ DRAM lớn. Tuy nhiên, khác với thị trường DRAM do Samsung dẫn đầu, SK Hynix phát triển tốt hơn trên thị trường HBM. Như đã đề cập ở phần đầu, SK Hynix đã phát triển sản phẩm HBM đầu tiên. Vào tháng 4 năm 2023, SK Hynix đã công bố việc phát triển sản phẩm DRAM HBM3 24GB đầu tiên, sử dụng công nghệ TSV để xếp chồng 12 chip DRAM sản phẩm đơn lẻ theo chiều dọc, mỏng hơn 40% so với chip hiện có, đạt được chiều cao tương đương với các sản phẩm 16GB. Trong khi đó, SK Hynix có kế hoạch chuẩn bị các mẫu HBM3E với hiệu suất truyền dữ liệu 8Gbps vào nửa cuối năm 2023 và đưa vào sản xuất hàng loạt vào năm 2024.
Việc bố trí các công ty bán dẫn trong nước cho HBM chủ yếu xoay quanh lĩnh vực đóng gói và giao diện.
NationalChip Technology hiện đang nghiên cứu và lập kế hoạch cho công nghệ đóng gói chip 2.5D của bộ nhớ đa HBM, đồng thời tích cực thúc đẩy nghiên cứu phát triển và ứng dụng công nghệ Chiplet. Sau khi hoàn thành dây chuyền sản xuất 2.5D/3D của Tongfu Microelectronics Co., Ltd., nó sẽ tạo ra bước đột phá trong nước trong lĩnh vực công nghệ đóng gói hiệu suất cao HBM. BIWIN đã tung ra chip bộ nhớ và mô-đun bộ nhớ hiệu suất cao, đồng thời sẽ tiếp tục chú ý đến công nghệ HBM. Chip PCIe 5.0/CXL 2.0 Retimer của Montage Technology đã được sản xuất hàng loạt. Con chip này là bản nâng cấp quan trọng của sản phẩm PCIe 4.0 Retimer của Montage Technology, có thể cung cấp cho ngành công nghiệp một PCIe 5.0/CXL 2.0 băng thông cao, ổn định và đáng tin cậy giải pháp kết nối.
HBM dù tốt nhưng vẫn cần bình tĩnh, HBM vẫn đang ở giai đoạn khá sớm và tương lai của nó vẫn còn một chặng đường dài phía trước. Có thể thấy trước rằng khi ngày càng có nhiều nhà sản xuất tiếp tục nỗ lực trong các lĩnh vực như AI và học máy, thì độ phức tạp của thiết kế sản phẩm bộ nhớ đang tăng lên nhanh chóng và các yêu cầu cao hơn đối với băng thông được đặt ra. của HBM.
Độ hot của HBM phản ánh khả năng lái của AIGC. Vậy ngoài HBM và GPU, còn sản phẩm nào có thể phát triển trong làn sóng mới này?
Nói về các con chip đánh lửa khác
Ưu điểm của FPGA bắt đầu xuất hiện
FPGA (Field Programmable Gate Array) là một mạch tích hợp với các phần tử logic, bộ nhớ và tài nguyên kết nối có thể lập trình được. Không giống như ASIC (Mạch tích hợp dành riêng cho ứng dụng), FPGA có ưu điểm là tính linh hoạt, khả năng tùy biến, khả năng xử lý song song và dễ dàng nâng cấp.
Thông qua lập trình, người dùng có thể thay đổi các kịch bản ứng dụng của FPGA bất cứ lúc nào và FPGA có thể mô phỏng các hoạt động song song khác nhau của CPU, GPU và phần cứng khác. Do đó, nó còn được gọi là "chip vạn năng" trong ngành.
FPGA có ý nghĩa đối với nhu cầu suy luận trí tuệ nhân tạo của các mô hình cơ bản thường xuyên thay đổi. Khả năng lập trình của FPGA vượt quá tính kinh tế điển hình của việc sử dụng FPGA. Rõ ràng, FPGA sẽ không phải là đối thủ nặng ký với các hệ thống AI quy mô lớn sử dụng hàng nghìn GPU, nhưng khi AI thâm nhập sâu hơn vào lĩnh vực điện tử, phạm vi ứng dụng của FPGA sẽ mở rộng.
Ưu điểm của FPGA so với GPU là mức tiêu thụ điện năng và độ trễ thấp hơn. GPU không thể tận dụng tốt bộ nhớ trên chip và cần thường xuyên đọc DRAM ngoài chip, do đó mức tiêu thụ điện năng rất cao. FPGA có thể sử dụng linh hoạt bộ lưu trữ trên chip nên mức tiêu thụ điện năng thấp hơn nhiều so với GPU.
Vào ngày 27 tháng 6, AMD đã công bố ra mắt hệ thống trên chip (SoC) thích ứng AMD Versal Premium VP1902, đây là một SoC thích ứng dựa trên FPGA. Đây là một thiết bị dựa trên chiplet, cấp mô phỏng giúp đơn giản hóa việc xác minh các thiết kế bán dẫn ngày càng phức tạp. Được biết, AMD VP1902 sẽ trở thành FPGA lớn nhất thế giới, so với sản phẩm thế hệ trước (Xilinx VU19P), VP1902 mới bổ sung chức năng Versal và sử dụng thiết kế chip nhỏ, giúp tăng hơn gấp đôi hiệu suất chính của FPGA.
Báo cáo nghiên cứu của Dongxing Securities tin rằng FPGA có lợi thế lớn trong lý luận AI nhờ độ trễ và lợi thế tiêu thụ điện năng do kiến trúc của nó mang lại. Báo cáo nghiên cứu trước đây của Zheshang Securities cũng chỉ ra rằng ngoài GPU, giải pháp CPU+FPGA còn có thể đáp ứng nhu cầu sức mạnh tính toán khổng lồ của AI.
Khác với HBM bị độc quyền bởi các công ty nước ngoài, các công ty trong nước đã tích lũy sẵn chip FPGA.
Hoạt động kinh doanh chính của Anlu Technology là R&D, thiết kế và bán chip FPGA và phần mềm EDA đặc biệt.Các sản phẩm đã được sử dụng rộng rãi trong điều khiển công nghiệp, truyền thông mạng, điện tử tiêu dùng và các lĩnh vực khác. Ziguang Tongchuang, một công ty con của Ziguang Guowei, là một công ty FPGA chuyên nghiệp chuyên thiết kế và bán các chip FPGA đa năng. Ziguang Guowei từng tuyên bố tại buổi họp báo hiệu suất rằng chip FPGA của công ty có thể được sử dụng trong lĩnh vực AI. Dongtu Technology chủ yếu thực hiện công nghiệp hóa chip FPGA.Công ty cổ phần Zhongke Yihai Micro của công ty đã độc lập phát triển phần mềm EDA để hỗ trợ phát triển ứng dụng cho các sản phẩm FPGA của mình.
Ý tưởng mới để thay thế trong nước: Tích hợp lưu trữ và điện toán + Chiplet
Chúng tôi có thể sử dụng các quy trình và công nghệ hiện có của mình để phát triển chip AI có thể cạnh tranh với Nvidia về hiệu suất không? Một số "ý tưởng mới" đã xuất hiện, chẳng hạn như tích hợp lưu trữ và tính toán + Chiplet.
Việc tách biệt lưu trữ và tính toán sẽ dẫn đến tắc nghẽn năng lượng tính toán. Với sự phát triển nhanh chóng của công nghệ AI, nhu cầu về sức mạnh tính toán đã bùng nổ. Trong thời kỳ hậu Moore, băng thông lưu trữ hạn chế băng thông hiệu quả của hệ thống máy tính và sự phát triển sức mạnh tính toán của hệ thống đang gặp khó khăn. Ví dụ: phải mất 99 ngày để đào tạo mô hình BERT từ đầu với 8 khối 1080TI. Kiến trúc tích hợp điện toán lưu trữ không có khái niệm lưu trữ đa cấp độ sâu. Tất cả các tính toán được thực hiện trong bộ nhớ, do đó loại bỏ tường lưu trữ và chi phí bổ sung tương ứng do tính không đồng nhất của điện toán lưu trữ; việc loại bỏ tường lưu trữ có thể rất nhiều giảm xử lý dữ liệu. , không chỉ cải thiện tốc độ truyền và xử lý dữ liệu mà còn cải thiện tỷ lệ hiệu quả năng lượng nhiều lần.
Một mặt, mức tiêu thụ năng lượng cần thiết để xử lý cùng một sức mạnh tính toán giữa kiến trúc tích hợp lưu trữ-máy tính và bộ xử lý kiến trúc truyền thống sẽ giảm; mở bức tường biên dịch của kiến trúc truyền thống.
Các học giả tại Đại học bang Arizona đã phát hành SIAM mô phỏng điểm chuẩn kiến trúc IMC dựa trên Chiplet vào năm 2021 để đánh giá tiềm năng của kiến trúc mới này trong đào tạo mô hình lớn AI. SIAM tích hợp các mô hình truy cập thiết bị, mạch, kiến trúc, mạng trên chip (NoC), mạng trong gói (NoP) và truy cập DRAM để kích hoạt hệ thống máy tính hiệu năng cao từ đầu đến cuối. SIAM có khả năng mở rộng trong việc hỗ trợ các mạng thần kinh sâu (DNN) và có thể được tùy chỉnh cho các cấu trúc và cấu hình mạng khác nhau. Nhóm nghiên cứu của nó chứng minh tính linh hoạt, khả năng mở rộng và tốc độ mô phỏng của SIAM bằng cách đo điểm chuẩn các DNN nâng cao khác nhau bằng bộ dữ liệu CIFAR-10, CIFAR-100 và ImageNet. Người ta nói rằng so với GPU NVIDIA V100 và T4, kiến trúc chiplet +IMC thu được thông qua SIAM cho thấy hiệu suất năng lượng của ResNet-50 trên bộ dữ liệu ImageNet đã tăng lần lượt là 130 và 72.
Điều này có nghĩa là chip AI tích hợp máy tính lưu trữ dự kiến sẽ đạt được sự tích hợp không đồng nhất với sự trợ giúp của công nghệ Chiplet và công nghệ đóng gói ngăn xếp 2.5D/3D, từ đó hình thành một hệ thống máy tính quy mô lớn. Sự kết hợp giữa lưu trữ và tính toán + Chiplet dường như là một cách khả thi để hiện thực hóa nó. Người ta nói rằng Công nghệ Yizhu đang khám phá con đường này. Con chip thương mại có sức mạnh tính toán lớn tích hợp AI và lưu trữ thế hệ đầu tiên của nó có thể đạt được sức mạnh tính toán của một thẻ duy nhất hơn 500 T. Trong vòng 75 W. Có thể điều này sẽ bắt đầu khúc dạo đầu cho đường cong tăng trưởng thứ hai của sức mạnh điện toán AI.
Phần kết luận
Tại Hội nghị Trí tuệ Nhân tạo Thế giới, Giám đốc điều hành AMD Lisa Su đã nói rằng sẽ có một siêu chu kỳ điện toán quy mô lớn trong mười năm tới, vì vậy đây là thời điểm tốt để trở thành nhà cung cấp công nghệ và nó cũng khác với một số công ty sẽ sử dụng các công nghệ này để phát triển các công nghệ khác nhau. Đây là thời điểm tốt để làm việc với các khách hàng của ứng dụng.
Không ai muốn một ngành chỉ có một người chơi thống trị. Liệu thị trường mô hình quy mô lớn có thể cho phép ngành công nghiệp chip có cấu trúc thị trường mới và những người chơi mới có thể xuất hiện không?
"Thị trường mô hình lớn đã mang đến những mô hình thị trường và cơ hội mới cho ngành công nghiệp chip. Bằng cách thúc đẩy sự phát triển của chip AI, thúc đẩy sự phát triển của thị trường trung tâm dữ liệu và điện toán đám mây, đồng thời tạo ra những thay đổi trong bối cảnh cạnh tranh, sự gia tăng của các mô hình lớn đã mang lại cơ hội mới cho ngành công nghiệp chip.hướng phát triển.
Cần lưu ý rằng ngành công nghiệp chip là một ngành có tính cạnh tranh cao và sử dụng nhiều công nghệ. Việc gia nhập ngành đòi hỏi nguồn lực tài chính và kỹ thuật đáng kể để đáp ứng các yêu cầu phức tạp về sản xuất và R&D. Mặc dù thị trường mô hình quy mô lớn mang lại cơ hội cho những người chơi mới, nhưng họ cần phải vượt qua những thách thức về kỹ thuật, tài chính và tiếp thị để thành công trong ngành công nghiệp chip có tính cạnh tranh cao. ” Chatgpt đã trả lời.