Từ kỷ nguyên khai thác đến kỷ nguyên AI, sức mạnh tính toán của GPU đã phát huy tác dụng trở lại. Cuộc cạnh tranh dự trữ năng lượng điện toán giữa các nhà cung cấp điện toán đám mây trong và ngoài nước đang diễn ra gay gắt...
Byte đã mua 100.000 chiếc thẻ tăng tốc A100 và H800 từ Nvidia, vượt quá 1 tỷ USD (hơn 7 tỷ RMB). Chỉ riêng khối lượng mua của Byte trong năm nay đã gần bằng tổng doanh số bán GPU thương mại của Nvidia tại Trung Quốc vào năm ngoái. , Một doanh nghiệp lớn khác có giá trị đơn hàng ít nhất hơn 1 tỷ nhân dân tệ.
OpenAI, vốn đã sử dụng khoảng 25.000 GPU Nvidia, cho biết vẫn còn thiếu GPU. ChatGPT cần 13,5 EPLOPS sức mạnh tính toán cho mỗi 100 triệu người dùng đang hoạt động, được hỗ trợ bởi khoảng 69.000 máy chủ NVIDIA DGX A100 80G và sức mạnh tính toán toàn cầu hiện tại chỉ có thể hỗ trợ 100 triệu người dùng trực tuyến trung bình hàng ngày ngày càng tăng.
Trong thị trường lưu hành giao ngay của những GPU cao cấp này, thậm chí có nửa người không chuyên cũng háo hức thử khi nhìn thấy cơ hội và đôi mắt của anh ta đầy "gạch vàng".
** A800 ban đầu có giá khoảng 74.000 nhân dân tệ, hiện đã tăng lên hơn 85.000 nhân dân tệ và phiên bản cao cấp đã tăng lên khoảng 100.000 nhân dân tệ. ** Cuối tháng 4, báo giá tương lai cho mô-đun A800 8 thẻ trên thị trường vẫn là 900.000, thời gian giao hàng là 2 tuần, hiện tại báo giá đã lên tới hơn 1 triệu, thời gian giao hàng đã được kéo dài đến 7-8 tuần. Vào tháng 5, A800 thậm chí còn bị sa thải tới 100.000 nhân dân tệ.
"Thời gian giao hàng cho những người bên lề lâu hơn và giá đắt hơn." Những người thiếu một thẻ đã đi mua mô-đun và những người không thể mua mô-đun sau đó đã mua cả máy chủ.
Từ card đơn GPU đến mô-đun đến máy chủ AI đều tăng giá chóng mặt, thiếu hụt nghiêm trọng và thời gian giao hàng ngày càng dài, nhu cầu trên thị trường có thực sự cao như vậy không? Tại sao GPU của Nvidia quá ngắn? Ngoài ra, không có ngày giao hàng đảm bảo cho các sản phẩm chính hãng hoàn toàn mới, thị trường đồ cũ, kênh màu xám, tiền đặt cọc sẽ không được hoàn trả sau khi thanh toán và sự hỗn loạn xung quanh máy chủ AI đang diễn ra...
Hỗn loạn thị trường GPU NVIDIA
"Tôi cần 1.000 hoặc 3.000 vé cùng một lúc và tôi không thể cung cấp chúng. Nhu cầu ở đây là thật hay giả?"
"Chợ tốt không? Tôi có cách lấy hàng, nhưng tôi sợ nó bị đập phá."
**Vào tháng 5, GPU của Nvidia vẫn hết hàng và tăng giá. **
Theo một đại lý, giá Nvidia A100 bắt đầu tăng giá từ tháng 12 năm ngoái, tính đến nửa đầu tháng 4 năm nay, mức tăng giá lũy kế 5 tháng đạt 37,5%, mức tăng giá lũy kế của A800 đạt 20,0% trong suốt thời gian qua. cùng kỳ.
Thời gian giao hàng đã được kéo dài từ một tháng đến ba tháng hoặc lâu hơn và một số đơn đặt hàng mới "có thể không được giao cho đến tháng 12."
Một số nhà sản xuất có lợi thế về số lượng trong máy chủ AI sử dụng tài nguyên GPU trong khi thắt lưng buộc bụng. Microsoft rơi vào tình thế tiến thoái lưỡng nan về sự thiếu hụt phần cứng máy chủ AI trong nội bộ và áp dụng cơ chế "cung cấp hạn ngạch". Vào tháng 6, trong biên bản nói chuyện của Giám đốc điều hành OpenAI Sam Altman đã bị xóa, Open AI cũng thiếu GPU và việc thiếu GPU đã làm trì hoãn nhiều kế hoạch ngắn hạn của khách hàng.
Đứng trên làn sóng trí tuệ nhân tạo, "kẻ bán xẻng" Nvidia giờ đây đã gần như độc chiếm toàn bộ thị trường chip máy chủ AI và trở thành kẻ chiến thắng lớn nhất. trong lịch sử với giá trị thị trường vượt quá 1 nghìn tỷ đô la Mỹ.
Bị ảnh hưởng bởi lệnh cấm của Hoa Kỳ, nguồn cung cấp Nvidia A100 tại chỗ ở quốc gia của tôi đã bị cắt trực tiếp. Có khoảng 40.000 đến 50.000 A100 có thể được sử dụng để đào tạo các mô hình AI lớn ở Trung Quốc. Nguồn cung khá eo hẹp. Việc sử dụng nội bộ bị nghiêm ngặt giới hạn.
Tuy nhiên, A800, phiên bản thiến của A100 hiện đang có nguồn cung bình thường, chỉ mới bắt đầu được sản xuất vào quý 3 năm ngoái, cùng với sự gia tăng của nhu cầu mới, hãng đang phải đối mặt với tình trạng khan hiếm nguồn cung. đến 100.000 nhân dân tệ ở Trung Quốc.
Nói chung, A800, A100, v.v. giá cao được giới truyền thông đưa tin thuộc cấu hình hàng đầu trong dòng này, tức là bộ nhớ GPU là 80G và công nghệ kết nối hỗ trợ phiên bản NVLink.
Một người bạn kinh doanh GPU trên thị trường đã nói với chúng tôi rằng giá A800 trên thị trường giao ngay đang thay đổi hàng ngày và những thay đổi tỷ giá hối đoái ngắn hạn cũng sẽ ảnh hưởng đến giá. Ưu đãi thấp nhất có thể đã tăng lên 86.000."
Khi tình trạng thiếu hụt và tăng giá ngày càng gia tăng, ngày càng có nhiều người tham gia vận chuyển và tìm kiếm GPU, và sự hỗn loạn trên thị trường GPU bắt đầu: hàng loạt yêu cầu, thị trường tương lai phổ biến và tiền gửi cao, và dòng tiền chảy ra từ các kênh đã qua sử dụng. "hố"...
Ấn tượng trực tiếp nhất là nhu cầu ồn ào từ mọi hướng, nhiều nhà thực hành thị trường liên quan đến máy chủ và GPU máy chủ đã báo cáo rằng gần đây do sự phổ biến của AI, nhiều người đã đến để hỏi về thẻ và giá cả, nhưng không nhiều người thực sự có thể thực hiện được. ưu đãi.
Mình đến tìm thẻ A800, A100 đơn, nhu cầu ít, quan tâm đến giá mà nhu cầu lớn, cần trăm nghìn thẻ, nói là giúp khách hàng, bạn bè, anh em buôn bán từ Huaqiangbei được phái đi. Có cảm giác như họ đang định giá.
"Khi bạn nghĩ ra nhiều như vậy, làm thế nào bạn có thể cung cấp nó? Hãy hỏi anh ta xem anh ta có chú ý đến lợi thế về giá hay lợi thế về thời gian giao hàng hay không, và không có thêm thông tin nào." và họ biến mất sau khi hỏi." Giao dịch mua bán dễ dàng.
Hiện tại, có hai kênh phân phối chính để cung cấp GPU cấp doanh nghiệp như Nvidia: một là nhà máy gốc-tổng đại lý-đại lý-thị trường; hai là nhà máy gốc-nhà máy OEM (nhà sản xuất máy chủ)-đại lý- chợ . Những thứ lưu hành trên thị trường giao ngay chủ yếu là phân phối, giải pháp máy chủ hoặc thị trường đồ cũ.
Các sản phẩm cấp doanh nghiệp như vậy bao gồm các khách hàng hạ nguồn như doanh nghiệp, trường học và nhà cung cấp giải pháp máy chủ. Anh Xu, người tập trung vào lĩnh vực kinh doanh máy chủ, cho biết nhu cầu thực sự từ Alibaba và các công ty khác thường là đơn đặt hàng lớn, những khách hàng lớn này được ưu tiên tìm tổng đại lý hoặc OEM máy chủ cấp trên để lấy hàng, và cấp độ thấp hơn là nhỏ Khó có thể tìm được các đại lý và nhà cung cấp linh kiện máy chủ. Cũng có phương tiện truyền thông đưa tin rằng các nhà cung cấp dịch vụ đám mây nói rằng các công ty lớn như Byte và Ali chủ yếu đàm phán trực tiếp với nhà máy sản xuất ban đầu của Nvidia để thu mua, còn các đại lý và chợ đồ cũ rất khó đáp ứng nhu cầu khổng lồ của họ.
Việc thiếu nhu cầu thực trên thị trường giao ngay không ngăn cản mọi người tìm kiếm hàng hóa, nếu hàng giao ngay bán hết, họ phải đặt kỳ hạn, phải chịu tiền đặt cọc cao không được hoàn lại, ngày giao hàng có thể còn xa xa.
Được biết, trên thị trường vẫn còn tồn kho thẻ A800, thẻ A100 gần như "tuyệt chủng", module A800 hiếm hàng nên đành phải chọn hàng kỳ hạn. Lấy ví dụ module A800 8 card, người bán báo giá tổng cộng 1,12 triệu, đặt cọc 50%, thời gian giao hàng 7-8 tuần, không đảm bảo giao hàng đúng hẹn (thời gian giao hàng vẫn còn 6 tuần vài ngày trước) và tiền đặt cọc Không được hoàn lại. Cuối tháng 4, giá module A800 8 thẻ của người bán khác vẫn là 900.000, đặt cọc 30%-50%, thời gian nhận hàng là 2 tuần.
Trong hơn một tháng, có thể thấy rằng mức chênh lệch giá của một mô-đun A800 8 thẻ là hơn 200.000 nhân dân tệ, thời gian giao hàng được kéo dài và tiền đặt cọc cũng có thể tăng lên.
Một người bán tự xưng là nhà máy sản xuất nguồn nói với chúng tôi rằng mô-đun 8 thẻ đang có hàng và những người mua muốn nó đã đặt hàng số tiền lên tới 500 triệu nhân dân tệ, và giờ họ chỉ có thể đợi thông báo đến.
Trả tiền đặt cọc dường như có thể xếp hàng sớm, nhưng rủi ro cao cùng tồn tại. Lấy mô-đun 8 thẻ A800 làm ví dụ, thường phải đặt cọc 50%, mô-đun 80G NV A800 hàng đầu là hơn 1 triệu, đặt cọc ít nhất 500.000, một khi đặt cọc là thanh toán, nó là không hoàn lại. Một người mua hàng trên mạng cho biết 10 thẻ đơn đặt hàng hồi tháng 3 và tháng 4 năm nay vẫn chưa nhận được hàng.
Thời gian giao hàng mà nhiều người bán hứa hẹn không được đảm bảo, giá cơ bản cao, tỷ lệ đặt cọc cũng cao nên số tiền thực cần phải trả nhiều hơn. Nếu bạn không nhận được hàng, bạn chỉ có thể chờ đợi, sau cùng thì tiền đã được thanh toán.
**Nếu bạn có một lô A800 và A100 trong kho, trong mắt mọi người, chúng không phải là card đồ họa thông thường, chúng là cục gạch vàng. **
Có người thấy sức nóng muốn kinh doanh GPU nhưng lại sợ hàng về tay, đối với những nhà đầu cơ cá nhân chạy theo lợi nhuận thì lại nghi ngờ nhu cầu thực, giá quá cao, không đáng là nến.
Hàng cũ ra đời không ngừng, có người tái chế chip AI cũ với giá cao, chưa nói đến nơi sử dụng, chế độ bảo hành của loại GPU này đã là cả một vấn đề.
Năng lực sản xuất thượng nguồn khẩn cấp: không thiếu quy trình sản xuất tiên tiến, vấn đề nằm ở đâu?
Sau khi ChatGPT trở nên phổ biến, các công ty Internet và nhà cung cấp đám mây đã triển khai rộng rãi hơn các mô hình AI lớn để cạnh tranh sức mạnh tính toán lớn của GPU Nvidia, thứ còn thiếu không chỉ A100 và A800 mà còn cả H100 và H800 cao cấp hơn. Có người hỏi, năng lực sản xuất wafer không thiếu, tại sao không cung cấp được GPU?
"Hiệu suất GPU tăng 1000 lần cứ sau 10 năm", "càng mua nhiều, bạn càng tiết kiệm", Định luật Huang sẽ thay thế Định luật Moore. Mặc dù các quy trình sản xuất tiên tiến có thể cải thiện hiệu suất của GPU, nhưng Định luật Moore đã kết thúc. và Mục đích của máy chủ khác với yêu cầu về không gian khắt khe của chip điện thoại di động. Nếu quy trình sản xuất tiên tiến là lựa chọn đầu tiên cho GPU, thì việc đóng gói tiên tiến chính là điểm nhấn trên chiếc bánh.
Sản xuất GPU với quy trình sản xuất tiên tiến là chưa đủ, đây là một bước tiến lớn để cải thiện hiệu suất của GPU dưới những hạn chế của quy trình sản xuất chip hiện tại bằng cách làm cho khối lượng đóng gói nhỏ, tiêu thụ điện năng thấp và ít chân cắm hơn để đạt được sự kết nối chặt chẽ hơn giữa các chip , chip, và chất nền đóng gói. . Với bất kỳ công nghệ nào trong số bốn công nghệ Bump, RDL, Wafer và TSV kỳ diệu của bao bì tiên tiến, các kỹ năng đóng gói mới có thể được phát huy.
V100, A100, A800, H100, v.v. của Nvidia đều áp dụng công nghệ đóng gói tiên tiến CoWoS của TSMC, giải quyết vấn đề "tích hợp lưu trữ và tính toán" của chip dưới nền tảng AI có sức mạnh tính toán cao. Tuy nhiên, công suất xưởng đúc wafer 7nm của TSMC thực sự không thiếu, nhưng lúc này sự thiếu hụt vẫn đổ lên TSMC.
**Trước hết, công nghệ cốt lõi của bao bì tiên tiến CoWoS chỉ có thể được thực hiện bởi TSMC và không thể thực hiện được nếu không có TSMC. **
Tấm wafer đóng gói tiên tiến hiện đang thiếu, công nghệ trong đó là bằng sáng chế của TSMC và Nvidia chỉ có thể tìm TSMC làm được, quy trình sản xuất tiên tiến và đóng gói tiên tiến đã được TSMC nắm chắc. Vào năm 2012, TSMC đã ra mắt công nghệ đóng gói tiên tiến CoWoS độc đáo của mình và kể từ đó có dịch vụ một cửa từ xưởng đúc wafer đến đóng gói thiết bị đầu cuối. Dòng CoWoS bao gồm CoWoS-S và CoWoS-L/R và các bộ phận khác, đồng thời khách hàng tương ứng với các ứng dụng điện toán tốc độ cao bao gồm nhiều nhà sản xuất hạng nhất như NVIDIA. Ngoài ra, hầu hết các dòng bao bì cao cấp của InFO đều được Apple đóng gói.
Bạn nói gia công phần mềm? Quy trình công nghệ thấp thì không sao, nhưng công nghệ cốt lõi không có TSMC thì vẫn chưa đủ, các nhà máy đóng gói khác chỉ biết ăn cháo đá bát.
Gần đây, để đáp ứng nhu cầu tạm thời, TSMC đã áp dụng phương thức thuê ngoài và thuê thầu phụ một phần hệ điều hành (trên chất nền), nhưng không phải là thuê ngoài quy trình CoWoS.TSMC vẫn đang tập trung vào phần đóng gói tiên tiến có giá trị nhất.
TSMC đã đạt được quy trình đóng gói một cửa từ xưởng đúc wafer. Google TPU, GPU Nvidia và AMD MI300, đều có các nhà sản xuất chip AI thế hệ mới nhập khẩu, đã đóng góp một số lượng lớn đơn đặt hàng AIGC cho TSMC, thúc đẩy nhu cầu mở rộng CoWoS.
Thứ hai, loại bao bì tiên tiến này cũng tiêu tốn năng lực sản xuất bao bì tương ứng, hiện đang thiếu hụt.
Một mặt, bao bì tiên tiến đang phát triển hướng tới lĩnh vực quy trình wafer ngược dòng, nghĩa là bao bì cấp wafer, chứa nhiều chân hơn trong khu vực đóng gói nhỏ hơn, mặt khác, nó đang mở rộng sang lĩnh vực mô-đun hạ lưu và phát triển hệ thống trong gói. Gần đây, @手机chip达人 đã tiết lộ rằng quy trình CoWoS được chia thành bộ xen kẽ của quy trình wafer phía trước và khuôn xếp chồng lên nhau từ đầu đến cuối của bao bì phía sau. Việc thiếu năng lực sản xuất CoWoS của TSMC là do việc thiếu bộ xen kẽ 65nm.
Bộ xen kẽ (interposer) ở đây áp dụng công nghệ Wafer (tấm bán dẫn), ví dụ: giải pháp công nghệ đóng gói CoWoS của TSMC là công nghệ đóng gói 2.5D, đóng gói chip vào bộ xen kẽ silicon (bộ xen kẽ) và sử dụng wafer mật độ cao trên bộ xen kẽ silicon. Hệ thống dây điện được sử dụng để kết nối với nhau và sau đó được gắn trên đế gói.
Do đó, GPU yêu cầu các tấm wafer bổ sung trong quy trình đóng gói nâng cao, tức là dung lượng CoWoS. Vốn nước ngoài Nomura Securities kỳ vọng rằng năng lực sản xuất CoWoS hàng năm của TSMC sẽ tăng từ 70.000 lên 80.000 tấm wafer vào cuối năm 2022 lên 140.000 đến 150.000 tấm wafer vào cuối năm 2023. Với việc không ngừng mở rộng năng lực sản xuất, ước tính năng lực sản xuất của 200.000 tấm wafer sẽ được thử thách vào cuối năm 2024.
Việc lấp đầy khoảng trống về năng lực đóng gói ở mức wafer đã trở thành ưu tiên hàng đầu. Hơn nữa, với sự phát triển không ngừng của công nghệ wafer, diện tích wafer đang dần tăng lên, so với InFO, CoWoS dành cho thị trường cao cấp có số lượng kết nối và kích thước gói tương đối lớn. Theo @手机chip达人, nhu cầu về bộ xen kẽ 65nm cao hơn 1,4 lần so với khuôn trên (H100).
Năng lực sản xuất bao bì CoWoS tiên tiến của TSMC đang bị thiếu hụt nghiêm trọng Kể từ năm ngoái, nhu cầu về CoWoS của TSMC đã tăng gần gấp đôi và nhu cầu sẽ tiếp tục tăng mạnh trong năm tới. Đóng gói tiên tiến chỉ có thể được thực hiện bởi nhà máy Đài Loan của TSMC và TSMC đang trực tiếp triển khai và mở rộng tại từng nhà máy để đẩy nhanh tiến độ của quy trình đóng gói tiên tiến.
"Thiếu card đồ họa" cháy máy chủ cháy thật hay cháy giả?
Đối với những người mua thực sự có nhu cầu, việc sử dụng card đồ họa cao cấp như vậy thực chất là dùng cho máy chủ AI, hoặc thiếu card, hoặc module, hoặc máy hoàn chỉnh. ** Nhưng về nhu cầu thực sự, "BRIC" thực sự thua kém các máy chủ. **
GPU cho AI đang thiếu tăng giá và giá của các máy chủ được trang bị chúng đang tăng lên.Ngay từ tháng 4, đã có thông tin rằng Inspur sẽ tăng giá máy chủ AI lên khoảng 20%, sau khi Nvidia chấm dứt việc cung cấp chip A100 và H100 hàng đầu của nó trước quyết định của Trung Quốc. Các nguồn tin sau đó xác nhận mức tăng không được nêu cụ thể, một nguồn tin khác cho biết nhà cung cấp máy chủ chỉ tăng giá máy chủ Nvidia AI, còn giá các sản phẩm máy chủ khác không thay đổi.
Theo dữ liệu từ Pacific Securities, 8 vật tư tiêu hao máy chủ hàng đầu trên thị trường máy chủ AI của Trung Quốc sẽ chiếm 92% vào năm 2022 và Inspur sẽ đứng đầu danh sách với 37%. Tiết lộ tài chính của Inspur cho thấy Nvidia là nhà cung cấp chip chính của họ. Năm 2019, Intel và Nvidia là hai nhà cung cấp chip hàng đầu của Inspur.
Một card GPU tương đương với một thành phần của máy chủ. Nhu cầu về một card đơn lẻ nhạy cảm hơn về giá. Máy chủ cần sử dụng nhiều mô-đun GPU, với tối đa 8 card. Ngay cả phiên bản PCle của máy chủ hiện cũng có giá khoảng 800.000 nhân dân tệ, và phiên bản NV là 100.000 nhân dân tệ.triệu đồng.
Hiện tại, giá tương lai của A800 là hơn 1,2 triệu nhân dân tệ và giá giao ngay tương đối nhỏ, theo nhân viên bán hàng của một nhà cung cấp dịch vụ máy tính nổi tiếng, giá giao ngay của máy A800 là 1,68 triệu nhân dân tệ và tiền đặt cọc là 50% "Có 35 chiếc vào cuối tháng 7. 25 chiếc đã được đặt hàng." Kể cả dùng cho doanh nghiệp thì giá cũng không hề rẻ. Hơn nữa, theo tin tức thị trường, thời gian giao hàng bình thường của máy A800 đã được lên lịch đến cuối tháng 10, thậm chí nhiều người bán còn báo trực tiếp 24 tuần, thời gian giao hàng gần 6 tháng.
Trong mắt một số bạn đang kinh doanh toàn bộ máy chủ, GPU có phổ biến đến đâu cũng không bằng máy chủ sát với nhu cầu thực, kinh doanh cũng dễ dàng hơn. Anh Xu cho biết anh hiện đang tập trung vào máy chủ, không có hứng thú với thẻ lẻ, bán máy chủ là gửi cấu hình cho khách hàng trước khi báo giá, thẻ rắc rối hơn, còn tùy giao diện có tương thích hay không... Tóm lại , máy chủ tương đối rẻ, thành thật mà nói, có nhiều giao dịch hơn và tỷ lệ doanh thu cao. Còn thẻ thì chỉ là hỏi nhiều thôi, lượng giao dịch ít quá, chỉ có công ty lớn mới hỏi nhiều thôi. “Cái nào cần nhiều thì gần như cho cả máy, còn cái nào ít thì hết thẻ”.
Trong một loạt các nhu cầu của khách hàng, không phải tất cả các máy chủ AI đều là hàng đầu khi chúng xuất hiện và có rất nhiều nhu cầu khi chúng xuất hiện. Cho dù đó là máy chủ A800 PCIE, máy chủ NVlinvk hay máy chủ H800 HGX, v.v., các doanh nghiệp sẽ chọn cấu hình theo các nhu cầu khác nhau. Tất nhiên, giá của máy chủ sẽ minh bạch hơn và sẽ có nhiều cơ hội so sánh giá hơn.
GPU và đĩa cứng là một trong những phụ kiện của máy chủ, hiện nay AI đã trở nên phổ biến trong các máy chủ liên quan, GPU cao cấp như A800 chiếm giá thành cao và khan hiếm. cũng đi đầu.
**Chỉ riêng việc thiếu GPU đã hạn chế nguồn cung thông thường của máy chủ AI, thứ dường như đang hot trên thị trường, nhưng lại đi kèm với nhiều nhu cầu sai lầm hơn. **
Làn sóng sốt GPU này gợi nhớ đến năm 2020, khi những người đàn ông điên cuồng đầu cơ vào việc kinh doanh súng đo nhiệt độ, lúc đó, hiệu ứng phân chia của vòng bạn bè dẫn đến nhu cầu giả trên thị trường lớn hơn vô tận so với thực tế. yêu cầu. Do đó, nguồn cung bị thiếu hụt, giá giao ngay cao hơn nhiều so với giá tương lai, thời gian giao hàng không được đảm bảo và chi phí mặc định của người bán thấp.
Những ngày thiếu hụt chip nghiêm trọng đã kết thúc.Mặc dù năng lực sản xuất GPU cao cấp sẽ không còn trong một thời gian nữa, nhưng các rào cản nhu cầu cấp doanh nghiệp tương ứng là tương đối cao, đòi hỏi phải có hỗ trợ kỹ thuật chính thức và dịch vụ hậu mãi, cùng với nhu cầu tăng mạnh, tất cả đều được đề xuất cho mọi người, nếu không có sự chăm chỉ lâu dài và nền tảng vững chắc, chỉ dựa vào các phương tiện cơ hội thì khó có thể bắt kịp xu hướng.
Xem bản gốc
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Giành lấy "cơm ăn cỏ" cuộc chiến AI, giá card đồ họa AI của Nvidia tăng chóng mặt
Nguyên văn: Shinsei
Từ kỷ nguyên khai thác đến kỷ nguyên AI, sức mạnh tính toán của GPU đã phát huy tác dụng trở lại. Cuộc cạnh tranh dự trữ năng lượng điện toán giữa các nhà cung cấp điện toán đám mây trong và ngoài nước đang diễn ra gay gắt...
Byte đã mua 100.000 chiếc thẻ tăng tốc A100 và H800 từ Nvidia, vượt quá 1 tỷ USD (hơn 7 tỷ RMB). Chỉ riêng khối lượng mua của Byte trong năm nay đã gần bằng tổng doanh số bán GPU thương mại của Nvidia tại Trung Quốc vào năm ngoái. , Một doanh nghiệp lớn khác có giá trị đơn hàng ít nhất hơn 1 tỷ nhân dân tệ.
OpenAI, vốn đã sử dụng khoảng 25.000 GPU Nvidia, cho biết vẫn còn thiếu GPU. ChatGPT cần 13,5 EPLOPS sức mạnh tính toán cho mỗi 100 triệu người dùng đang hoạt động, được hỗ trợ bởi khoảng 69.000 máy chủ NVIDIA DGX A100 80G và sức mạnh tính toán toàn cầu hiện tại chỉ có thể hỗ trợ 100 triệu người dùng trực tuyến trung bình hàng ngày ngày càng tăng.
Trong thị trường lưu hành giao ngay của những GPU cao cấp này, thậm chí có nửa người không chuyên cũng háo hức thử khi nhìn thấy cơ hội và đôi mắt của anh ta đầy "gạch vàng".
** A800 ban đầu có giá khoảng 74.000 nhân dân tệ, hiện đã tăng lên hơn 85.000 nhân dân tệ và phiên bản cao cấp đã tăng lên khoảng 100.000 nhân dân tệ. ** Cuối tháng 4, báo giá tương lai cho mô-đun A800 8 thẻ trên thị trường vẫn là 900.000, thời gian giao hàng là 2 tuần, hiện tại báo giá đã lên tới hơn 1 triệu, thời gian giao hàng đã được kéo dài đến 7-8 tuần. Vào tháng 5, A800 thậm chí còn bị sa thải tới 100.000 nhân dân tệ.
"Thời gian giao hàng cho những người bên lề lâu hơn và giá đắt hơn." Những người thiếu một thẻ đã đi mua mô-đun và những người không thể mua mô-đun sau đó đã mua cả máy chủ.
Từ card đơn GPU đến mô-đun đến máy chủ AI đều tăng giá chóng mặt, thiếu hụt nghiêm trọng và thời gian giao hàng ngày càng dài, nhu cầu trên thị trường có thực sự cao như vậy không? Tại sao GPU của Nvidia quá ngắn? Ngoài ra, không có ngày giao hàng đảm bảo cho các sản phẩm chính hãng hoàn toàn mới, thị trường đồ cũ, kênh màu xám, tiền đặt cọc sẽ không được hoàn trả sau khi thanh toán và sự hỗn loạn xung quanh máy chủ AI đang diễn ra...
Hỗn loạn thị trường GPU NVIDIA
"Tôi cần 1.000 hoặc 3.000 vé cùng một lúc và tôi không thể cung cấp chúng. Nhu cầu ở đây là thật hay giả?"
"Chợ tốt không? Tôi có cách lấy hàng, nhưng tôi sợ nó bị đập phá."
**Vào tháng 5, GPU của Nvidia vẫn hết hàng và tăng giá. **
Theo một đại lý, giá Nvidia A100 bắt đầu tăng giá từ tháng 12 năm ngoái, tính đến nửa đầu tháng 4 năm nay, mức tăng giá lũy kế 5 tháng đạt 37,5%, mức tăng giá lũy kế của A800 đạt 20,0% trong suốt thời gian qua. cùng kỳ.
Thời gian giao hàng đã được kéo dài từ một tháng đến ba tháng hoặc lâu hơn và một số đơn đặt hàng mới "có thể không được giao cho đến tháng 12."
Một số nhà sản xuất có lợi thế về số lượng trong máy chủ AI sử dụng tài nguyên GPU trong khi thắt lưng buộc bụng. Microsoft rơi vào tình thế tiến thoái lưỡng nan về sự thiếu hụt phần cứng máy chủ AI trong nội bộ và áp dụng cơ chế "cung cấp hạn ngạch". Vào tháng 6, trong biên bản nói chuyện của Giám đốc điều hành OpenAI Sam Altman đã bị xóa, Open AI cũng thiếu GPU và việc thiếu GPU đã làm trì hoãn nhiều kế hoạch ngắn hạn của khách hàng.
Đứng trên làn sóng trí tuệ nhân tạo, "kẻ bán xẻng" Nvidia giờ đây đã gần như độc chiếm toàn bộ thị trường chip máy chủ AI và trở thành kẻ chiến thắng lớn nhất. trong lịch sử với giá trị thị trường vượt quá 1 nghìn tỷ đô la Mỹ.
Bị ảnh hưởng bởi lệnh cấm của Hoa Kỳ, nguồn cung cấp Nvidia A100 tại chỗ ở quốc gia của tôi đã bị cắt trực tiếp. Có khoảng 40.000 đến 50.000 A100 có thể được sử dụng để đào tạo các mô hình AI lớn ở Trung Quốc. Nguồn cung khá eo hẹp. Việc sử dụng nội bộ bị nghiêm ngặt giới hạn.
Tuy nhiên, A800, phiên bản thiến của A100 hiện đang có nguồn cung bình thường, chỉ mới bắt đầu được sản xuất vào quý 3 năm ngoái, cùng với sự gia tăng của nhu cầu mới, hãng đang phải đối mặt với tình trạng khan hiếm nguồn cung. đến 100.000 nhân dân tệ ở Trung Quốc.
Nói chung, A800, A100, v.v. giá cao được giới truyền thông đưa tin thuộc cấu hình hàng đầu trong dòng này, tức là bộ nhớ GPU là 80G và công nghệ kết nối hỗ trợ phiên bản NVLink.
Một người bạn kinh doanh GPU trên thị trường đã nói với chúng tôi rằng giá A800 trên thị trường giao ngay đang thay đổi hàng ngày và những thay đổi tỷ giá hối đoái ngắn hạn cũng sẽ ảnh hưởng đến giá. Ưu đãi thấp nhất có thể đã tăng lên 86.000."
Khi tình trạng thiếu hụt và tăng giá ngày càng gia tăng, ngày càng có nhiều người tham gia vận chuyển và tìm kiếm GPU, và sự hỗn loạn trên thị trường GPU bắt đầu: hàng loạt yêu cầu, thị trường tương lai phổ biến và tiền gửi cao, và dòng tiền chảy ra từ các kênh đã qua sử dụng. "hố"...
Ấn tượng trực tiếp nhất là nhu cầu ồn ào từ mọi hướng, nhiều nhà thực hành thị trường liên quan đến máy chủ và GPU máy chủ đã báo cáo rằng gần đây do sự phổ biến của AI, nhiều người đã đến để hỏi về thẻ và giá cả, nhưng không nhiều người thực sự có thể thực hiện được. ưu đãi.
Mình đến tìm thẻ A800, A100 đơn, nhu cầu ít, quan tâm đến giá mà nhu cầu lớn, cần trăm nghìn thẻ, nói là giúp khách hàng, bạn bè, anh em buôn bán từ Huaqiangbei được phái đi. Có cảm giác như họ đang định giá.
"Khi bạn nghĩ ra nhiều như vậy, làm thế nào bạn có thể cung cấp nó? Hãy hỏi anh ta xem anh ta có chú ý đến lợi thế về giá hay lợi thế về thời gian giao hàng hay không, và không có thêm thông tin nào." và họ biến mất sau khi hỏi." Giao dịch mua bán dễ dàng.
Hiện tại, có hai kênh phân phối chính để cung cấp GPU cấp doanh nghiệp như Nvidia: một là nhà máy gốc-tổng đại lý-đại lý-thị trường; hai là nhà máy gốc-nhà máy OEM (nhà sản xuất máy chủ)-đại lý- chợ . Những thứ lưu hành trên thị trường giao ngay chủ yếu là phân phối, giải pháp máy chủ hoặc thị trường đồ cũ.
Các sản phẩm cấp doanh nghiệp như vậy bao gồm các khách hàng hạ nguồn như doanh nghiệp, trường học và nhà cung cấp giải pháp máy chủ. Anh Xu, người tập trung vào lĩnh vực kinh doanh máy chủ, cho biết nhu cầu thực sự từ Alibaba và các công ty khác thường là đơn đặt hàng lớn, những khách hàng lớn này được ưu tiên tìm tổng đại lý hoặc OEM máy chủ cấp trên để lấy hàng, và cấp độ thấp hơn là nhỏ Khó có thể tìm được các đại lý và nhà cung cấp linh kiện máy chủ. Cũng có phương tiện truyền thông đưa tin rằng các nhà cung cấp dịch vụ đám mây nói rằng các công ty lớn như Byte và Ali chủ yếu đàm phán trực tiếp với nhà máy sản xuất ban đầu của Nvidia để thu mua, còn các đại lý và chợ đồ cũ rất khó đáp ứng nhu cầu khổng lồ của họ.
Việc thiếu nhu cầu thực trên thị trường giao ngay không ngăn cản mọi người tìm kiếm hàng hóa, nếu hàng giao ngay bán hết, họ phải đặt kỳ hạn, phải chịu tiền đặt cọc cao không được hoàn lại, ngày giao hàng có thể còn xa xa.
Được biết, trên thị trường vẫn còn tồn kho thẻ A800, thẻ A100 gần như "tuyệt chủng", module A800 hiếm hàng nên đành phải chọn hàng kỳ hạn. Lấy ví dụ module A800 8 card, người bán báo giá tổng cộng 1,12 triệu, đặt cọc 50%, thời gian giao hàng 7-8 tuần, không đảm bảo giao hàng đúng hẹn (thời gian giao hàng vẫn còn 6 tuần vài ngày trước) và tiền đặt cọc Không được hoàn lại. Cuối tháng 4, giá module A800 8 thẻ của người bán khác vẫn là 900.000, đặt cọc 30%-50%, thời gian nhận hàng là 2 tuần.
Trong hơn một tháng, có thể thấy rằng mức chênh lệch giá của một mô-đun A800 8 thẻ là hơn 200.000 nhân dân tệ, thời gian giao hàng được kéo dài và tiền đặt cọc cũng có thể tăng lên.
Một người bán tự xưng là nhà máy sản xuất nguồn nói với chúng tôi rằng mô-đun 8 thẻ đang có hàng và những người mua muốn nó đã đặt hàng số tiền lên tới 500 triệu nhân dân tệ, và giờ họ chỉ có thể đợi thông báo đến.
Trả tiền đặt cọc dường như có thể xếp hàng sớm, nhưng rủi ro cao cùng tồn tại. Lấy mô-đun 8 thẻ A800 làm ví dụ, thường phải đặt cọc 50%, mô-đun 80G NV A800 hàng đầu là hơn 1 triệu, đặt cọc ít nhất 500.000, một khi đặt cọc là thanh toán, nó là không hoàn lại. Một người mua hàng trên mạng cho biết 10 thẻ đơn đặt hàng hồi tháng 3 và tháng 4 năm nay vẫn chưa nhận được hàng.
Thời gian giao hàng mà nhiều người bán hứa hẹn không được đảm bảo, giá cơ bản cao, tỷ lệ đặt cọc cũng cao nên số tiền thực cần phải trả nhiều hơn. Nếu bạn không nhận được hàng, bạn chỉ có thể chờ đợi, sau cùng thì tiền đã được thanh toán.
**Nếu bạn có một lô A800 và A100 trong kho, trong mắt mọi người, chúng không phải là card đồ họa thông thường, chúng là cục gạch vàng. **
Có người thấy sức nóng muốn kinh doanh GPU nhưng lại sợ hàng về tay, đối với những nhà đầu cơ cá nhân chạy theo lợi nhuận thì lại nghi ngờ nhu cầu thực, giá quá cao, không đáng là nến.
Hàng cũ ra đời không ngừng, có người tái chế chip AI cũ với giá cao, chưa nói đến nơi sử dụng, chế độ bảo hành của loại GPU này đã là cả một vấn đề.
Năng lực sản xuất thượng nguồn khẩn cấp: không thiếu quy trình sản xuất tiên tiến, vấn đề nằm ở đâu?
Sau khi ChatGPT trở nên phổ biến, các công ty Internet và nhà cung cấp đám mây đã triển khai rộng rãi hơn các mô hình AI lớn để cạnh tranh sức mạnh tính toán lớn của GPU Nvidia, thứ còn thiếu không chỉ A100 và A800 mà còn cả H100 và H800 cao cấp hơn. Có người hỏi, năng lực sản xuất wafer không thiếu, tại sao không cung cấp được GPU?
"Hiệu suất GPU tăng 1000 lần cứ sau 10 năm", "càng mua nhiều, bạn càng tiết kiệm", Định luật Huang sẽ thay thế Định luật Moore. Mặc dù các quy trình sản xuất tiên tiến có thể cải thiện hiệu suất của GPU, nhưng Định luật Moore đã kết thúc. và Mục đích của máy chủ khác với yêu cầu về không gian khắt khe của chip điện thoại di động. Nếu quy trình sản xuất tiên tiến là lựa chọn đầu tiên cho GPU, thì việc đóng gói tiên tiến chính là điểm nhấn trên chiếc bánh.
Sản xuất GPU với quy trình sản xuất tiên tiến là chưa đủ, đây là một bước tiến lớn để cải thiện hiệu suất của GPU dưới những hạn chế của quy trình sản xuất chip hiện tại bằng cách làm cho khối lượng đóng gói nhỏ, tiêu thụ điện năng thấp và ít chân cắm hơn để đạt được sự kết nối chặt chẽ hơn giữa các chip , chip, và chất nền đóng gói. . Với bất kỳ công nghệ nào trong số bốn công nghệ Bump, RDL, Wafer và TSV kỳ diệu của bao bì tiên tiến, các kỹ năng đóng gói mới có thể được phát huy.
**Trước hết, công nghệ cốt lõi của bao bì tiên tiến CoWoS chỉ có thể được thực hiện bởi TSMC và không thể thực hiện được nếu không có TSMC. **
Tấm wafer đóng gói tiên tiến hiện đang thiếu, công nghệ trong đó là bằng sáng chế của TSMC và Nvidia chỉ có thể tìm TSMC làm được, quy trình sản xuất tiên tiến và đóng gói tiên tiến đã được TSMC nắm chắc. Vào năm 2012, TSMC đã ra mắt công nghệ đóng gói tiên tiến CoWoS độc đáo của mình và kể từ đó có dịch vụ một cửa từ xưởng đúc wafer đến đóng gói thiết bị đầu cuối. Dòng CoWoS bao gồm CoWoS-S và CoWoS-L/R và các bộ phận khác, đồng thời khách hàng tương ứng với các ứng dụng điện toán tốc độ cao bao gồm nhiều nhà sản xuất hạng nhất như NVIDIA. Ngoài ra, hầu hết các dòng bao bì cao cấp của InFO đều được Apple đóng gói.
Bạn nói gia công phần mềm? Quy trình công nghệ thấp thì không sao, nhưng công nghệ cốt lõi không có TSMC thì vẫn chưa đủ, các nhà máy đóng gói khác chỉ biết ăn cháo đá bát.
Gần đây, để đáp ứng nhu cầu tạm thời, TSMC đã áp dụng phương thức thuê ngoài và thuê thầu phụ một phần hệ điều hành (trên chất nền), nhưng không phải là thuê ngoài quy trình CoWoS.TSMC vẫn đang tập trung vào phần đóng gói tiên tiến có giá trị nhất.
TSMC đã đạt được quy trình đóng gói một cửa từ xưởng đúc wafer. Google TPU, GPU Nvidia và AMD MI300, đều có các nhà sản xuất chip AI thế hệ mới nhập khẩu, đã đóng góp một số lượng lớn đơn đặt hàng AIGC cho TSMC, thúc đẩy nhu cầu mở rộng CoWoS.
Thứ hai, loại bao bì tiên tiến này cũng tiêu tốn năng lực sản xuất bao bì tương ứng, hiện đang thiếu hụt.
Một mặt, bao bì tiên tiến đang phát triển hướng tới lĩnh vực quy trình wafer ngược dòng, nghĩa là bao bì cấp wafer, chứa nhiều chân hơn trong khu vực đóng gói nhỏ hơn, mặt khác, nó đang mở rộng sang lĩnh vực mô-đun hạ lưu và phát triển hệ thống trong gói. Gần đây, @手机chip达人 đã tiết lộ rằng quy trình CoWoS được chia thành bộ xen kẽ của quy trình wafer phía trước và khuôn xếp chồng lên nhau từ đầu đến cuối của bao bì phía sau. Việc thiếu năng lực sản xuất CoWoS của TSMC là do việc thiếu bộ xen kẽ 65nm.
Do đó, GPU yêu cầu các tấm wafer bổ sung trong quy trình đóng gói nâng cao, tức là dung lượng CoWoS. Vốn nước ngoài Nomura Securities kỳ vọng rằng năng lực sản xuất CoWoS hàng năm của TSMC sẽ tăng từ 70.000 lên 80.000 tấm wafer vào cuối năm 2022 lên 140.000 đến 150.000 tấm wafer vào cuối năm 2023. Với việc không ngừng mở rộng năng lực sản xuất, ước tính năng lực sản xuất của 200.000 tấm wafer sẽ được thử thách vào cuối năm 2024.
Việc lấp đầy khoảng trống về năng lực đóng gói ở mức wafer đã trở thành ưu tiên hàng đầu. Hơn nữa, với sự phát triển không ngừng của công nghệ wafer, diện tích wafer đang dần tăng lên, so với InFO, CoWoS dành cho thị trường cao cấp có số lượng kết nối và kích thước gói tương đối lớn. Theo @手机chip达人, nhu cầu về bộ xen kẽ 65nm cao hơn 1,4 lần so với khuôn trên (H100).
Năng lực sản xuất bao bì CoWoS tiên tiến của TSMC đang bị thiếu hụt nghiêm trọng Kể từ năm ngoái, nhu cầu về CoWoS của TSMC đã tăng gần gấp đôi và nhu cầu sẽ tiếp tục tăng mạnh trong năm tới. Đóng gói tiên tiến chỉ có thể được thực hiện bởi nhà máy Đài Loan của TSMC và TSMC đang trực tiếp triển khai và mở rộng tại từng nhà máy để đẩy nhanh tiến độ của quy trình đóng gói tiên tiến.
"Thiếu card đồ họa" cháy máy chủ cháy thật hay cháy giả?
Đối với những người mua thực sự có nhu cầu, việc sử dụng card đồ họa cao cấp như vậy thực chất là dùng cho máy chủ AI, hoặc thiếu card, hoặc module, hoặc máy hoàn chỉnh. ** Nhưng về nhu cầu thực sự, "BRIC" thực sự thua kém các máy chủ. **
GPU cho AI đang thiếu tăng giá và giá của các máy chủ được trang bị chúng đang tăng lên.Ngay từ tháng 4, đã có thông tin rằng Inspur sẽ tăng giá máy chủ AI lên khoảng 20%, sau khi Nvidia chấm dứt việc cung cấp chip A100 và H100 hàng đầu của nó trước quyết định của Trung Quốc. Các nguồn tin sau đó xác nhận mức tăng không được nêu cụ thể, một nguồn tin khác cho biết nhà cung cấp máy chủ chỉ tăng giá máy chủ Nvidia AI, còn giá các sản phẩm máy chủ khác không thay đổi.
Theo dữ liệu từ Pacific Securities, 8 vật tư tiêu hao máy chủ hàng đầu trên thị trường máy chủ AI của Trung Quốc sẽ chiếm 92% vào năm 2022 và Inspur sẽ đứng đầu danh sách với 37%. Tiết lộ tài chính của Inspur cho thấy Nvidia là nhà cung cấp chip chính của họ. Năm 2019, Intel và Nvidia là hai nhà cung cấp chip hàng đầu của Inspur.
Một card GPU tương đương với một thành phần của máy chủ. Nhu cầu về một card đơn lẻ nhạy cảm hơn về giá. Máy chủ cần sử dụng nhiều mô-đun GPU, với tối đa 8 card. Ngay cả phiên bản PCle của máy chủ hiện cũng có giá khoảng 800.000 nhân dân tệ, và phiên bản NV là 100.000 nhân dân tệ.triệu đồng.
Hiện tại, giá tương lai của A800 là hơn 1,2 triệu nhân dân tệ và giá giao ngay tương đối nhỏ, theo nhân viên bán hàng của một nhà cung cấp dịch vụ máy tính nổi tiếng, giá giao ngay của máy A800 là 1,68 triệu nhân dân tệ và tiền đặt cọc là 50% "Có 35 chiếc vào cuối tháng 7. 25 chiếc đã được đặt hàng." Kể cả dùng cho doanh nghiệp thì giá cũng không hề rẻ. Hơn nữa, theo tin tức thị trường, thời gian giao hàng bình thường của máy A800 đã được lên lịch đến cuối tháng 10, thậm chí nhiều người bán còn báo trực tiếp 24 tuần, thời gian giao hàng gần 6 tháng.
Trong mắt một số bạn đang kinh doanh toàn bộ máy chủ, GPU có phổ biến đến đâu cũng không bằng máy chủ sát với nhu cầu thực, kinh doanh cũng dễ dàng hơn. Anh Xu cho biết anh hiện đang tập trung vào máy chủ, không có hứng thú với thẻ lẻ, bán máy chủ là gửi cấu hình cho khách hàng trước khi báo giá, thẻ rắc rối hơn, còn tùy giao diện có tương thích hay không... Tóm lại , máy chủ tương đối rẻ, thành thật mà nói, có nhiều giao dịch hơn và tỷ lệ doanh thu cao. Còn thẻ thì chỉ là hỏi nhiều thôi, lượng giao dịch ít quá, chỉ có công ty lớn mới hỏi nhiều thôi. “Cái nào cần nhiều thì gần như cho cả máy, còn cái nào ít thì hết thẻ”.
Trong một loạt các nhu cầu của khách hàng, không phải tất cả các máy chủ AI đều là hàng đầu khi chúng xuất hiện và có rất nhiều nhu cầu khi chúng xuất hiện. Cho dù đó là máy chủ A800 PCIE, máy chủ NVlinvk hay máy chủ H800 HGX, v.v., các doanh nghiệp sẽ chọn cấu hình theo các nhu cầu khác nhau. Tất nhiên, giá của máy chủ sẽ minh bạch hơn và sẽ có nhiều cơ hội so sánh giá hơn.
GPU và đĩa cứng là một trong những phụ kiện của máy chủ, hiện nay AI đã trở nên phổ biến trong các máy chủ liên quan, GPU cao cấp như A800 chiếm giá thành cao và khan hiếm. cũng đi đầu.
**Chỉ riêng việc thiếu GPU đã hạn chế nguồn cung thông thường của máy chủ AI, thứ dường như đang hot trên thị trường, nhưng lại đi kèm với nhiều nhu cầu sai lầm hơn. **
Làn sóng sốt GPU này gợi nhớ đến năm 2020, khi những người đàn ông điên cuồng đầu cơ vào việc kinh doanh súng đo nhiệt độ, lúc đó, hiệu ứng phân chia của vòng bạn bè dẫn đến nhu cầu giả trên thị trường lớn hơn vô tận so với thực tế. yêu cầu. Do đó, nguồn cung bị thiếu hụt, giá giao ngay cao hơn nhiều so với giá tương lai, thời gian giao hàng không được đảm bảo và chi phí mặc định của người bán thấp.
Những ngày thiếu hụt chip nghiêm trọng đã kết thúc.Mặc dù năng lực sản xuất GPU cao cấp sẽ không còn trong một thời gian nữa, nhưng các rào cản nhu cầu cấp doanh nghiệp tương ứng là tương đối cao, đòi hỏi phải có hỗ trợ kỹ thuật chính thức và dịch vụ hậu mãi, cùng với nhu cầu tăng mạnh, tất cả đều được đề xuất cho mọi người, nếu không có sự chăm chỉ lâu dài và nền tảng vững chắc, chỉ dựa vào các phương tiện cơ hội thì khó có thể bắt kịp xu hướng.