هوانغ العجوز يفوز! تمت جدولة طلب H100 من Nvidia لمدة 24 عامًا ، ولا يمكن أن يظل Musk ساكنًا

المصدر الأصلي: Qubit

أفضل وحدة معالجة رسومات (GPU) لتحسين الموديلات الكبيرة ** NVIDIA H100 ** ، ** تم بيعها بالكامل **!

حتى إذا طلبت ذلك الآن ، فلن يكون متاحًا حتى الربع الأول أو حتى الربع الثاني في عام 2024.

هذه هي آخر الأخبار التي تم الكشف عنها لصحيفة وول ستريت جورنال بواسطة CoreWeave ، وهو بائع سحابي وثيق الصلة بشركة Nvidia.

كان العرض ضيقا للغاية منذ أوائل أبريل. ** في أسبوع واحد فقط ** ، قفزت أوقات التسليم المتوقعة ** من المستويات المعقولة حتى نهاية العام **.

وأكدت أمازون AWS ، أكبر مورد سحابي في العالم ، هذه الأخبار.وقال الرئيس التنفيذي آدم سيليبسكي مؤخرًا:

تعد A100 و H100 من أحدث التقنيات ... ** يصعب الحصول عليها حتى بالنسبة إلى AWS **.

في وقت سابق ، قال ماسك أيضًا في برنامج حواري: ** أصبح الحصول على وحدة معالجة الرسومات الآن أكثر صعوبة من منتجات د **.

إذا وجدت "مستغلًا" للشراء ، فإن القسط يصل إلى ** 25٪ **.

على سبيل المثال ، ارتفع السعر على موقع Ebay من حوالي 36000 دولار أمريكي في المصنع إلى 45000 دولار أمريكي ** ، والعرض نادر.

في ظل هذا الوضع ، قامت شركات التكنولوجيا المحلية الكبيرة مثل Baidu و Byte و Ali و Tencent ** أيضًا بتقديم طلبات لشراء A800 ورقائق أخرى بإجمالي 5 مليارات دولار أمريكي ** من Nvidia.

من بينها ، لا يمكن تسليم سوى مليار دولار أمريكي من البضائع خلال هذا العام ، وسيتعين على 80٪ الأخرى الانتظار حتى عام 2024.

إذن ، إلى من يتم بيع وحدات معالجة الرسومات المتطورة الحالية؟ أين هذه الموجة من الطاقة الإنتاجية عالقة؟

** من يبيع H100 لـ ، لاو هوانغ له القول الفصل **

منذ اندلاع ChatGPT ، أصبحت Nvidia A100 و H100 ، اللتان تجيدان تدريب النماذج الكبيرة ، شائعة.

يمكن استخدام H100 بالفعل كأصل للشركات المبتدئة لإيجاد صناديق استثمار للحصول على قروض عقارية.

** شركات الذكاء الاصطناعي ** التي تمثلها OpenAI و Meta ، ** شركات الحوسبة السحابية ** ممثلة بشركة Amazon و Microsoft ، والسحابات الخاصة Coreweave و Lambda ، وجميع ** شركات التكنولوجيا المختلفة ** التي ترغب في تحسين نماذجها الكبيرة ، الطلب ضخم.

** ومع ذلك ، فإن الرئيس التنفيذي لشركة Nvidia Huang Renxun هو الذي يملك الكلمة الأخيرة بشأن من يبيع له. **

وفقًا للمعلومات ، فإن H100 تعاني من نقص في العرض لدرجة أن Nvidia ** خصصت عددًا كبيرًا من البطاقات الجديدة لـ CoreWeave ** ، وإمدادات محدودة ** لشركات الحوسبة السحابية القائمة مثل Amazon و Microsoft.

(استثمرت Nvidia أيضًا بشكل مباشر في CoreWeave.)

يرجع التحليل الخارجي إلى أن هذه الشركات الراسخة تعمل على تطوير شرائح تسريع الذكاء الاصطناعي الخاصة بها ، على أمل تقليل اعتمادها على Nvidia ، لذلك سيساعدهم Lao Huang.

يتحكم Lao Huang أيضًا في جميع جوانب عمليات الشركة اليومية داخل Nvidia ، بما في ذلك ** "مراجعة ما سيقوله مندوبو المبيعات للعملاء المحتملين الصغار" **.

حوالي 40 مديرًا تنفيذيًا في الشركة يقدمون تقاريرهم مباشرة إلى Lao Huang ** ، وهو أكثر من المرؤوسين المباشرين لـ Meta Xiaozha و Microsoft Xiaona مجتمعين.

كشف مدير سابق لشركة Nvidia ، "في Nvidia ، ** Huang Renxun هو في الواقع كبير مسؤولي المنتجات ** لكل منتج."

منذ فترة ، أشاع أيضًا أن Lao Huang قام بعمل مبالغ فيه: ** اطلب من بعض شركات الحوسبة السحابية الصغيرة تقديم قوائم عملائها ** ، مع الرغبة في معرفة المستخدمين النهائيين لوحدة معالجة الرسومات.

وفقًا للتحليل الخارجي ، ستسمح هذه الخطوة لشركة Nvidia بفهم احتياجات العملاء من منتجاتها بشكل أفضل ، وقد أثارت أيضًا مخاوف من أن Nvidia قد تستخدم هذه المعلومات للحصول على مزايا إضافية.

يعتقد بعض الناس أيضًا أن سببًا آخر هو أن Lao Huang يريد معرفة من يستخدم البطاقة حقًا ومن يقوم فقط بتخزين البطاقة وعدم استخدامها.

لماذا يتمتع كل من Nvidia و Lao Huang بصوت عالٍ الآن؟

السبب الرئيسي هو أن العرض والطلب لوحدات معالجة الرسوميات المتطورة غير متوازنين للغاية ، ووفقًا لحساب موقع GPU Utils على الويب ، فإن فجوة H100 ** تصل إلى 430.000 **.

قدر المؤلف كلاي باسكال عدد H100 الذي يحتاجه العديد من اللاعبين في صناعة الذكاء الاصطناعي في المستقبل القريب بناءً على العديد من المعلومات والشائعات المعروفة.

** جانب شركة الذكاء الاصطناعي: **

• قد تحتاج OpenAI إلى 50000 H100s لتدريب GPT-5
• يقال إن ميتا تحتاج إلى 100،000
• تم الإعلان عن خطة مجموعة طاقة الحوسبة المكونة من 22000 بطاقة من InflectionAI
• تتطلب الشركات الناشئة الكبرى في مجال الذكاء الاصطناعي مثل Anthropic و Character.ai و MistraAI و HelsingAI في أوروبا ما يصل إلى 10000.

** شركة الحوسبة السحابية: **

• في السحب العامة الكبيرة ، تم حساب كل من أمازون ، ومايكروسوفت ، وجوجل ، وأوراكل بـ 30000 ، بإجمالي 120000
• تحتاج السحابة الخاصة التي تمثلها CoreWeave و Lambda إلى إجمالي 100،000

يضيف ما يصل إلى 432000.

هذا لا يشمل بعض الشركات المالية والمشاركين الآخرين في الصناعة مثل JP Morgan Chase و Two Sigma الذين بدأوا أيضًا في نشر مجموعات قوة الحوسبة الخاصة بهم.

لذا فإن السؤال هو ، مع وجود فجوة كبيرة في العرض ، ألا يمكننا إنتاج المزيد؟

فكر لاو هوانغ أيضًا في ذلك ، ولكن ** الطاقة الإنتاجية عالقة **.

** أين الطاقة الإنتاجية عالقة هذه المرة؟ **

في الواقع ، قامت TSMC بالفعل بتعديل خطة إنتاجها لـ Nvidia.

ومع ذلك ، فقد فشلت في سد هذه الفجوة الهائلة.

قال تشارلي بويل ، نائب الرئيس والمدير العام لنظام DGX في Nvidia ، إنه هذه المرة ليس عالقًا في الرقاقة ، لكن تقنية التغليف CoWoS من TSMC واجهت اختناقًا في قدرتها الإنتاجية.

Apple هي التي تنافس Nvidia على الطاقة الإنتاجية لشركة TSMC ، وستحصل على شريحة A17 للجيل القادم من iPhone قبل مؤتمر سبتمبر.

صرحت شركة TSMC مؤخرًا أنه من المتوقع أن يستغرق الأمر 1.5 عامًا لإعادة تراكم عملية التعبئة والتغليف إلى وضعها الطبيعي.

تقنية التغليف CoWoS هي مهارة التدبير المنزلي لشركة TSMC ، ويعتمد عليها السبب الذي يجعل TSMC تتفوق على Samsung لتصبح مسبكًا حصريًا للرقائق من Apple.

تتميز المنتجات المعبأة بواسطة هذه التقنية بأداء عالٍ وموثوقية قوية ، وهذا هو السبب في أن H100 يمكن أن يكون لها عرض نطاق ترددي يبلغ 3 تيرابايت / ثانية (أو حتى أعلى).

الاسم الكامل لـ CoWoS هو Chip-on-Wafer-on-Substrate ، وهي تقنية تكامل رقاقة فريدة من نوعها على مستوى الرقاقة.

تتيح هذه التقنية تعبئة رقاقات متعددة على وسيط سيليكون لا يتجاوز سمكه 100 ميكرومتر **.

وفقًا للتقارير ، ستصل مساحة الجيل التالي من المُدخِل إلى 6 أضعاف الشبكة الشبكية ، أي حوالي 5000 مم².

حتى الآن ، بصرف النظر عن TSMC ، لا يوجد مصنع لديه هذا المستوى من القدرة على التعبئة والتغليف.

في حين أن CoWoS قوية بالتأكيد ، ألا تعمل بدونها؟ هل يمكن للمصنعين الآخرين القيام بذلك؟

ناهيك عن أن لاو هوانغ قد صرح بالفعل "لن نفكر في إضافة مسبك H100 ثانٍ".

في الواقع ، قد لا يكون ذلك ممكنًا.

تعاونت Nvidia مع Samsung من قبل ، لكن الأخيرة لم تنتج أبدًا منتجات سلسلة H100 لـ Nvidia ، أو حتى رقائق معالجة 5nm أخرى.

بناءً على ذلك ، يتكهن بعض الأشخاص بأن المستوى التقني لشركة Samsung قد لا يكون قادرًا على تلبية احتياجات Nvidia التكنولوجية لوحدات معالجة الرسومات المتطورة.

بالنسبة إلى Intel ... لا يبدو أن منتجاتها 5nm تظهر بعد.

نظرًا لأنه ليس من الممكن تغيير الشركة المصنعة لـ Lao Huang ، فماذا عن المستخدمين الذين يتحولون مباشرة إلى AMD؟

** AMD نعم？ **

فيما يتعلق بالأداء وحده ، فإن AMD تلحق بالركب ببطء.

يحتوي أحدث طراز MI300X من AMD على ذاكرة HBM3 تبلغ 192 جيجابايت وعرض نطاق ترددي 5.2 تيرابايت / ثانية ويمكنه تشغيل 80 مليار نموذج من المعلمات.

يحتوي DGX GH200 الذي تم إصداره للتو من Nvidia على ذاكرة تبلغ 141 جيجابايت من HBM3e وعرض النطاق الترددي 5 تيرابايت / ثانية.

لكن هذا لا يعني أن AMD يمكنها على الفور ملء الفراغ في بطاقة N——

يقع "الخندق" الحقيقي لـ Nvidia في منصة CUDA.

###

أنشأ CUDA نظامًا إيكولوجيًا كاملًا للتطوير ، مما يعني أنه إذا اشترى المستخدمون منتجات AMD ، فسيستغرق تصحيح الأخطاء وقتًا أطول.

قال مسؤول تنفيذي في شركة سحابية خاصة إنه لن يجرؤ أحد على المخاطرة بإنفاق 300 مليون دولار لنشر 10000 وحدة معالجة رسومات AMD بشكل تجريبي.

يعتقد المسؤول التنفيذي أن دورة التطوير والتصحيح قد تستغرق شهرين على الأقل.

على خلفية الاستبدال السريع لمنتجات الذكاء الاصطناعي ، قد تكون الفجوة لمدة شهرين قاتلة لأي مصنع.

ومع ذلك ، قامت Microsoft بتمديد فرع الزيتون إلى AMD.

في السابق ، كانت هناك شائعات بأن Microsoft كانت تستعد لتطوير شريحة AI بالاسم الرمزي "أثينا" بالاشتراك مع AMD.

في وقت سابق ، عندما تم إصدار MI200 ، كانت Microsoft أول من أعلن عن الشراء ونشره على منصتها السحابية Azure.

على سبيل المثال ، تم تدريب RetNet البنية التحتية للنموذج الكبير الجديد من MSRA على 512 AMD MI200 منذ فترة.

في ظل الوضع الذي تحتل فيه Nvidia سوق الذكاء الاصطناعي بالكامل تقريبًا ، قد يحتاج شخص ما إلى تولي زمام المسؤولية ، ويجب وضع نماذج أولية لمجموعة طاقة الحوسبة AMD واسعة النطاق بالكامل قبل أن يجرؤ أي شخص على المتابعة.

ومع ذلك ، في فترة قصيرة من الزمن ، لا يزال Nvidia H100 و A100 أكثر الخيارات شيوعًا.

شيء اخر

منذ فترة ، عندما أصدرت Apple شريحة M2 Ultra الجديدة التي تدعم ما يصل إلى 192 جيجابايت من الذاكرة ** ، استمتع العديد من الممارسين باستخدامها لضبط الموديلات الكبيرة.

بعد كل شيء ، الذاكرة وذاكرة الفيديو لشرائح M-series من Apple موحدتان ، ** ذاكرة 192 جيجا بايت هي ذاكرة فيديو 192 جيجا ** ، أي 2.4 مرة من 80 جيجا بايت H100 ، أو 8 مرات من 24 جيجا RTX4090.

ومع ذلك ، بعد أن اشترى شخص ما هذا الجهاز بالفعل ، فإن الاختبار الفعلي وسرعة التدريب ** ليست بجودة Nvidia RTX3080TI ** ، فإن الضبط الدقيق ليس فعالاً من حيث التكلفة ، ناهيك عن التدريب.

بعد كل شيء ، لم يتم تحسين قوة الحوسبة لشرائح M-series خصيصًا لحوسبة الذكاء الاصطناعي ، وذاكرة فيديو Everbright عديمة الفائدة.

يبدو أنه يعتمد بشكل أساسي على H100 لتحسين الطراز الكبير ، و H100 شيء لا يمكنك طلبه.

في مواجهة هذا الموقف ، هناك حتى "أغنية GPU" ** سحرية متداولة على الإنترنت.

غسيل دماغ شديد ، أدخل بحذر.

، المدة 04:10

أغنية GPU الرئيسية

ارتباط مرجعي: [1] [2] [3] [4] [5] [6] [7] [8] [9]