يتطلب ولادة GPT-5 50000 من H100! إجمالي الطلب العالمي على H100 هو 430،000 ، و Nvidia GPU في عاصفة نقص

المصدر الأصلي: Xinzhiyuan

مصدر الصورة: تم إنشاؤه بواسطة Unbounded AI‌

"من سيحصل على مقدار H100 ومتى سيكون الموضوع الأكثر سخونة في وادي السيليكون."

نشر المؤسس المشارك لـ OpenAI والعالم غير المتفرغ Andrej Karpathy مؤخرًا مقالًا يشرح وجهات نظره حول النقص في وحدات معالجة الرسومات NVIDIA.

في الآونة الأخيرة ، أثارت صورة "كم عدد وحدات معالجة الرسومات التي نحتاجها" والتي تم تداولها على نطاق واسع في المجتمع مناقشات بين العديد من مستخدمي الإنترنت.

حسب المحتوى الموضح بالشكل:

• ربما تم تدريب GPT-4 على حوالي 10000-25000 طائرة A100

• ميتا حوالي 21000 ألف 100

• تسلا حوالي 7000 A100

• استقرار AI حوالي 5000 A100

• تم تدريب Falcon-40B على 384 طائرة من طراز A100

• استخدم الانعكاس 3500 و H100 لتدريب نموذج مشابه لـ GPT-3.5

بالإضافة إلى ذلك ، وفقًا لماسك ، قد يحتاج GPT-5 إلى 30.000-50.000 H100.

سابقًا ، صرح Morgan Stanley أن GPT-5 يستخدم 25000 وحدة معالجة رسومات وأنه يتدرب منذ فبراير ، لكن Sam Altman أوضح لاحقًا أن GPT-5 لم يتم تدريبه بعد.

ومع ذلك ، صرح التمان سابقًا ،

لدينا عدد قليل جدًا من وحدات معالجة الرسومات ، وكلما قل عدد الأشخاص الذين يستخدمون منتجاتنا ، كان ذلك أفضل.

سنكون سعداء إذا استخدم الناس أقل ، لأنه ليس لدينا ما يكفي من وحدات معالجة الرسومات.

في هذا المقال الذي يحمل عنوان "Nvidia H100 GPU: العرض والطلب" ، تحليل متعمق لاستخدام شركات التكنولوجيا الحالية وطلبها على وحدات معالجة الرسومات.

تتكهن المقالة بأن سعة مجموعة H100 واسعة النطاق لموفري السحابة الصغيرة والكبيرة على وشك النفاد ، وسيستمر اتجاه الطلب على H100 حتى نهاية عام 2024 على الأقل.

إذن ، هل طلب GPU يمثل حقًا عنق الزجاجة؟

** متطلبات GPU للشركات الكبرى: حوالي 430،000 H100 **

في الوقت الحالي ، لم يتباطأ انفجار الذكاء الاصطناعي التوليدي ، بل طرح متطلبات أعلى لقوة الحوسبة.

تستخدم بعض الشركات الناشئة H100 باهظة الثمن وعالية الأداء للغاية من Nvidia لتدريب النماذج.

قال ماسك إن الحصول على وحدات معالجة الرسومات أصعب من الحصول على الأدوية في هذه المرحلة.

يقول Sam Altman أن OpenAI محدودة GPU ، مما يؤخر خططها قصيرة المدى (الضبط الدقيق ، السعة المخصصة ، إطارات السياق 32k ، الوسائط المتعددة).

تأتي تعليقات كارباثي في الوقت الذي تناقش فيه التقارير السنوية من كبرى شركات التكنولوجيا القضايا المتعلقة بالوصول إلى وحدة معالجة الرسومات.

في الأسبوع الماضي ، أصدرت Microsoft تقريرها السنوي وأوضحت للمستثمرين أن وحدات معالجة الرسومات هي "مادة خام رئيسية" لأعمالها السحابية سريعة النمو. في حالة عدم توفر البنية التحتية المطلوبة ، قد يكون هناك عامل خطر لانقطاع مركز البيانات.

يُزعم أن هذا المقال كتبه مؤلف منشور هونج كونج.

لقد خمّن أن OpenAI قد يحتاج إلى 50000 H100 ، بينما يحتاج Inflection إلى 22000 ، قد تحتاج Meta إلى 25k ، وقد يحتاج مقدمو الخدمات السحابية الكبيرة إلى 30k (مثل Azure و Google Cloud و AWS و Oracle).

قد تحتاج Lambda و CoreWeave وغيرها من السحابات الخاصة إلى إجمالي 100 ألف. كتب أن أنثروبيك وهيلسينج وميسترال وكاركتر قد يحتاج كل منهم إلى 10 آلاف.

يقول المؤلفون إن هذه كلها تقديرات وتكهنات تقريبية ، بعضها عبارة عن حساب مزدوج للسحابة والعملاء النهائيين يستأجرون المعدات من السحابة.

بشكل عام ، تحتاج الشركات العالمية إلى حوالي 432000 من H100. بحساب حوالي 35 ألف دولار لكل H100 ، فإن إجمالي احتياجات GPU يكلف 15 مليار دولار.

هذا لا يشمل شركات الإنترنت المحلية التي تحتاج إلى عدد كبير من H800s.

هناك أيضًا بعض الشركات المالية المعروفة ، مثل Jane Street و JP Morgan و Two Sigma وما إلى ذلك ، يتم نشر كل منها ، بدءًا من مئات A / H100s والتوسع إلى الآلاف من A / H100s.

تقوم جميع المعامل الكبيرة بما في ذلك OpenAI و Anthropic و DeepMind و Google و X.ai بتدريب نماذج لغوية كبيرة ، ولا يمكن الاستغناء عن H100 من Nvidia.

** لماذا يعتبر H100 الخيار الأول؟ **

يعد H100 أكثر شيوعًا من A100 باعتباره الخيار الأول ، ويرجع ذلك جزئيًا إلى انخفاض زمن انتقال ذاكرة التخزين المؤقت وحوسبة FP8.

لأن كفاءته تصل إلى 3 مرات ، لكن التكلفة فقط (1.5-2 مرات). بالنظر إلى التكلفة الإجمالية للنظام ، فإن أداء H100 أعلى بكثير.

من حيث التفاصيل الفنية ، مقارنةً بـ A100 ، فإن H100 أسرع بنحو 3.5 مرة في التفكير المنطقي 16 بت ، وحوالي 2.3 مرة أسرع في التدريب 16 بت.

سرعة A100 مقابل H100

H100 وزارة التربية والتعليم

H100 تسارع هائل

تشتري معظم الشركات H100 وتستخدمه للتدريب والاستدلال ، بينما يستخدم A100 في الغالب للاستدلال.

لكن بعض الشركات مترددة في التبديل بسبب التكلفة والسعة ومخاطر استخدام الأجهزة الجديدة وإعدادها ، وحقيقة أن البرنامج الحالي قد تم تحسينه بالفعل لـ A100.

** لا يعد GPU نقصًا ، ولكنه مشكلة في سلسلة التوريد **

قال أحد المسؤولين التنفيذيين في Nvidia إن المشكلة ليست نقصًا في وحدات معالجة الرسومات ، ولكن في كيفية وصول وحدات معالجة الرسومات هذه إلى السوق.

تنتج Nvidia وحدات معالجة الرسومات بكامل طاقتها ، لكن المدير التنفيذي قال إن القدرة الإنتاجية لوحدة معالجة الرسومات محدودة بشكل أساسي بواسطة سلسلة التوريد.

قد يكون للرقاقة نفسها سعة كافية ، لكن السعة غير الكافية للمكونات الأخرى ستحد بشدة من سعة وحدة معالجة الرسومات.

يعتمد إنتاج هذه المكونات على موردين آخرين في جميع أنحاء العالم.

لكن الطلب يمكن التنبؤ به ، لذا يتم الآن حل المشكلة تدريجياً.

** القدرة على إنتاج رقاقة وحدة معالجة الرسومات **

بادئ ذي بدء ، تتعاون Nvidia فقط مع TSMC لإنتاج H100. جميع وحدات معالجة الرسومات 5nm من Nvidia مشتركة فقط مع TSMC.

من الممكن التعاون مع Intel و Samsung في المستقبل ، لكن هذا مستحيل على المدى القصير ، مما يحد من إنتاج H100.

وفقًا للمبلغ عن المخالفات ، لدى TSMC 4 نقاط إنتاج لتوفير سعة لرقائق 5 نانومتر: N5 ، N5P ، N4 ، N5P

يتم إنتاج H100 فقط على العقدة 4N من N5 أو N5P ، وهي عقدة 5 نانومتر محسّنة.

تحتاج Nvidia إلى مشاركة سعة هذه العقدة مع Apple و Qualcomm و AMD.

يحتاج مصنع TSMC إلى تخطيط الطاقة الإنتاجية لكل عميل قبل 12 شهرًا.

إذا قللت Nvidia و TSMC من تقدير الطلب على H100 من قبل ، فإن الطاقة الإنتاجية ستكون محدودة الآن.

وفقًا للمبلغ عن المخالفات ، سوف يستغرق H100 حوالي نصف عام للانتقال من الإنتاج إلى التسليم.

علاوة على ذلك ، نقل المبلغ عن المخالفات أيضًا عن أحد المتخصصين المتقاعدين في صناعة أشباه الموصلات قوله إن المصنع الفخم ليس عنق الزجاجة لإنتاج TSMC ، وأن تغليف CoWoS (التراص ثلاثي الأبعاد) هو بوابة القدرة الإنتاجية لشركة TSMC.

** سعة ذاكرة H100 **

بالنسبة لمكون مهم آخر في H100 ، ذاكرة H100 ، فقد تكون هناك أيضًا مشكلة عدم كفاية السعة.

تعد HBM (ذاكرة النطاق الترددي العالي) ، التي تم دمجها مع وحدة معالجة الرسومات بطريقة خاصة ، مكونًا رئيسيًا لضمان أداء وحدة معالجة الرسومات.

نقل المبلغ عن أحد المطلعين في الصناعة قوله:

المشكلة الرئيسية هي HBM. جعله كابوس. نظرًا لصعوبة إنتاج HBM ، فإن الإمدادات محدودة للغاية. يجب أن يتبع كل من الإنتاج والتصميم إيقاعه.

بالنسبة لذاكرة HBM3 ، تستخدم Nvidia دائمًا منتجات SK Hynix ، وقد تكون هناك بعض منتجات Samsung ، ويجب ألا تكون هناك منتجات Micron.

تريد Nvidia من SK Hynix زيادة الطاقة الإنتاجية ، وهم يفعلون ذلك. لكن كل من Samsung و Micron لديهما سعة محدودة.

علاوة على ذلك ، سيتم استخدام العديد من المواد والعمليات الأخرى ، بما في ذلك العناصر الأرضية النادرة ، في تصنيع وحدات معالجة الرسومات ، والتي ستصبح أيضًا عوامل محتملة تحد من قدرة إنتاج وحدة معالجة الرسومات.

** كيف ستتطور شريحة وحدة معالجة الرسومات في المستقبل **

** بيان نفيديا **

كشفت Nvidia فقط أنها ستكون قادرة على توفير المزيد من وحدات معالجة الرسومات في النصف الثاني من العام ، لكنها لم تقدم أي معلومات كمية.

نقوم اليوم بمعالجة الإمدادات عن ربع السنة الحالي ، ولكننا نقوم أيضًا بشراء كمية كبيرة من الإمدادات للنصف الثاني من العام. نعتقد أن العرض في النصف الثاني من العام سيكون أعلى بكثير من النصف الأول.

• المدير المالي لشركة Nvidia كوليت كريس في مكالمة أرباح فبراير - أبريل 2023

ماذا بعد؟

أصبحت مشكلة توريد وحدة معالجة الرسومات الآن حلقة مفرغة حيث تؤدي الندرة إلى اعتبار ملكية وحدة معالجة الرسومات بمثابة خندق مائي ، مما يتسبب في تكديس المزيد من وحدات معالجة الرسومات ، مما يؤدي إلى تفاقم الندرة.

• تم الكشف عن شخص مسؤول عن سحابة خاصة

** متى سيظهر الجيل القادم من H100؟ **

وفقًا لخارطة الطريق السابقة لـ Nvidia ، لن يتم الإعلان عن الجيل التالي من H100 حتى أواخر عام 2024 إلى أوائل عام 2025.

حتى ذلك الوقت ، سيكون H100 المنتج الرئيسي لشركة Nvidia.

ومع ذلك ، ستطلق Nvidia نسخة مبردة بالماء بسعة 120 جيجابايت من H100 خلال هذه الفترة.

وفقًا لمطلعين على الصناعة قابلهم المبلغون عن المخالفات ، سيتم بيع H100 بحلول نهاية عام 2023! !

** كيف تحصل على قوة الحوسبة H100؟ **

كما ذكر المسؤولون التنفيذيون في Nvidia سابقًا ، سيتم دمج قوة الحوسبة التي توفرها وحدة معالجة الرسومات H100 في النهاية في سلسلة الصناعة من خلال العديد من موفري الحوسبة السحابية ، وبالتالي فإن النقص في H100 ناتج عن توليد GPU من ناحية.

جانب آخر هو كيف يمكن لمقدمي خدمات الحوسبة السحابية الحصول على H100 بشكل فعال من Nvidia ، والوصول أخيرًا إلى العملاء الذين يحتاجون إليها من خلال توفير قوة الحوسبة السحابية.

العملية هي ببساطة:

يشتري موفر طاقة الحوسبة السحابية شرائح H100 من مصنعي المعدات الأصلية ، ثم يبني خدمات سحابة الطاقة الحاسوبية ويبيعها لشركات الذكاء الاصطناعي المختلفة ، بحيث يمكن للمستخدمين النهائيين الحصول على قوة الحوسبة H100.

هناك أيضًا العديد من العوامل في هذه العملية ، والتي تسببت في النقص الحالي في طاقة الحوسبة H100 ، كما توفر المقالة التي نشرت الأخبار الكثير من المعلومات داخل الصناعة للرجوع إليها.

** من الذي يمكنني شراء لوح H100 منه؟ **

ستبيع الشركات المصنعة للمعدات الأصلية مثل Dell و Lenovo و HPE و Supermicro و Quanta كلاً من H100 و HGX H100.

يشتري موفرو السحابة مثل CoreWeave و Lambda وحدات معالجة الرسومات من مصنعي المعدات الأصلية ويؤجرونها للشركات الناشئة.

ستعمل Hyperscalers (Azure و GCP و AWS و Oracle) بشكل مباشر أكثر مع Nvidia ، ولكنها ستشتري أيضًا من مصنعي المعدات الأصلية. يبدو أن هذا يشبه الطريقة التي يشتري بها اللاعبون بطاقات الرسومات. ولكن حتى لشراء DGX ، يحتاج المستخدمون إلى الشراء من خلال OEM ، ولا يمكنهم تقديم طلب مباشرة مع Nvidia.

موعد التسليم

المهلة الزمنية لخادم 8-GPU HGX مروع ، والمهلة لخادم 4-GPU HGX جيدة.

لكن كل عميل يريد خادم 8-GPU!

هل تشتري الشركة الناشئة من مصنعي المعدات الأصلية والبائعين؟

إذا أرادت شركة ناشئة الحصول على قوة الحوسبة H100 ، فلن ينتهي بها الأمر بشراء H100 وتوصيله بمجموعة GPU الخاصة بها.

عادةً ما يستأجرون قوة الحوسبة من السحابات الكبيرة مثل Oracle أو السحابات الخاصة مثل Lambda و CoreWeave أو المزودين الذين يعملون مع مصنعي المعدات الأصلية ومراكز البيانات مثل FluidStack.

إذا كنت ترغب في إنشاء مركز بيانات خاص بك ، فأنت بحاجة إلى التفكير في الوقت اللازم لبناء مركز البيانات ، وما إذا كان لديك الموظفون والخبرة في الأجهزة ، وما إذا كان من الممكن تحمل النفقات الرأسمالية.

أصبح استئجار واستضافة الخوادم أسهل. إذا أراد المستخدمون بناء مراكز البيانات الخاصة بهم ، فيجب وضع خط ألياف غامق للاتصال بالإنترنت - 10000 دولار لكل كيلومتر. لقد تم بالفعل بناء الكثير من البنية التحتية ودفع تكاليفها خلال طفرة الإنترنت. فقط قم بتأجيره ، إنه رخيص.

• الشخص المسؤول عن السحابة الخاصة

التسلسل من التأجير إلى الخدمات السحابية ذاتية البناء هو تقريبًا: تأجير الخدمات السحابية عند الطلب (الخدمات السحابية الإيجارية الخالصة) ، والخدمات السحابية المجدولة ، والخدمات السحابية المُدارة (شراء الخوادم ، والتعاون مع مقدمي الخدمات لاستضافة وإدارة الخوادم) ، والاستضافة الذاتية (الشراء بنفسك) وخادم الاستضافة)).

ستختار معظم الشركات الناشئة التي تحتاج إلى قوة حوسبة H100 حجز الخدمات السحابية أو الخدمات السحابية المُدارة.

** مقارنة بين منصات الحوسبة السحابية الكبيرة **

بالنسبة للعديد من الشركات الناشئة ، تعد الخدمات السحابية التي تقدمها شركات الحوسبة السحابية الكبيرة المصدر النهائي لـ H100.

يحدد اختيار النظام الأساسي السحابي أيضًا في النهاية ما إذا كان بإمكانهم الحصول على قوة حوسبة H100 مستقرة.

النقطة العامة هي: Oracle ليست موثوقة مثل السحابات الثلاث الكبرى. لكن Oracle ستوفر المزيد من مساعدة الدعم الفني.

الاختلافات الرئيسية بين شركات الحوسبة السحابية الكبيرة الأخرى هي:

الشبكات: في حين أن معظم الشركات الناشئة التي تبحث عن مجموعات كبيرة من A100 / H100 تبحث عن InfiniBand ، كانت AWS و Google Cloud أبطأ في اعتماد InfiniBand نظرًا لأن لديهم أساليبهم الخاصة في توفير الخدمات.

التوفر: تم تخصيص معظم H100 من Microsoft Azure لـ OpenAI. واجهت Google صعوبة في الحصول على H100.

نظرًا لأن Nvidia يبدو أنها تميل إلى توفير المزيد من حصص H100 لتلك السحب التي ليس لديها خطط لتطوير شرائح تعلم الآلة المنافسة. (هذه كلها تكهنات وليست حقيقة صعبة).

تعمل الشركات السحابية الرئيسية الثلاث باستثناء Microsoft على تطوير رقائق التعلم الآلي ، كما أن منتجات Nvidia البديلة من AWS و Google موجودة بالفعل في السوق ، وتحتل جزءًا من حصة السوق.

فيما يتعلق بالعلاقة مع Nvidia ، قد تسير الأمور على النحو التالي: Oracle و Azure> GCP و AWS. لكن هذا مجرد تخمين.

سيكون موفرو طاقة الحوسبة السحابية الأصغر أرخص ثمناً ، ولكن في بعض الحالات ، سيتبادل بعض موفري الحوسبة السحابية قوة الحوسبة مقابل الأسهم.

** كيف تخصص Nvidia H100 **

ستزود Nvidia كل عميل بحصة H100.

ولكن إذا قال Azure "مرحبًا ، نريد الحصول على 10000 H100 ، كل ذلك من أجل Inflection" ، فستحصل على حصة مختلفة عما إذا قال Azure "مرحبًا ، نريد الحصول على 10000 H100 لسحابة Azure".

تهتم Nvidia بمن هو العميل النهائي ، لذلك إذا كانت Nvidia مهتمة بعميل الاستخدام النهائي ، فستحصل منصة موفر الحوسبة السحابية على المزيد من H100.

تريد Nvidia أن تفهم قدر الإمكان هوية العميل النهائي ، وتفضل العملاء أصحاب العلامات التجارية الجيدة أو الشركات الناشئة ذات النسب القوية.

نعم ، يبدو أن هذا هو الحال. تحب NVIDIA ضمان وصول GPU إلى شركات الذكاء الاصطناعي الناشئة (العديد منها لها علاقات وثيقة معها). راجع Inflection - شركة ذكاء اصطناعي يستثمرون فيها - اختبار كتلة H100 ضخمة على CoreWeave ، والتي يستثمرون فيها أيضًا.

• الشخص المسؤول عن السحابة الخاصة

خاتمة

العطش الحالي لوحدات معالجة الرسومات هو كل من الرغوة والضجيج ، لكنه موجود بشكل موضوعي.

هناك شركات مثل OpenAI مع منتجات مثل ChatGPT تحصل على قوة دفع ، لكنها لا تزال غير قادرة على الحصول على عدد كافٍ من وحدات معالجة الرسومات.

تقوم شركات أخرى بشراء وتخزين وحدات معالجة الرسومات لاستخدامها في المستقبل ، أو لتدريب نماذج اللغة الكبيرة التي قد لا يستخدمها السوق حتى. هذا يخلق فقاعة من النقص في وحدة معالجة الجرافيكس.

ولكن بغض النظر عن نظرتك إليها ، فإن Nvidia هي الملك الأخضر في القلعة.

مراجع: