المصدر الأصلي: صناعة أشباه الموصلات الرأسية والأفقية
مصدر الصورة: تم إنشاؤه بواسطة Unbounded AI
في الآونة الأخيرة ، أصبح HBM موضوعًا ساخنًا في صناعة الرقائق. وفقًا لـ TrendForce ، من المتوقع أن يصل حجم البت لذاكرة النطاق الترددي العالي (HBM) إلى 290 مليون جيجابايت في عام 2023 ، بزيادة سنوية تقارب 60٪ ، ومن المتوقع أن تزداد بنسبة 30٪ في عام 2024. تم تحقيق مفهوم الذاكرة HBM الذي اقترحته AMD في عام 2008 بواسطة SK Hynix من خلال تقنية TSV في عام 2013. بعد 10 سنوات من تقديمها ، يبدو أن HBM قد حان حقًا في عصر التسويق على نطاق واسع.
يرتبط انطلاق مفهوم HBM ارتباطًا مباشرًا بشعبية AIGC. تمتلك خوادم الذكاء الاصطناعي متطلبات أعلى لعرض النطاق الترددي مقارنة بـ DDR SDRAM ، فإن HBM لديها نطاق ترددي أعلى واستهلاك أقل للطاقة. النطاق الترددي الفائق يجعل HBM مكونًا أساسيًا لوحدة معالجة الرسومات عالية الأداء ، و HBM هو في الأساس التكوين القياسي لخوادم الذكاء الاصطناعي. في الوقت الحالي ، تحتل تكلفة HBM المرتبة الثالثة في تكلفة خوادم الذكاء الاصطناعي ، حيث تمثل حوالي 9 ٪ ، ومتوسط سعر البيع لخادم واحد يصل إلى 18000 دولار أمريكي.
منذ ظهور ChatGPT العام الماضي ، بدأ سوق النماذج واسعة النطاق في النمو بسرعة.في السوق المحلية ، أعلن عمالقة التكنولوجيا مثل Baidu و Ali و HKUST Xunfei و SenseTime و Huawei على التوالي أنهم سيدربون الذكاء الاصطناعي الخاص بهم نماذج واسعة النطاق. تتوقع TrendForce أنه في عام 2025 سيكون هناك 5 AIGCs كبيرة الحجم مكافئة لـ ChatGPT ، و 25 من منتجات AIGC متوسطة الحجم من Midjourney ، و 80 منتجًا صغيرًا من منتجات AIGC. حتى الحد الأدنى من موارد الطاقة الحاسوبية المطلوبة عالميًا قد يتطلب 145600 إلى 233700 وحدة معالجة رسومات NVIDIA A100 . هذه هي مجالات النمو المحتملة لـ HBM.
منذ بداية عام 2023 ، زادت طلبات HBM من Samsung و SK Hynix بشكل سريع ، كما ارتفع سعر HBM ، وقد ارتفع سعر HBM3 DRAM مؤخرًا بمقدار 5 مرات. تلقت Samsung طلبات من AMD و Nvidia لزيادة المعروض من HBM. بدأت شركة SK hynix في توسيع خط إنتاج HBM ، بهدف مضاعفة الطاقة الإنتاجية لـ HBM. أفادت وسائل إعلام كورية أن سامسونج تخطط لاستثمار حوالي 760 مليون دولار أمريكي لتوسيع إنتاج HBM ، بهدف مضاعفة الطاقة الإنتاجية من HBM بحلول نهاية العام المقبل ، وقد قدمت الشركة طلبيات معدات رئيسية.
** مزايا HBM في AIGC **
بشكل مباشر ، ستعمل HBM على زيادة قوة الحوسبة للخوادم. نظرًا لمعالجة كمية كبيرة من البيانات في فترة زمنية قصيرة ، فإن خوادم الذكاء الاصطناعي لديها متطلبات أعلى لعرض النطاق الترددي. تشبه وظيفة HBM "محطة نقل البيانات" ، وهي حفظ بيانات الصورة مثل كل إطار وصورة مستخدمة في منطقة التخزين المؤقت للإطار ، وانتظار اتصال وحدة معالجة الرسومات. بالمقارنة مع تقنية الذاكرة التقليدية ، تتمتع HBM بنطاق ترددي أعلى وكمية إدخال / إخراج أكبر واستهلاك أقل للطاقة وحجم أصغر ، مما يحسن بشكل كبير حجم معالجة البيانات ومعدل نقل خوادم الذكاء الاصطناعي.
المصدر: رامبوس
يمكن ملاحظة أن HBM لها ميزة مستوى "التدحرج" من حيث عرض النطاق الترددي. إذا تم تشغيل HBM2E بسرعة 3.6 جيجابت في الثانية على واجهة عرض 1024 بت ، فستحصل على 3.7 تيرا بايت في الثانية من عرض النطاق الترددي ، وهو أكثر من 18 ضعف عرض النطاق الترددي لـ LPDDR5 أو DDR4.
بالإضافة إلى ميزة النطاق الترددي ، يمكن لـ HBM توفير المساحة ، والتي بدورها يمكن أن تناسب المزيد من وحدات معالجة الرسومات في النظام. تتكون ذاكرة HBM من مكدس ذاكرة على نفس الحزمة الفعلية مثل وحدة معالجة الرسومات.
تعني هذه البنية توفيرًا كبيرًا في الطاقة والمساحة مقارنة بتصميمات الذاكرة التقليدية GDDR5 / 6 ، مما يسمح بتثبيت المزيد من وحدات معالجة الرسومات في النظام. نظرًا لتزايد حجم مجموعات بيانات HPC و AI وتحليلات البيانات وتصبح المشكلات الحسابية أكثر تعقيدًا ، فإن المزيد والمزيد من سعة ذاكرة GPU وعرض النطاق الترددي أمر ضروري. توفر وحدة معالجة الرسومات H100 SXM5 أكثر من 3 تيرابايت / ثانية من عرض النطاق الترددي للذاكرة من خلال دعم 80 جيجا بايت (خمسة حزم) من ذاكرة HBM3 السريعة ، وهو ضعف عرض النطاق الترددي لذاكرة A100.
كان السعر عاملاً مقيدًا لـ HBM في الماضي. ولكن الآن سوق النماذج واسعة النطاق في فترة نزاع. بالنسبة للعمالقة الذين وضعوا نماذج كبيرة الحجم ، فإن الوقت هو المال. لذلك ، أصبح HBM ، وهو "باهظ الثمن ومكلف" ، هو المفضل الجديد للكبار عمالقة نموذج مصغر. مع الزيادة التدريجية في الطلب على وحدات معالجة الرسومات المتطورة ، بدأت HBM في أن تصبح التكوين القياسي لخوادم الذكاء الاصطناعي.
في الوقت الحالي ، تم تجهيز كل من Nvidia's A100 و H100 بسعة 80 جيجابايت من HBM2e و HBM3. في أحدث شريحة Grace Hopper التي تدمج وحدة المعالجة المركزية ووحدة معالجة الرسومات ، زادت سعة حمل HBM لشريحة واحدة بنسبة 20٪ ، لتصل إلى 96 جيجابايت.
تم تجهيز AMD's MI300 أيضًا بـ HBM3 ، من بينها سعة MI300A نفسها للجيل السابق بسعة 128 جيجا بايت ، و MI300X الأعلى الذي يصل إلى 192 جيجا بايت ، بزيادة قدرها 50٪.
من المتوقع أن توسع Google بنشاط تعاونها مع Broadcom في النصف الثاني من عام 2023 لتطوير شريحة تسريع AISC AI ومن المقرر أيضًا أن يتم تجهيز TPU بذاكرة HBM لتوسيع البنية التحتية للذكاء الاصطناعي.
** التخطيط المُسرّع لمورّد التخزين **
يسمح مثل هذا "المشهد النقدي" لعمالقة التخزين بتسريع تصميم ذاكرة HBM. في الوقت الحالي ، تقوم أكبر ثلاث شركات تصنيع شرائح ذاكرة في العالم بنقل المزيد من الطاقة الإنتاجية لإنتاج HBM ، ولكن نظرًا لأن الأمر يستغرق وقتًا لضبط الطاقة الإنتاجية ، فمن الصعب زيادة إنتاج HBM بسرعة ، ومن المتوقع أن يظل العرض من HBM ضيقًا في العامين المقبلين.
يتم التحكم في سوق HBM بشكل أساسي من قبل عمالقة DRAM الثلاثة. ومع ذلك ، على عكس سوق DRAM ، الذي تقوده Samsung ، تطورت SK Hynix بشكل أفضل في سوق HBM. كما ذكرنا في البداية ، قامت SK Hynix بتطوير أول منتج HBM. في أبريل 2023 ، أعلنت شركة SK Hynix عن تطوير أول منتج HBM3 DRAM سعة 24 جيجا بايت ، والذي يستخدم تقنية TSV لتكديس 12 شريحة DRAM أحادية المنتج رأسيًا وهي أرق بنسبة 40٪ من الرقائق الحالية ، مما يحقق نفس ارتفاع منتجات 16 جيجا بايت. وفي الوقت نفسه ، تخطط SK Hynix لإعداد عينات من HBM3E بأداء نقل بيانات 8 جيجابت في الثانية في النصف الثاني من عام 2023 ، ووضعها في الإنتاج الضخم في عام 2024.
يدور تخطيط شركات أشباه الموصلات المحلية لـ HBM في الغالب حول مجال التغليف والواجهات.
تقوم NationalChip Technology حاليًا بالبحث والتخطيط لتكنولوجيا تغليف الرقائق 2.5D لذاكرة HBM المتعددة ، وتعمل بنشاط على تعزيز البحث والتطوير وتطبيق تقنية Chiplet.
بعد الانتهاء من خط إنتاج 2.5D / 3D لشركة Tongfu Microelectronics Co.، Ltd. ، ستحقق طفرة محلية في مجال تكنولوجيا التغليف عالية الأداء HBM.
أطلقت BIWIN رقائق ذاكرة عالية الأداء ووحدات ذاكرة ، وستواصل الاهتمام بتقنية HBM.
حققت شريحة PCIe 5.0 / CXL 2.0 Retimer من Montage Technology إنتاجًا ضخمًا.تعد هذه الشريحة ترقية رئيسية لمنتج Montage Technology's PCIe 4.0 Retimer ، والذي يمكن أن يوفر للصناعة عرض نطاق ترددي عالٍ ومستقر وموثوق به ، وزمن وصول منخفض PCIe 5.0 / CXL 2.0 حل التوصيل البيني.
على الرغم من أن HBM جيد ، إلا أنه لا يزال بحاجة إلى الهدوء. لا يزال HBM في مرحلة مبكرة نسبيًا ، ولا يزال أمامه طريق طويل لنقطعه. من المتوقع أنه مع استمرار المزيد والمزيد من الشركات المصنعة في بذل الجهود في مجالات مثل الذكاء الاصطناعي والتعلم الآلي ، يزداد تعقيد تصميم منتجات الذاكرة بسرعة ، ويتم وضع متطلبات أعلى على النطاق الترددي.سيستمر الطلب المتزايد على النطاق العريض في دفع عجلة التطوير من HBM.
يعكس سخونة HBM القدرة على القيادة لـ AIGC. إذن إلى جانب HBM و GPU ، هل هناك منتجات أخرى يمكنها الاستفادة من هذا الاتجاه الجديد؟
** تحدث عن الرقائق الأخرى المشتعلة **
** بدأت مزايا FPGA بالظهور **
FPGA (مصفوفة البوابة القابلة للبرمجة الميدانية) هي دائرة متكاملة مع عناصر منطقية قابلة للبرمجة وذاكرة وموارد ربط. على عكس ASIC (الدائرة المتكاملة الخاصة بالتطبيق) ، تتمتع FPGA بمزايا المرونة والتخصيص والقدرة على المعالجة المتوازية والترقية السهلة.
من خلال البرمجة ، يمكن للمستخدمين تغيير سيناريوهات تطبيق FPGA في أي وقت ، ويمكن لـ FPGA محاكاة العديد من العمليات المتوازية لوحدة المعالجة المركزية ووحدة معالجة الرسومات والأجهزة الأخرى. لذلك ، يطلق عليها أيضًا "الرقاقة العالمية" في الصناعة.
تعتبر FPGAs منطقية لاحتياجات الذكاء الاصطناعي لتغيير النماذج الأساسية بشكل متكرر. تتجاوز قابلية برمجة FPGA الاقتصاديات النموذجية لاستخدام FPGA. لكي نكون واضحين ، لن تكون FPGA منافسة جادة لأنظمة الذكاء الاصطناعي واسعة النطاق التي تستخدم الآلاف من وحدات معالجة الرسومات ، ولكن مع تغلغل الذكاء الاصطناعي بشكل أكبر في الإلكترونيات ، سيتوسع نطاق تطبيقات FPGA.
تتمثل ميزة FPGA على GPU في انخفاض استهلاك الطاقة وزمن الوصول. لا يمكن لوحدة معالجة الرسومات الاستفادة بشكل جيد من الذاكرة الموجودة على الرقاقة وتحتاج إلى قراءة DRAM خارج الشريحة بشكل متكرر ، وبالتالي فإن استهلاك الطاقة مرتفع للغاية. يمكن لـ FPGA استخدام التخزين على الرقاقة بمرونة ، وبالتالي فإن استهلاك الطاقة أقل بكثير من استهلاك وحدة معالجة الرسومات.
في 27 يونيو ، أعلنت AMD عن إطلاق نظام AMD Versal Premium VP1902 التكيفي على الرقاقة (SoC) ، وهو عبارة عن SoC متكيف يعتمد على FPGA. هذا جهاز من فئة المحاكاة ، قائم على الرقاقة ، يبسط عملية التحقق من تصاميم أشباه الموصلات المعقدة بشكل متزايد. يُذكر أن AMD VP1902 ستصبح أكبر FPGA في العالم. مقارنة بمنتج الجيل السابق (Xilinx VU19P) ، يضيف VP1902 الجديد وظيفة Versal ويعتمد تصميم رقاقة صغيرة ، والذي يضاعف أكثر من ضعف الأداء الرئيسي لـ FPGA.
يعتقد تقرير Dongxing Securities Research أن FPGA تتمتع بميزة كبيرة في منطق الذكاء الاصطناعي بفضل مزايا التأخير واستهلاك الطاقة التي توفرها بنيتها. كما أشار تقرير البحث السابق لشركة Zheshang Securities إلى أنه بالإضافة إلى GPU ، يمكن أن يلبي حل CPU + FPGA أيضًا الطلب الهائل على طاقة الحوسبة للذكاء الاصطناعي.
على عكس HBM التي تحتكرها الشركات الخارجية ، قامت الشركات المحلية بالفعل بتجميع رقائق FPGA.
يتمثل العمل الرئيسي لشركة Anlu Technology في البحث والتطوير والتصميم والمبيعات لرقائق FPGA وبرامج EDA الخاصة ، وقد تم استخدام المنتجات على نطاق واسع في التحكم الصناعي واتصالات الشبكة والإلكترونيات الاستهلاكية وغيرها من المجالات. Ziguang Tongchuang ، شركة تابعة لـ Ziguang Guowei ، هي شركة FPGA محترفة تصمم وتبيع رقائق FPGA للأغراض العامة. صرح Ziguang Guowei ذات مرة في موجز الأداء أنه يمكن استخدام شريحة FPGA الخاصة بالشركة في مجال الذكاء الاصطناعي. تقوم شركة Dongtu Technology بشكل أساسي بتصنيع رقائق FPGA. قام فريق الشركة المساهمة Zhongke Yihai Micro بتطوير برنامج EDA لدعم تطوير تطبيقات منتجات FPGA الخاصة بها.
** فكرة جديدة للاستبدال المحلي: تكامل التخزين والحوسبة + Chiplet **
هل يمكننا استخدام عملياتنا وتقنياتنا المتاحة حاليًا لتطوير شرائح ذكاء اصطناعي يمكنها منافسة Nvidia من حيث الأداء؟ ظهرت بعض "الأفكار الجديدة" ، مثل تكامل التخزين والحساب + Chiplet.
سيؤدي فصل التخزين والحساب إلى اختناقات في طاقة الحوسبة. مع التطور السريع لتقنية الذكاء الاصطناعي ، ازداد الطلب على قوة الحوسبة. في حقبة ما بعد مور ، يقيد النطاق الترددي للتخزين النطاق الترددي الفعال لنظام الحوسبة ، ويعاني نمو قوة حوسبة النظام. على سبيل المثال ، يستغرق الأمر 99 يومًا لتدريب نموذج BERT من البداية بـ 8 كتل من 1080TI. لا تحتوي البنية المتكاملة لحوسبة التخزين على مفهوم التخزين العميق متعدد المستويات. يتم تنفيذ جميع العمليات الحسابية في الذاكرة ، وبالتالي التخلص من جدار التخزين والأعباء الإضافية المقابلة الناتجة عن عدم تجانس حوسبة التخزين ؛ يمكن أن يؤدي التخلص من جدار التخزين إلى حد كبير تقليل معالجة البيانات. ، ليس فقط يحسن نقل البيانات وسرعة المعالجة ، بل يحسن أيضًا نسبة كفاءة الطاقة عدة مرات.
من ناحية أخرى ، سيتم تقليل استهلاك الطاقة المطلوب لمعالجة نفس قوة الحوسبة بين البنية المتكاملة لحوسبة التخزين ومعالج العمارة التقليدية ؛ افتح جدار التجميع للهندسة المعمارية التقليدية.
أصدر العلماء في جامعة ولاية أريزونا جهاز محاكاة معياري معماري IMC قائم على Chiplet SIAM في عام 2021 لتقييم إمكانات هذه البنية الجديدة في تدريب نموذج كبير لمنظمة العفو الدولية. تدمج SIAM الأجهزة ، والدائرة ، والهندسة المعمارية ، والشبكة على الرقاقة (NoC) ، والشبكة في الحزمة (NoP) ، ونماذج الوصول إلى ذاكرة الوصول العشوائي DRAM لتمكين نظام حوسبة عالي الأداء من طرف إلى طرف. SIAM قابل للتطوير في دعم الشبكات العصبية العميقة (DNNs) ويمكن تخصيصه لمختلف هياكل الشبكات والتكوينات. يوضح فريق البحث الخاص به المرونة وقابلية التوسع وسرعة المحاكاة لـ SIAM من خلال قياس مختلف DNNs المتقدمة باستخدام مجموعات بيانات CIFAR-10 و CIFAR-100 و ImageNet. يُقال أنه مقارنةً بـ NVIDIA V100 و T4 GPU ، تُظهر بنية chiplet + IMC التي تم الحصول عليها من خلال SIAM أن كفاءة الطاقة لـ ResNet-50 على مجموعة بيانات ImageNet قد زادت بمقدار 130 و 72 على التوالي.
وهذا يعني أنه من المتوقع أن تحقق شريحة الذكاء الاصطناعي المتكاملة الخاصة بحوسبة التخزين تكاملاً غير متجانس بمساعدة تقنية Chiplet وتقنية التعبئة والتغليف 2.5D / 3D ، وبالتالي تشكيل نظام حوسبة واسع النطاق. يبدو أن الجمع بين التخزين والحساب + Chiplet طريقة مجدية لتحقيق ذلك.ويقال إن Yizhu Technology تستكشف هذا الطريق.يمكن أن تحقق شريحة تجارية ذات طاقة حوسبة كبيرة مدمجة وحسابها من الجيل الأول طاقة حوسبة بطاقة واحدة أكثر من 500T ، واستهلاك الطاقة في غضون 75W. ربما سيبدأ هذا مقدمة لمنحنى النمو الثاني لقوة حوسبة الذكاء الاصطناعي.
خاتمة
في المؤتمر العالمي للذكاء الاصطناعي ، قالت ليزا سو ، الرئيس التنفيذي لشركة AMD ، إنه ستكون هناك دورة حوسبة فائقة على نطاق واسع في السنوات العشر القادمة. لذلك ، حان الوقت لأن تصبح موردًا للتكنولوجيا ، كما أنها تختلف عن بعض الشركات التي ستستخدم هذه التقنيات لتطوير تقنيات مختلفة. وهو وقت جيد للعمل مع عملاء التطبيق.
لا أحد يريد صناعة ذات لاعب مهيمن واحد فقط. هل يمكن لسوق النماذج واسعة النطاق أن يمكّن صناعة الرقائق من أن يكون لها هيكل سوق جديد ، وهل يمكن أن تظهر جهات فاعلة جديدة؟
"جلب سوق النماذج الكبيرة أنماطًا وفرصًا جديدة للسوق لصناعة الرقائق. من خلال تعزيز تطوير رقائق الذكاء الاصطناعي ، وتعزيز نمو الحوسبة السحابية وأسواق مراكز البيانات ، وإحداث تغييرات في المشهد التنافسي ، أدى ظهور النماذج الكبيرة إلى جلبت فرصًا جديدة لصناعة الرقائق.اتجاه التنمية.
وتجدر الإشارة إلى أن صناعة الرقائق صناعة ذات قدرة تنافسية عالية وكثيفة التكنولوجيا. يتطلب دخول الصناعة موارد مالية وتقنية كبيرة لتلبية متطلبات التصنيع والبحث والتطوير المعقدة. على الرغم من أن سوق النماذج واسعة النطاق يوفر فرصًا للاعبين الجدد ، إلا أنهم بحاجة إلى التغلب على التحديات الفنية والمالية والتسويقية للنجاح في صناعة الرقائق شديدة التنافسية. "رد Chatgpt.
شاهد النسخة الأصلية
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
سوق النماذج على نطاق واسع ، ليس فقط HBM الساخن
المصدر الأصلي: صناعة أشباه الموصلات الرأسية والأفقية
في الآونة الأخيرة ، أصبح HBM موضوعًا ساخنًا في صناعة الرقائق. وفقًا لـ TrendForce ، من المتوقع أن يصل حجم البت لذاكرة النطاق الترددي العالي (HBM) إلى 290 مليون جيجابايت في عام 2023 ، بزيادة سنوية تقارب 60٪ ، ومن المتوقع أن تزداد بنسبة 30٪ في عام 2024. تم تحقيق مفهوم الذاكرة HBM الذي اقترحته AMD في عام 2008 بواسطة SK Hynix من خلال تقنية TSV في عام 2013. بعد 10 سنوات من تقديمها ، يبدو أن HBM قد حان حقًا في عصر التسويق على نطاق واسع.
يرتبط انطلاق مفهوم HBM ارتباطًا مباشرًا بشعبية AIGC. تمتلك خوادم الذكاء الاصطناعي متطلبات أعلى لعرض النطاق الترددي مقارنة بـ DDR SDRAM ، فإن HBM لديها نطاق ترددي أعلى واستهلاك أقل للطاقة. النطاق الترددي الفائق يجعل HBM مكونًا أساسيًا لوحدة معالجة الرسومات عالية الأداء ، و HBM هو في الأساس التكوين القياسي لخوادم الذكاء الاصطناعي. في الوقت الحالي ، تحتل تكلفة HBM المرتبة الثالثة في تكلفة خوادم الذكاء الاصطناعي ، حيث تمثل حوالي 9 ٪ ، ومتوسط سعر البيع لخادم واحد يصل إلى 18000 دولار أمريكي.
منذ ظهور ChatGPT العام الماضي ، بدأ سوق النماذج واسعة النطاق في النمو بسرعة.في السوق المحلية ، أعلن عمالقة التكنولوجيا مثل Baidu و Ali و HKUST Xunfei و SenseTime و Huawei على التوالي أنهم سيدربون الذكاء الاصطناعي الخاص بهم نماذج واسعة النطاق. تتوقع TrendForce أنه في عام 2025 سيكون هناك 5 AIGCs كبيرة الحجم مكافئة لـ ChatGPT ، و 25 من منتجات AIGC متوسطة الحجم من Midjourney ، و 80 منتجًا صغيرًا من منتجات AIGC. حتى الحد الأدنى من موارد الطاقة الحاسوبية المطلوبة عالميًا قد يتطلب 145600 إلى 233700 وحدة معالجة رسومات NVIDIA A100 . هذه هي مجالات النمو المحتملة لـ HBM.
منذ بداية عام 2023 ، زادت طلبات HBM من Samsung و SK Hynix بشكل سريع ، كما ارتفع سعر HBM ، وقد ارتفع سعر HBM3 DRAM مؤخرًا بمقدار 5 مرات. تلقت Samsung طلبات من AMD و Nvidia لزيادة المعروض من HBM. بدأت شركة SK hynix في توسيع خط إنتاج HBM ، بهدف مضاعفة الطاقة الإنتاجية لـ HBM. أفادت وسائل إعلام كورية أن سامسونج تخطط لاستثمار حوالي 760 مليون دولار أمريكي لتوسيع إنتاج HBM ، بهدف مضاعفة الطاقة الإنتاجية من HBM بحلول نهاية العام المقبل ، وقد قدمت الشركة طلبيات معدات رئيسية.
** مزايا HBM في AIGC **
بشكل مباشر ، ستعمل HBM على زيادة قوة الحوسبة للخوادم. نظرًا لمعالجة كمية كبيرة من البيانات في فترة زمنية قصيرة ، فإن خوادم الذكاء الاصطناعي لديها متطلبات أعلى لعرض النطاق الترددي. تشبه وظيفة HBM "محطة نقل البيانات" ، وهي حفظ بيانات الصورة مثل كل إطار وصورة مستخدمة في منطقة التخزين المؤقت للإطار ، وانتظار اتصال وحدة معالجة الرسومات. بالمقارنة مع تقنية الذاكرة التقليدية ، تتمتع HBM بنطاق ترددي أعلى وكمية إدخال / إخراج أكبر واستهلاك أقل للطاقة وحجم أصغر ، مما يحسن بشكل كبير حجم معالجة البيانات ومعدل نقل خوادم الذكاء الاصطناعي.
يمكن ملاحظة أن HBM لها ميزة مستوى "التدحرج" من حيث عرض النطاق الترددي. إذا تم تشغيل HBM2E بسرعة 3.6 جيجابت في الثانية على واجهة عرض 1024 بت ، فستحصل على 3.7 تيرا بايت في الثانية من عرض النطاق الترددي ، وهو أكثر من 18 ضعف عرض النطاق الترددي لـ LPDDR5 أو DDR4.
بالإضافة إلى ميزة النطاق الترددي ، يمكن لـ HBM توفير المساحة ، والتي بدورها يمكن أن تناسب المزيد من وحدات معالجة الرسومات في النظام. تتكون ذاكرة HBM من مكدس ذاكرة على نفس الحزمة الفعلية مثل وحدة معالجة الرسومات.
كان السعر عاملاً مقيدًا لـ HBM في الماضي. ولكن الآن سوق النماذج واسعة النطاق في فترة نزاع. بالنسبة للعمالقة الذين وضعوا نماذج كبيرة الحجم ، فإن الوقت هو المال. لذلك ، أصبح HBM ، وهو "باهظ الثمن ومكلف" ، هو المفضل الجديد للكبار عمالقة نموذج مصغر. مع الزيادة التدريجية في الطلب على وحدات معالجة الرسومات المتطورة ، بدأت HBM في أن تصبح التكوين القياسي لخوادم الذكاء الاصطناعي.
في الوقت الحالي ، تم تجهيز كل من Nvidia's A100 و H100 بسعة 80 جيجابايت من HBM2e و HBM3. في أحدث شريحة Grace Hopper التي تدمج وحدة المعالجة المركزية ووحدة معالجة الرسومات ، زادت سعة حمل HBM لشريحة واحدة بنسبة 20٪ ، لتصل إلى 96 جيجابايت.
تم تجهيز AMD's MI300 أيضًا بـ HBM3 ، من بينها سعة MI300A نفسها للجيل السابق بسعة 128 جيجا بايت ، و MI300X الأعلى الذي يصل إلى 192 جيجا بايت ، بزيادة قدرها 50٪.
من المتوقع أن توسع Google بنشاط تعاونها مع Broadcom في النصف الثاني من عام 2023 لتطوير شريحة تسريع AISC AI ومن المقرر أيضًا أن يتم تجهيز TPU بذاكرة HBM لتوسيع البنية التحتية للذكاء الاصطناعي.
** التخطيط المُسرّع لمورّد التخزين **
يسمح مثل هذا "المشهد النقدي" لعمالقة التخزين بتسريع تصميم ذاكرة HBM. في الوقت الحالي ، تقوم أكبر ثلاث شركات تصنيع شرائح ذاكرة في العالم بنقل المزيد من الطاقة الإنتاجية لإنتاج HBM ، ولكن نظرًا لأن الأمر يستغرق وقتًا لضبط الطاقة الإنتاجية ، فمن الصعب زيادة إنتاج HBM بسرعة ، ومن المتوقع أن يظل العرض من HBM ضيقًا في العامين المقبلين.
يتم التحكم في سوق HBM بشكل أساسي من قبل عمالقة DRAM الثلاثة. ومع ذلك ، على عكس سوق DRAM ، الذي تقوده Samsung ، تطورت SK Hynix بشكل أفضل في سوق HBM. كما ذكرنا في البداية ، قامت SK Hynix بتطوير أول منتج HBM. في أبريل 2023 ، أعلنت شركة SK Hynix عن تطوير أول منتج HBM3 DRAM سعة 24 جيجا بايت ، والذي يستخدم تقنية TSV لتكديس 12 شريحة DRAM أحادية المنتج رأسيًا وهي أرق بنسبة 40٪ من الرقائق الحالية ، مما يحقق نفس ارتفاع منتجات 16 جيجا بايت. وفي الوقت نفسه ، تخطط SK Hynix لإعداد عينات من HBM3E بأداء نقل بيانات 8 جيجابت في الثانية في النصف الثاني من عام 2023 ، ووضعها في الإنتاج الضخم في عام 2024.
يدور تخطيط شركات أشباه الموصلات المحلية لـ HBM في الغالب حول مجال التغليف والواجهات.
تقوم NationalChip Technology حاليًا بالبحث والتخطيط لتكنولوجيا تغليف الرقائق 2.5D لذاكرة HBM المتعددة ، وتعمل بنشاط على تعزيز البحث والتطوير وتطبيق تقنية Chiplet. بعد الانتهاء من خط إنتاج 2.5D / 3D لشركة Tongfu Microelectronics Co.، Ltd. ، ستحقق طفرة محلية في مجال تكنولوجيا التغليف عالية الأداء HBM. أطلقت BIWIN رقائق ذاكرة عالية الأداء ووحدات ذاكرة ، وستواصل الاهتمام بتقنية HBM. حققت شريحة PCIe 5.0 / CXL 2.0 Retimer من Montage Technology إنتاجًا ضخمًا.تعد هذه الشريحة ترقية رئيسية لمنتج Montage Technology's PCIe 4.0 Retimer ، والذي يمكن أن يوفر للصناعة عرض نطاق ترددي عالٍ ومستقر وموثوق به ، وزمن وصول منخفض PCIe 5.0 / CXL 2.0 حل التوصيل البيني.
على الرغم من أن HBM جيد ، إلا أنه لا يزال بحاجة إلى الهدوء. لا يزال HBM في مرحلة مبكرة نسبيًا ، ولا يزال أمامه طريق طويل لنقطعه. من المتوقع أنه مع استمرار المزيد والمزيد من الشركات المصنعة في بذل الجهود في مجالات مثل الذكاء الاصطناعي والتعلم الآلي ، يزداد تعقيد تصميم منتجات الذاكرة بسرعة ، ويتم وضع متطلبات أعلى على النطاق الترددي.سيستمر الطلب المتزايد على النطاق العريض في دفع عجلة التطوير من HBM.
يعكس سخونة HBM القدرة على القيادة لـ AIGC. إذن إلى جانب HBM و GPU ، هل هناك منتجات أخرى يمكنها الاستفادة من هذا الاتجاه الجديد؟
** تحدث عن الرقائق الأخرى المشتعلة **
** بدأت مزايا FPGA بالظهور **
FPGA (مصفوفة البوابة القابلة للبرمجة الميدانية) هي دائرة متكاملة مع عناصر منطقية قابلة للبرمجة وذاكرة وموارد ربط. على عكس ASIC (الدائرة المتكاملة الخاصة بالتطبيق) ، تتمتع FPGA بمزايا المرونة والتخصيص والقدرة على المعالجة المتوازية والترقية السهلة.
من خلال البرمجة ، يمكن للمستخدمين تغيير سيناريوهات تطبيق FPGA في أي وقت ، ويمكن لـ FPGA محاكاة العديد من العمليات المتوازية لوحدة المعالجة المركزية ووحدة معالجة الرسومات والأجهزة الأخرى. لذلك ، يطلق عليها أيضًا "الرقاقة العالمية" في الصناعة.
تعتبر FPGAs منطقية لاحتياجات الذكاء الاصطناعي لتغيير النماذج الأساسية بشكل متكرر. تتجاوز قابلية برمجة FPGA الاقتصاديات النموذجية لاستخدام FPGA. لكي نكون واضحين ، لن تكون FPGA منافسة جادة لأنظمة الذكاء الاصطناعي واسعة النطاق التي تستخدم الآلاف من وحدات معالجة الرسومات ، ولكن مع تغلغل الذكاء الاصطناعي بشكل أكبر في الإلكترونيات ، سيتوسع نطاق تطبيقات FPGA.
تتمثل ميزة FPGA على GPU في انخفاض استهلاك الطاقة وزمن الوصول. لا يمكن لوحدة معالجة الرسومات الاستفادة بشكل جيد من الذاكرة الموجودة على الرقاقة وتحتاج إلى قراءة DRAM خارج الشريحة بشكل متكرر ، وبالتالي فإن استهلاك الطاقة مرتفع للغاية. يمكن لـ FPGA استخدام التخزين على الرقاقة بمرونة ، وبالتالي فإن استهلاك الطاقة أقل بكثير من استهلاك وحدة معالجة الرسومات.
في 27 يونيو ، أعلنت AMD عن إطلاق نظام AMD Versal Premium VP1902 التكيفي على الرقاقة (SoC) ، وهو عبارة عن SoC متكيف يعتمد على FPGA. هذا جهاز من فئة المحاكاة ، قائم على الرقاقة ، يبسط عملية التحقق من تصاميم أشباه الموصلات المعقدة بشكل متزايد. يُذكر أن AMD VP1902 ستصبح أكبر FPGA في العالم. مقارنة بمنتج الجيل السابق (Xilinx VU19P) ، يضيف VP1902 الجديد وظيفة Versal ويعتمد تصميم رقاقة صغيرة ، والذي يضاعف أكثر من ضعف الأداء الرئيسي لـ FPGA.
يعتقد تقرير Dongxing Securities Research أن FPGA تتمتع بميزة كبيرة في منطق الذكاء الاصطناعي بفضل مزايا التأخير واستهلاك الطاقة التي توفرها بنيتها. كما أشار تقرير البحث السابق لشركة Zheshang Securities إلى أنه بالإضافة إلى GPU ، يمكن أن يلبي حل CPU + FPGA أيضًا الطلب الهائل على طاقة الحوسبة للذكاء الاصطناعي.
على عكس HBM التي تحتكرها الشركات الخارجية ، قامت الشركات المحلية بالفعل بتجميع رقائق FPGA.
يتمثل العمل الرئيسي لشركة Anlu Technology في البحث والتطوير والتصميم والمبيعات لرقائق FPGA وبرامج EDA الخاصة ، وقد تم استخدام المنتجات على نطاق واسع في التحكم الصناعي واتصالات الشبكة والإلكترونيات الاستهلاكية وغيرها من المجالات. Ziguang Tongchuang ، شركة تابعة لـ Ziguang Guowei ، هي شركة FPGA محترفة تصمم وتبيع رقائق FPGA للأغراض العامة. صرح Ziguang Guowei ذات مرة في موجز الأداء أنه يمكن استخدام شريحة FPGA الخاصة بالشركة في مجال الذكاء الاصطناعي. تقوم شركة Dongtu Technology بشكل أساسي بتصنيع رقائق FPGA. قام فريق الشركة المساهمة Zhongke Yihai Micro بتطوير برنامج EDA لدعم تطوير تطبيقات منتجات FPGA الخاصة بها.
** فكرة جديدة للاستبدال المحلي: تكامل التخزين والحوسبة + Chiplet **
هل يمكننا استخدام عملياتنا وتقنياتنا المتاحة حاليًا لتطوير شرائح ذكاء اصطناعي يمكنها منافسة Nvidia من حيث الأداء؟ ظهرت بعض "الأفكار الجديدة" ، مثل تكامل التخزين والحساب + Chiplet.
سيؤدي فصل التخزين والحساب إلى اختناقات في طاقة الحوسبة. مع التطور السريع لتقنية الذكاء الاصطناعي ، ازداد الطلب على قوة الحوسبة. في حقبة ما بعد مور ، يقيد النطاق الترددي للتخزين النطاق الترددي الفعال لنظام الحوسبة ، ويعاني نمو قوة حوسبة النظام. على سبيل المثال ، يستغرق الأمر 99 يومًا لتدريب نموذج BERT من البداية بـ 8 كتل من 1080TI. لا تحتوي البنية المتكاملة لحوسبة التخزين على مفهوم التخزين العميق متعدد المستويات. يتم تنفيذ جميع العمليات الحسابية في الذاكرة ، وبالتالي التخلص من جدار التخزين والأعباء الإضافية المقابلة الناتجة عن عدم تجانس حوسبة التخزين ؛ يمكن أن يؤدي التخلص من جدار التخزين إلى حد كبير تقليل معالجة البيانات. ، ليس فقط يحسن نقل البيانات وسرعة المعالجة ، بل يحسن أيضًا نسبة كفاءة الطاقة عدة مرات.
من ناحية أخرى ، سيتم تقليل استهلاك الطاقة المطلوب لمعالجة نفس قوة الحوسبة بين البنية المتكاملة لحوسبة التخزين ومعالج العمارة التقليدية ؛ افتح جدار التجميع للهندسة المعمارية التقليدية.
أصدر العلماء في جامعة ولاية أريزونا جهاز محاكاة معياري معماري IMC قائم على Chiplet SIAM في عام 2021 لتقييم إمكانات هذه البنية الجديدة في تدريب نموذج كبير لمنظمة العفو الدولية. تدمج SIAM الأجهزة ، والدائرة ، والهندسة المعمارية ، والشبكة على الرقاقة (NoC) ، والشبكة في الحزمة (NoP) ، ونماذج الوصول إلى ذاكرة الوصول العشوائي DRAM لتمكين نظام حوسبة عالي الأداء من طرف إلى طرف. SIAM قابل للتطوير في دعم الشبكات العصبية العميقة (DNNs) ويمكن تخصيصه لمختلف هياكل الشبكات والتكوينات. يوضح فريق البحث الخاص به المرونة وقابلية التوسع وسرعة المحاكاة لـ SIAM من خلال قياس مختلف DNNs المتقدمة باستخدام مجموعات بيانات CIFAR-10 و CIFAR-100 و ImageNet. يُقال أنه مقارنةً بـ NVIDIA V100 و T4 GPU ، تُظهر بنية chiplet + IMC التي تم الحصول عليها من خلال SIAM أن كفاءة الطاقة لـ ResNet-50 على مجموعة بيانات ImageNet قد زادت بمقدار 130 و 72 على التوالي.
وهذا يعني أنه من المتوقع أن تحقق شريحة الذكاء الاصطناعي المتكاملة الخاصة بحوسبة التخزين تكاملاً غير متجانس بمساعدة تقنية Chiplet وتقنية التعبئة والتغليف 2.5D / 3D ، وبالتالي تشكيل نظام حوسبة واسع النطاق. يبدو أن الجمع بين التخزين والحساب + Chiplet طريقة مجدية لتحقيق ذلك.ويقال إن Yizhu Technology تستكشف هذا الطريق.يمكن أن تحقق شريحة تجارية ذات طاقة حوسبة كبيرة مدمجة وحسابها من الجيل الأول طاقة حوسبة بطاقة واحدة أكثر من 500T ، واستهلاك الطاقة في غضون 75W. ربما سيبدأ هذا مقدمة لمنحنى النمو الثاني لقوة حوسبة الذكاء الاصطناعي.
خاتمة
في المؤتمر العالمي للذكاء الاصطناعي ، قالت ليزا سو ، الرئيس التنفيذي لشركة AMD ، إنه ستكون هناك دورة حوسبة فائقة على نطاق واسع في السنوات العشر القادمة. لذلك ، حان الوقت لأن تصبح موردًا للتكنولوجيا ، كما أنها تختلف عن بعض الشركات التي ستستخدم هذه التقنيات لتطوير تقنيات مختلفة. وهو وقت جيد للعمل مع عملاء التطبيق.
لا أحد يريد صناعة ذات لاعب مهيمن واحد فقط. هل يمكن لسوق النماذج واسعة النطاق أن يمكّن صناعة الرقائق من أن يكون لها هيكل سوق جديد ، وهل يمكن أن تظهر جهات فاعلة جديدة؟
"جلب سوق النماذج الكبيرة أنماطًا وفرصًا جديدة للسوق لصناعة الرقائق. من خلال تعزيز تطوير رقائق الذكاء الاصطناعي ، وتعزيز نمو الحوسبة السحابية وأسواق مراكز البيانات ، وإحداث تغييرات في المشهد التنافسي ، أدى ظهور النماذج الكبيرة إلى جلبت فرصًا جديدة لصناعة الرقائق.اتجاه التنمية.
وتجدر الإشارة إلى أن صناعة الرقائق صناعة ذات قدرة تنافسية عالية وكثيفة التكنولوجيا. يتطلب دخول الصناعة موارد مالية وتقنية كبيرة لتلبية متطلبات التصنيع والبحث والتطوير المعقدة. على الرغم من أن سوق النماذج واسعة النطاق يوفر فرصًا للاعبين الجدد ، إلا أنهم بحاجة إلى التغلب على التحديات الفنية والمالية والتسويقية للنجاح في صناعة الرقائق شديدة التنافسية. "رد Chatgpt.