مصدر الصورة: تم إنشاؤه بواسطة الذكاء الاصطناعي غير محدود
وراء انفجار AIGC هو الطلب الهائل على التدريب الذكاء الاصطناعي والتفكير الذكاء الاصطناعي. تعد NVIDIA حاليا أكبر مزود لقوة الحوسبة الذكاء الاصطناعي ، وترسل ربحيتها في الربع الثاني (بزيادة 854٪ على أساس سنوي) إشارة إلى أن طلب الصناعة على قوة الحوسبة الذكاء الاصطناعي بعيد عن تلبيتها.
أدى احتكار NVIDIA لقوة الحوسبة الذكاء الاصطناعي (حصة السوق أكثر من 80٪) إلى قلق العديد من الشركات التي تستخدم قوة الحوسبة الذكاء الاصطناعي ، وتقوم Microsoft و Amazon و OpenAI ببناء النوى بنشاط ، كما واجهت OpenAI فضائح استحواذ مع الذكاء الاصطناعي من الشركات الناشئة في مجال الرقائق مثل Cerebras و Atomic Semi.
ستتجاوز متطلبات قوة الحوسبة الذكاء الاصطناعي المنطقية لتشغيل تطبيقات الذكاء الاصطناعي بشكل كبير متطلبات قوة الحوسبة لتدريب النماذج الكبيرة في المستقبل ، ومتطلبات قوة الحوسبة المنطقية ليست هي نفسها التدريب ، ووحدات معالجة الرسومات الحالية للقيام بالاستدلال ليس لها ميزة في التكلفة ، الأمر الذي يتطلب رقائق الاستدلال الذكاء الاصطناعي الخاصة.
في الآونة الأخيرة ، تلقت d-Matrix ، وهي شركة ناشئة تركز على رقائق المنطق الذكاء الاصطناعي ، 110 مليون دولار في تمويل من السلسلة B ، بقيادة Temasek ، بما في ذلك مستثمرون من جولات تمويل سابقة مثل Playground Global و M12 (صندوق Microsoft Venture Capital Fund) و Industry Ventures و Ericsson Ventures و Samsung Ventures و SK Hynix وما إلى ذلك ، مع الاستثمار الصناعي الذي يمثل جزءا كبيرا. وقال سيد شيث ، الرئيس التنفيذي لشركة d-Matrix: "إنهم رأس مال يعرف كيفية بناء أعمال أشباه الموصلات ويمكنه العمل معنا لفترة طويلة. "
سيتم استخدام التمويل الجديد من d-Matrix لبناء Corsair ، بطاقة الحوسبة الرقمية في الذاكرة (DIMC) Chiplet Inference Computing. يقال إن هذه البطاقة أسرع 9 مرات من وحدة معالجة الرسومات NVIDIA H100 ، وفي حالة وجود مجموعة من بطاقات الحوسبة ، فهي أكثر كفاءة في استخدام الطاقة بمقدار 20 مرة ، وزمن انتقال أقل 20 مرة ، وما يصل إلى 30 مرة أقل تكلفة من حلول NVIDIA المماثلة.
** يهدف اثنان من قدامى المحاربين في مجال الرقائق إلى التفكير الذكاء الاصطناعي احتياجات قوة الحوسبة في عصر AIGC **
تستخدم أنظمة الذكاء الاصطناعي أنواعا مختلفة من الحساب عند تدريب نماذج الذكاء الاصطناعي مقابل استخدامها للتنبؤات والاستدلال. يتطلب الاستدلال الذكاء الاصطناعي قوة حوسبة أقل ، ولكن عند تشغيل خدمة الذكاء الاصطناعي كبيرة ، فإنه يتطلب قوة حوسبة أكبر من التدريب على المدى الطويل.
من الصعب نشر مركز بيانات مخصص للاستدلال الذكاء الاصطناعي بتكلفة منخفضة باستخدام أجهزة الذكاء الاصطناعي الحالية. يذكر أن خدمة GitHub Copilot من Microsoft يتم نشرها بمعدل 20 دولارا لكل مستخدم شهريا ، ووفقا لديلان باتيل ، المحلل الرئيسي في SemiAnalysis ، فإن تكلفة الاستثمار اليومية ل OpenAI التي تدير ChatGPT قد تصل إلى 700000 دولار. هذه التكاليف هي تكاليف الاستدلال الذكاء الاصطناعي التي لا يمكن تخفيضها عند تشغيل خدمات الذكاء الاصطناعي.
يجب أن تتطور صناعة الذكاء الاصطناعي بشكل أكثر صحة ، مع انخفاض تكاليف الاستدلال وانخفاض تكاليف استهلاك الطاقة لرقائق الاستدلال الذكاء الاصطناعي.
أسس اثنان من قدامى المحاربين في صناعة الرقائق ، سيد شيث وسوديب بهوجا ، d-Matrix في عام 2019 بعد أن عملا معا سابقا في Marvell و Broadcom. في عام 2019 ، كان النموذج الذكاء الاصطناعي لبنية المحولات قد ظهر للتو ، ورأوا الإمكانات والفرصة الكبيرة لهذه البنية النموذجية وقرروا تصميم أجهزتهم الذكاء الاصطناعي خصيصا لنماذج اللغة الكبيرة هذه.
قال سيد شيث ، الرئيس التنفيذي والمؤسس المشارك لشركة d-Matrix: "لقد راهننا في عام 2019 على التركيز على منصة تسريع لنماذج Transformer والتركيز على الاستدلال ، وبحلول نهاية عام 2022 ، عندما انفجرت الذكاء الاصطناعي التوليدية ، أصبحت d-Matrix واحدة من الشركات القليلة التي لديها منصة حوسبة الاستدلال الذكاء الاصطناعي التوليدية. لقد كبرنا واغتمنا هذه الفرصة على مدار ثلاث سنوات. تم تصميم جميع أجهزتنا وبرامجنا لتسريع نماذج المحولات الذكاء الاصطناعي التوليدية. "
واصل سيد شيث وصف تفرد وضع d-Matrix في السوق: "ستغير الذكاء الاصطناعي التوليدية إلى الأبد نموذج كيفية إنشاء الأشخاص والشركات للتكنولوجيا والعمل والتفاعل معها.
لكن التكلفة الإجمالية الحالية للملكية (TCO) لتشغيل الاستدلال الذكاء الاصطناعي ترتفع بسرعة ، ويعمل فريق d-Matrix على تغيير اقتصاديات التكلفة لنشر الاستدلال الذكاء الاصطناعي مع حلول الحوسبة المصممة لهذا الغرض لنماذج اللغات الكبيرة ، وتؤكد جولة التمويل هذه مكانتنا في الصناعة. "
وقال مايكل ستيوارت، وهو مستثمر في مايكروسوفت إم 12: "لقد دخلنا الإنتاج رسميا عندما أصبح التكلفة الإجمالية للملكية لاستدلال نموذج اللغة الكبيرة عاملا مقيدا رئيسيا للمؤسسات لاستخدام الذكاء الاصطناعي المتقدمة في خدماتها وتطبيقاتها. تتبع d-Matrix خطة من شأنها أن توفر التكلفة الإجمالية للملكية الرائدة في الصناعة لمجموعة متنوعة من سيناريوهات خدمة النماذج المحتملة باستخدام بنية Chiplet مرنة ومرنة تعتمد على نهج يركز على الذاكرة. "
إن استخدام وحدات المعالجة المركزية ووحدات معالجة الرسومات للتدريب الذكاء الاصطناعي والاستدلال ليس الطريقة الأكثر فعالية. بالنسبة لعمليات الاستدلال الذكاء الاصطناعي ، فإن حركة البيانات هي أكبر عنق الزجاجة. على وجه التحديد ، يؤدي نقل البيانات ذهابا وإيابا إلى ذاكرة الوصول العشوائي إلى زمن انتقال كبير ، مما يؤدي بدوره إلى زيادة استهلاك الطاقة وتكاليفها ، ويبطئ نظام الذكاء الاصطناعي بأكمله.
هناك ثلاث طرق لحل هذه المشكلة.
الأول يسرع التعلم العميق عن طريق تقليل كمية البيانات التي تتم معالجتها من خلال أخذ العينات وخطوط الأنابيب ، ولكنه يحد أيضا من الدقة والدقة.
والثاني هو إعداد معالج مخصص لمحرك الذكاء الاصطناعي بالقرب من المعالج التقليدي، تستخدم كل من Apple و NVIDIA و Intel و AMD هذه الطريقة، لكن هذه الحلول لا تزال تستخدم بنية معالج von Neumann التقليدية، لدمج SRAM وذاكرة DRAM الخارجية، تحتاج جميعها إلى نقل البيانات داخل وخارج الذاكرة، مما يؤدي إلى ارتفاع استهلاك الطاقة وانخفاض الكفاءة.
والثالث هو نقل الحساب أقرب إلى ذاكرة الوصول العشوائي (الذاكرة) ، وهو النهج الذي اتبعته d-Matrix. تعمل بنية المحرك هذه ، التي تسمى الحوسبة الرقمية في الذاكرة (DIMC) ، على تقليل زمن الوصول واستهلاك الطاقة. كما أنه مناسب تماما للاستدلال الذكاء الاصطناعي ، حيث يتضمن الاستدلال مجموعة بيانات مرجحة ثابتة نسبيا (ولكنها كبيرة) يتم الوصول إليها بشكل متكرر ، ويزيل DIMC معظم نفقات نقل الطاقة وتأخيرات حركة البيانات.
تستخدم d-Matrix شرائح متعددة لبناء دوائر متكاملة أكبر ومعيارية وقابلة للتطوير. وهذا يمكنها من إنشاء منصات قابلة للتطوير لمهام الاستدلال الذكاء الاصطناعي على مستوى المؤسسة، مما يساعد المؤسسات الذكاء الاصطناعي على تحسين الأداء والكفاءة.
** جايهوك الثاني تشيبليت **
في عام 2021 ، أطلقت d-Matrix Nighthawk Chiplet ، وبعد ذلك أطلقوا منصة Jayhawk Chiplet Platform ، وهي أول منصة Bunch of Vores (BoW) ذات بنية خاصة بالمجال المفتوح (ODSA) مصممة لتوفير اتصال عضوي موفر للطاقة قائم على الركيزة من رقاقة إلى رقاقة.
ستعتمد المنتجات الأولى التي تتميز ببنية DIMC من d-Matrix على معالج Jayhawk II الذي تم الإعلان عنه مؤخرا ، وهو Chiplet يحتوي على ما يقرب من 16.5 مليار ترانزستور.
تحتوي كل شريحة Jayhawk II على نواة RISC-V لإدارتها ، و 32 نواة Apollo (لكل منها ثماني وحدات DIMC تعمل بالتوازي) ، و 256 ميجابايت SRAM مع عرض نطاق ترددي 150 تيرابايت / ثانية. يتم توصيل النواة باستخدام شريحة شبكة خاصة بعرض نطاق ترددي 84 تيرابايت / ثانية.
** بطاقة حساب قرصان **
قدمت d-Matrix أيضا بطاقات حوسبة Corsair ، على غرار H100 من NVIDIA ، وتحتوي كل بطاقة حوسبة Corsair على 8 شرائح Jayhawk II ، وتوفر كل Jayhawk II عرض نطاق ترددي 2 تيرابايت / ثانية (250 جيجابايت / ثانية) من شريحة إلى شريحة ، وتحتوي بطاقة حوسبة Corsair واحدة على عرض نطاق ترددي إجمالي من شريحة إلى شريحة بسرعة 8 تيرابايت / ثانية (1 تيرابايت / ثانية).
تتيح بنية d-Matrix وقابلية تطوير البرامج تجميع ذاكرة SRAM المدمجة في مجموعة ذاكرة موحدة توفر نطاقا تردديا عاليا جدا. على سبيل المثال ، يحتوي الخادم الذي يحتوي على 16 بطاقة Corsair على 32 جيجابايت من SRAM و 2 تيرابايت من LPDDR5 ، وهو ما يكفي لتشغيل نموذج محول مع 20 مليار إلى 30 مليار معلمة.
تدعي d-Matrix أن الخوادم المزودة ببطاقات حوسبة Corsair تقلل التكلفة الإجمالية لملكية الاستدلال الذكاء الاصطناعي التوليدي بمقدار 10 إلى 30 مرة مقارنة بالحلول المستندة إلى GPU ، ولكن هذه المجموعة من الأجهزة لن تكون متاحة رسميا حتى عام 2024.
**مكدس برامج دي ماتريكس أفياتور **
لا تكمن قوة NVIDIA في قوة الحوسبة الذكاء الاصطناعي في وحدة معالجة الرسومات فحسب ، بل تكمن أيضا في مجموعة برامج CUDA والعديد من المكتبات المحسنة لأحمال العمل وحالات الاستخدام المحددة ، وبالتالي تشكيل نظام بيئي كامل.
كما توفر d-Matrix للعملاء تجربة كاملة مع مجموعة برامج Aviator جنبا إلى جنب مع الأجهزة ، والتي تتضمن مجموعة من البرامج لنشر النماذج في الإنتاج ، مثل سلاسل أدوات ML ، وبرامج النظام لتوزيع عبء العمل ، وبرنامج خادم الاستدلال لعمليات نشر الإنتاج ، وما إلى ذلك. ويستفيد الكثير من مجموعة برامجها من البرامج مفتوحة المصدر المعتمدة على نطاق واسع.
** استهدف نموذجا صغيرا نسبيا **
أشار سيد شيث ، الرئيس التنفيذي لشركة d-Matrix ، إلى أنه بالإضافة إلى تحديد المواقع الذكاء الاصطناعي الاستدلال ، فإنهم يركزون بشكل أكبر على عدة مليارات إلى عشرات المليارات من النماذج الصغيرة والمتوسطة الحجم ، بدلا من مئات المليارات من النماذج الكبيرة للأغراض العامة.
يوافق كارل فرويند ، المؤسس والمحلل الرئيسي في Cambrian الذكاء الاصطناعي ، وهي شركة أبحاث أشباه الموصلات والأبحاث الذكاء الاصطناعي ، قائلا: "معظم الشركات لا تنشر نماذج بمئات المليارات أو تريليونات من المعلمات. لكنهم سيستخدمون بيانات الشركة الخاصة لضبط النموذج ، وسيكون النموذج الذي سينشرونه بالفعل أصغر بكثير. بالنسبة لطراز بهذا الحجم ، فإن NVIDIA H100 ليس بالضرورة الخيار الأكثر اقتصادا عندما يتعلق الأمر بالاستدلال الذكاء الاصطناعي ، ويباع H100 حاليا بما يصل إلى 40,000 ألف دولار. "
كما أشار إلى أن d-Matrix تواجه نافذة من الفرص ، ولديه فترة زمنية فارغة نسبيا لإظهار قيمتها قبل أن يتحول عمالقة مثل Nvidia إلى هذا السوق.
في الوقت الحالي ، تتوقع d-Matrix إيرادات لا تزيد عن 10 ملايين دولار هذا العام ، معظمها من العملاء الذين يشترون الرقائق للتقييم. وقال المؤسس شيث إن دي ماتريكس تتوقع إيرادات سنوية تزيد عن 70 مليون دولار إلى 75 مليون دولار على مدى عامين وتحقق التعادل. مساحة السوق التي تواجه d-Matrix ضخمة ، وتتوقع Cambrian الذكاء الاصطناعي أنه بحلول عام 2030 ، من الممكن أن تصل نسبة استهلاك طاقة الحوسبة لرقائق الاستدلال الذكاء الاصطناعي إلى أكثر من 1000 TOPS لكل واط.
** الاستقلالية والتكلفة هي التربة لرقائق الذكاء الاصطناعي **
من ناحية ، تأتي تربة بقاء الشركات الناشئة الذكاء الاصطناعي مثل d-Matrix من الاحتياجات المستقلة والتي يمكن التحكم فيها لمصنعي الذكاء الاصطناعي ، سواء كانت عمالقة مثل Microsoft أو Meta أو Amazon أو شركات يونيكورن فائقة مثل OpenAI أو Anthropic أو الشركات الناشئة الرائدة مثل Cohere ، فهم لا يريدون أن تكون قوتهم الحاسوبية الذكاء الاصطناعي مرتبطة بشركة واحدة.
من ناحية أخرى ، فإن تكلفة تشغيل خدمات الذكاء الاصطناعي ، بالنسبة للشركات النموذجية الكبيرة ، على المدى الطويل ، ستكون تكلفة قوة الحوسبة لتشغيل الخدمات الذكاء الاصطناعي أعلى من تكلفة قوة الحوسبة لنماذج التدريب ، وفي هذه المرحلة ، تكون تكلفة التشغيل لمستخدم واحد للمؤسسات الذكاء الاصطناعي حالة خاسرة ، كما أن التكلفة الإجمالية للملكية (TCO) مرتفعة أيضا. بالنسبة للعمالقة الأغنياء بالنقد ، فإن هذه الخسارة ميسورة التكلفة ، ولكن بالنسبة للشركات الناشئة ، فهي عبء كبير ، مما يؤدي إلى إبطاء التوسع الإضافي لأعمالهم.
هناك حاجة ماسة إلى قوة حوسبة منطقية الذكاء الاصطناعي منخفضة التكلفة من طرف ثالث لكل من الشركات العملاقة والشركات الناشئة.
في هذه المرحلة، ما هي المخاطر التي تواجهها الشركات الناشئة في مجال رقائق الذكاء الاصطناعي؟ الأول ، بالطبع ، هو "احتكار" عملاق NVIDIA ، وكذلك Microsoft و Meta و Google و OpenAI ، أكبر شركات الذكاء الاصطناعي الرقائق المطورة ذاتيا ، ثم المشكلة البيئية للبرامج التي تدعم الشريحة.
وهذه المشاكل ، d-Matrix في طور الحل. وهي تستهدف سوق نماذج الذكاء الاصطناعي التجارية الصغيرة والمتوسطة الحجم ، وتتعاون أيضا مع مجتمع المصادر المفتوحة لبناء نظام بيئي للبرمجيات ، مما يمنحها ميزة تنافسية متباينة في منافسة العمالقة.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
كسر "احتكار" NVIDIA مع التمايز ، تقلل d-Matrix من تكلفة قوة حوسبة الاستدلال الذكاء الاصطناعي بمقدار 30 مرة
المصدر الأصلي: ألفا كومونة
وراء انفجار AIGC هو الطلب الهائل على التدريب الذكاء الاصطناعي والتفكير الذكاء الاصطناعي. تعد NVIDIA حاليا أكبر مزود لقوة الحوسبة الذكاء الاصطناعي ، وترسل ربحيتها في الربع الثاني (بزيادة 854٪ على أساس سنوي) إشارة إلى أن طلب الصناعة على قوة الحوسبة الذكاء الاصطناعي بعيد عن تلبيتها.
أدى احتكار NVIDIA لقوة الحوسبة الذكاء الاصطناعي (حصة السوق أكثر من 80٪) إلى قلق العديد من الشركات التي تستخدم قوة الحوسبة الذكاء الاصطناعي ، وتقوم Microsoft و Amazon و OpenAI ببناء النوى بنشاط ، كما واجهت OpenAI فضائح استحواذ مع الذكاء الاصطناعي من الشركات الناشئة في مجال الرقائق مثل Cerebras و Atomic Semi.
ستتجاوز متطلبات قوة الحوسبة الذكاء الاصطناعي المنطقية لتشغيل تطبيقات الذكاء الاصطناعي بشكل كبير متطلبات قوة الحوسبة لتدريب النماذج الكبيرة في المستقبل ، ومتطلبات قوة الحوسبة المنطقية ليست هي نفسها التدريب ، ووحدات معالجة الرسومات الحالية للقيام بالاستدلال ليس لها ميزة في التكلفة ، الأمر الذي يتطلب رقائق الاستدلال الذكاء الاصطناعي الخاصة.
في الآونة الأخيرة ، تلقت d-Matrix ، وهي شركة ناشئة تركز على رقائق المنطق الذكاء الاصطناعي ، 110 مليون دولار في تمويل من السلسلة B ، بقيادة Temasek ، بما في ذلك مستثمرون من جولات تمويل سابقة مثل Playground Global و M12 (صندوق Microsoft Venture Capital Fund) و Industry Ventures و Ericsson Ventures و Samsung Ventures و SK Hynix وما إلى ذلك ، مع الاستثمار الصناعي الذي يمثل جزءا كبيرا. وقال سيد شيث ، الرئيس التنفيذي لشركة d-Matrix: "إنهم رأس مال يعرف كيفية بناء أعمال أشباه الموصلات ويمكنه العمل معنا لفترة طويلة. "
سيتم استخدام التمويل الجديد من d-Matrix لبناء Corsair ، بطاقة الحوسبة الرقمية في الذاكرة (DIMC) Chiplet Inference Computing. يقال إن هذه البطاقة أسرع 9 مرات من وحدة معالجة الرسومات NVIDIA H100 ، وفي حالة وجود مجموعة من بطاقات الحوسبة ، فهي أكثر كفاءة في استخدام الطاقة بمقدار 20 مرة ، وزمن انتقال أقل 20 مرة ، وما يصل إلى 30 مرة أقل تكلفة من حلول NVIDIA المماثلة.
** يهدف اثنان من قدامى المحاربين في مجال الرقائق إلى التفكير الذكاء الاصطناعي احتياجات قوة الحوسبة في عصر AIGC **
تستخدم أنظمة الذكاء الاصطناعي أنواعا مختلفة من الحساب عند تدريب نماذج الذكاء الاصطناعي مقابل استخدامها للتنبؤات والاستدلال. يتطلب الاستدلال الذكاء الاصطناعي قوة حوسبة أقل ، ولكن عند تشغيل خدمة الذكاء الاصطناعي كبيرة ، فإنه يتطلب قوة حوسبة أكبر من التدريب على المدى الطويل.
من الصعب نشر مركز بيانات مخصص للاستدلال الذكاء الاصطناعي بتكلفة منخفضة باستخدام أجهزة الذكاء الاصطناعي الحالية. يذكر أن خدمة GitHub Copilot من Microsoft يتم نشرها بمعدل 20 دولارا لكل مستخدم شهريا ، ووفقا لديلان باتيل ، المحلل الرئيسي في SemiAnalysis ، فإن تكلفة الاستثمار اليومية ل OpenAI التي تدير ChatGPT قد تصل إلى 700000 دولار. هذه التكاليف هي تكاليف الاستدلال الذكاء الاصطناعي التي لا يمكن تخفيضها عند تشغيل خدمات الذكاء الاصطناعي.
يجب أن تتطور صناعة الذكاء الاصطناعي بشكل أكثر صحة ، مع انخفاض تكاليف الاستدلال وانخفاض تكاليف استهلاك الطاقة لرقائق الاستدلال الذكاء الاصطناعي.
أسس اثنان من قدامى المحاربين في صناعة الرقائق ، سيد شيث وسوديب بهوجا ، d-Matrix في عام 2019 بعد أن عملا معا سابقا في Marvell و Broadcom. في عام 2019 ، كان النموذج الذكاء الاصطناعي لبنية المحولات قد ظهر للتو ، ورأوا الإمكانات والفرصة الكبيرة لهذه البنية النموذجية وقرروا تصميم أجهزتهم الذكاء الاصطناعي خصيصا لنماذج اللغة الكبيرة هذه.
واصل سيد شيث وصف تفرد وضع d-Matrix في السوق: "ستغير الذكاء الاصطناعي التوليدية إلى الأبد نموذج كيفية إنشاء الأشخاص والشركات للتكنولوجيا والعمل والتفاعل معها.
لكن التكلفة الإجمالية الحالية للملكية (TCO) لتشغيل الاستدلال الذكاء الاصطناعي ترتفع بسرعة ، ويعمل فريق d-Matrix على تغيير اقتصاديات التكلفة لنشر الاستدلال الذكاء الاصطناعي مع حلول الحوسبة المصممة لهذا الغرض لنماذج اللغات الكبيرة ، وتؤكد جولة التمويل هذه مكانتنا في الصناعة. "
وقال مايكل ستيوارت، وهو مستثمر في مايكروسوفت إم 12: "لقد دخلنا الإنتاج رسميا عندما أصبح التكلفة الإجمالية للملكية لاستدلال نموذج اللغة الكبيرة عاملا مقيدا رئيسيا للمؤسسات لاستخدام الذكاء الاصطناعي المتقدمة في خدماتها وتطبيقاتها. تتبع d-Matrix خطة من شأنها أن توفر التكلفة الإجمالية للملكية الرائدة في الصناعة لمجموعة متنوعة من سيناريوهات خدمة النماذج المحتملة باستخدام بنية Chiplet مرنة ومرنة تعتمد على نهج يركز على الذاكرة. "
** تقليل تكلفة الاستدلال الذكاء الاصطناعي بمقدار 30 ضعفا **
إن استخدام وحدات المعالجة المركزية ووحدات معالجة الرسومات للتدريب الذكاء الاصطناعي والاستدلال ليس الطريقة الأكثر فعالية. بالنسبة لعمليات الاستدلال الذكاء الاصطناعي ، فإن حركة البيانات هي أكبر عنق الزجاجة. على وجه التحديد ، يؤدي نقل البيانات ذهابا وإيابا إلى ذاكرة الوصول العشوائي إلى زمن انتقال كبير ، مما يؤدي بدوره إلى زيادة استهلاك الطاقة وتكاليفها ، ويبطئ نظام الذكاء الاصطناعي بأكمله.
هناك ثلاث طرق لحل هذه المشكلة.
الأول يسرع التعلم العميق عن طريق تقليل كمية البيانات التي تتم معالجتها من خلال أخذ العينات وخطوط الأنابيب ، ولكنه يحد أيضا من الدقة والدقة.
والثاني هو إعداد معالج مخصص لمحرك الذكاء الاصطناعي بالقرب من المعالج التقليدي، تستخدم كل من Apple و NVIDIA و Intel و AMD هذه الطريقة، لكن هذه الحلول لا تزال تستخدم بنية معالج von Neumann التقليدية، لدمج SRAM وذاكرة DRAM الخارجية، تحتاج جميعها إلى نقل البيانات داخل وخارج الذاكرة، مما يؤدي إلى ارتفاع استهلاك الطاقة وانخفاض الكفاءة.
والثالث هو نقل الحساب أقرب إلى ذاكرة الوصول العشوائي (الذاكرة) ، وهو النهج الذي اتبعته d-Matrix. تعمل بنية المحرك هذه ، التي تسمى الحوسبة الرقمية في الذاكرة (DIMC) ، على تقليل زمن الوصول واستهلاك الطاقة. كما أنه مناسب تماما للاستدلال الذكاء الاصطناعي ، حيث يتضمن الاستدلال مجموعة بيانات مرجحة ثابتة نسبيا (ولكنها كبيرة) يتم الوصول إليها بشكل متكرر ، ويزيل DIMC معظم نفقات نقل الطاقة وتأخيرات حركة البيانات.
تستخدم d-Matrix شرائح متعددة لبناء دوائر متكاملة أكبر ومعيارية وقابلة للتطوير. وهذا يمكنها من إنشاء منصات قابلة للتطوير لمهام الاستدلال الذكاء الاصطناعي على مستوى المؤسسة، مما يساعد المؤسسات الذكاء الاصطناعي على تحسين الأداء والكفاءة.
** جايهوك الثاني تشيبليت **
في عام 2021 ، أطلقت d-Matrix Nighthawk Chiplet ، وبعد ذلك أطلقوا منصة Jayhawk Chiplet Platform ، وهي أول منصة Bunch of Vores (BoW) ذات بنية خاصة بالمجال المفتوح (ODSA) مصممة لتوفير اتصال عضوي موفر للطاقة قائم على الركيزة من رقاقة إلى رقاقة.
تحتوي كل شريحة Jayhawk II على نواة RISC-V لإدارتها ، و 32 نواة Apollo (لكل منها ثماني وحدات DIMC تعمل بالتوازي) ، و 256 ميجابايت SRAM مع عرض نطاق ترددي 150 تيرابايت / ثانية. يتم توصيل النواة باستخدام شريحة شبكة خاصة بعرض نطاق ترددي 84 تيرابايت / ثانية.
** بطاقة حساب قرصان **
قدمت d-Matrix أيضا بطاقات حوسبة Corsair ، على غرار H100 من NVIDIA ، وتحتوي كل بطاقة حوسبة Corsair على 8 شرائح Jayhawk II ، وتوفر كل Jayhawk II عرض نطاق ترددي 2 تيرابايت / ثانية (250 جيجابايت / ثانية) من شريحة إلى شريحة ، وتحتوي بطاقة حوسبة Corsair واحدة على عرض نطاق ترددي إجمالي من شريحة إلى شريحة بسرعة 8 تيرابايت / ثانية (1 تيرابايت / ثانية).
تدعي d-Matrix أن الخوادم المزودة ببطاقات حوسبة Corsair تقلل التكلفة الإجمالية لملكية الاستدلال الذكاء الاصطناعي التوليدي بمقدار 10 إلى 30 مرة مقارنة بالحلول المستندة إلى GPU ، ولكن هذه المجموعة من الأجهزة لن تكون متاحة رسميا حتى عام 2024.
**مكدس برامج دي ماتريكس أفياتور **
لا تكمن قوة NVIDIA في قوة الحوسبة الذكاء الاصطناعي في وحدة معالجة الرسومات فحسب ، بل تكمن أيضا في مجموعة برامج CUDA والعديد من المكتبات المحسنة لأحمال العمل وحالات الاستخدام المحددة ، وبالتالي تشكيل نظام بيئي كامل.
** استهدف نموذجا صغيرا نسبيا **
أشار سيد شيث ، الرئيس التنفيذي لشركة d-Matrix ، إلى أنه بالإضافة إلى تحديد المواقع الذكاء الاصطناعي الاستدلال ، فإنهم يركزون بشكل أكبر على عدة مليارات إلى عشرات المليارات من النماذج الصغيرة والمتوسطة الحجم ، بدلا من مئات المليارات من النماذج الكبيرة للأغراض العامة.
يوافق كارل فرويند ، المؤسس والمحلل الرئيسي في Cambrian الذكاء الاصطناعي ، وهي شركة أبحاث أشباه الموصلات والأبحاث الذكاء الاصطناعي ، قائلا: "معظم الشركات لا تنشر نماذج بمئات المليارات أو تريليونات من المعلمات. لكنهم سيستخدمون بيانات الشركة الخاصة لضبط النموذج ، وسيكون النموذج الذي سينشرونه بالفعل أصغر بكثير. بالنسبة لطراز بهذا الحجم ، فإن NVIDIA H100 ليس بالضرورة الخيار الأكثر اقتصادا عندما يتعلق الأمر بالاستدلال الذكاء الاصطناعي ، ويباع H100 حاليا بما يصل إلى 40,000 ألف دولار. "
كما أشار إلى أن d-Matrix تواجه نافذة من الفرص ، ولديه فترة زمنية فارغة نسبيا لإظهار قيمتها قبل أن يتحول عمالقة مثل Nvidia إلى هذا السوق.
في الوقت الحالي ، تتوقع d-Matrix إيرادات لا تزيد عن 10 ملايين دولار هذا العام ، معظمها من العملاء الذين يشترون الرقائق للتقييم. وقال المؤسس شيث إن دي ماتريكس تتوقع إيرادات سنوية تزيد عن 70 مليون دولار إلى 75 مليون دولار على مدى عامين وتحقق التعادل. مساحة السوق التي تواجه d-Matrix ضخمة ، وتتوقع Cambrian الذكاء الاصطناعي أنه بحلول عام 2030 ، من الممكن أن تصل نسبة استهلاك طاقة الحوسبة لرقائق الاستدلال الذكاء الاصطناعي إلى أكثر من 1000 TOPS لكل واط.
** الاستقلالية والتكلفة هي التربة لرقائق الذكاء الاصطناعي **
من ناحية ، تأتي تربة بقاء الشركات الناشئة الذكاء الاصطناعي مثل d-Matrix من الاحتياجات المستقلة والتي يمكن التحكم فيها لمصنعي الذكاء الاصطناعي ، سواء كانت عمالقة مثل Microsoft أو Meta أو Amazon أو شركات يونيكورن فائقة مثل OpenAI أو Anthropic أو الشركات الناشئة الرائدة مثل Cohere ، فهم لا يريدون أن تكون قوتهم الحاسوبية الذكاء الاصطناعي مرتبطة بشركة واحدة.
من ناحية أخرى ، فإن تكلفة تشغيل خدمات الذكاء الاصطناعي ، بالنسبة للشركات النموذجية الكبيرة ، على المدى الطويل ، ستكون تكلفة قوة الحوسبة لتشغيل الخدمات الذكاء الاصطناعي أعلى من تكلفة قوة الحوسبة لنماذج التدريب ، وفي هذه المرحلة ، تكون تكلفة التشغيل لمستخدم واحد للمؤسسات الذكاء الاصطناعي حالة خاسرة ، كما أن التكلفة الإجمالية للملكية (TCO) مرتفعة أيضا. بالنسبة للعمالقة الأغنياء بالنقد ، فإن هذه الخسارة ميسورة التكلفة ، ولكن بالنسبة للشركات الناشئة ، فهي عبء كبير ، مما يؤدي إلى إبطاء التوسع الإضافي لأعمالهم.
هناك حاجة ماسة إلى قوة حوسبة منطقية الذكاء الاصطناعي منخفضة التكلفة من طرف ثالث لكل من الشركات العملاقة والشركات الناشئة.
في هذه المرحلة، ما هي المخاطر التي تواجهها الشركات الناشئة في مجال رقائق الذكاء الاصطناعي؟ الأول ، بالطبع ، هو "احتكار" عملاق NVIDIA ، وكذلك Microsoft و Meta و Google و OpenAI ، أكبر شركات الذكاء الاصطناعي الرقائق المطورة ذاتيا ، ثم المشكلة البيئية للبرامج التي تدعم الشريحة.
وهذه المشاكل ، d-Matrix في طور الحل. وهي تستهدف سوق نماذج الذكاء الاصطناعي التجارية الصغيرة والمتوسطة الحجم ، وتتعاون أيضا مع مجتمع المصادر المفتوحة لبناء نظام بيئي للبرمجيات ، مما يمنحها ميزة تنافسية متباينة في منافسة العمالقة.