منذ ولادة GPT-3 ، بشرت الذكاء الاصطناعي التوليدية بنقطة انعطاف متفجرة في مجال الذكاء الاصطناعي بأدائها المذهل وسيناريوهات التطبيق الواسعة ، وبدأ عمالقة التكنولوجيا في القفز إلى المسار الذكاء الاصطناعي في مجموعات. ومع ذلك ، فإن تشغيل التدريب والاستدلال على نموذج اللغة الكبيرة (LLM) يتطلب الكثير من قوة الحوسبة ، ومع الترقية التكرارية للنموذج ، يزداد الطلب على قوة الحوسبة والتكلفة بشكل كبير. إذا أخذنا GPT-2 و GPT-3 كمثال ، فإن الفرق في عدد المعلمات بين GPT-2 و GPT-3 هو 1،166 مرة (150 مليون معلمة ل GPT-2 و 175 مليار معلمة ل GPT-3) ، ويمكن أن تصل تكلفة GPT-3 إلى 12 مليون دولار بناء على نموذج سعر سحابة GPU العامة في ذلك الوقت ، وهو 200 ضعف GPT-2. في عملية الاستخدام الفعلي ، يجب استنتاج كل سؤال للمستخدم وحسابه ، وفقا لحالة 13 مليون مستخدم فريد في بداية هذا العام ، فإن الطلب على الشريحة المقابلة يزيد عن 30000 قطعة A100GPU. ستكون التكلفة الأولية بعد ذلك مذهلة 800 مليون دولار ، مع ما يقدر بنحو 700000 دولار في اليوم للاستدلال على النموذج.
أصبحت قوة الحوسبة غير الكافية والتكاليف المرتفعة مشكلة لصناعة الذكاء الاصطناعي بأكملها ، ولكن يبدو أن نفس المشكلة تصيب صناعة blockchain أيضا. من ناحية ، يأتي النصف الرابع من Bitcoin ومرور صناديق الاستثمار المتداولة ، ومع ارتفاع الأسعار في المستقبل ، سيزداد الطلب على أجهزة الحوسبة من قبل عمال المناجم حتما بشكل كبير. من ناحية أخرى ، تزدهر تقنية "إثبات المعرفة الصفرية" (ZKP) ، وقد أكد فيتاليك مرارا وتكرارا أن تأثير ZK على مساحة blockchain في العقد المقبل سيكون بنفس أهمية blockchain نفسها. على الرغم من أن مستقبل هذه التكنولوجيا متوقع للغاية من قبل صناعة blockchain ، إلا أن ZK تستهلك أيضا الكثير من قوة الحوسبة والوقت في عملية إنشاء البراهين مثل الذكاء الاصطناعي بسبب العملية الحسابية المعقدة.
في المستقبل المنظور ، سيصبح النقص في قوة الحوسبة أمرا لا مفر منه ، فهل سيكون سوق طاقة الحوسبة اللامركزية عملا جيدا؟
تعريف سوق الحوسبة اللامركزية
سوق طاقة الحوسبة اللامركزية هو في الواقع مكافئ بشكل أساسي لمسار الحوسبة السحابية اللامركزية ، ولكن بالمقارنة مع الحوسبة السحابية اللامركزية ، أعتقد شخصيا أن هذا المصطلح سيكون أكثر ملاءمة لوصف المشاريع الجديدة المذكورة لاحقا. يجب أن ينتمي سوق طاقة الحوسبة اللامركزية إلى مجموعة فرعية من DePIN (شبكة البنية التحتية المادية اللامركزية) ، وهدفها هو إنشاء سوق طاقة حوسبة مفتوحة ، من خلال حوافز رمزية ، بحيث يمكن لأي شخص لديه موارد حوسبة خاملة توفير موارده في هذا السوق ، يخدم بشكل أساسي مجتمع المستخدم والمطور النهائي. من حيث المشاريع المعروفة ، مثل Render Network ، وهي شبكة من حلول العرض القائمة على وحدات معالجة الرسومات اللامركزية ، وشبكة Akash ، وهي سوق موزعة من نظير إلى نظير للحوسبة السحابية ، تنتمي إلى هذا المسار.
سيبدأ ما يلي بالمفهوم الأساسي ، ثم يناقش الأسواق الناشئة الثلاثة تحت المسار: سوق طاقة الحوسبة AGI ، وسوق طاقة الحوسبة Bitcoin ، وسوق طاقة الحوسبة AGI في سوق تسريع الأجهزة ZK ، وسيتم مناقشة الأخيرين في "معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الثاني)".
نظرة عامة على معدل التجزئة
يمكن إرجاع أصل مفهوم قوة الحوسبة إلى اختراع أجهزة الكمبيوتر ، وكان الكمبيوتر الأصلي جهازا ميكانيكيا لإكمال مهام الحوسبة ، وتشير قوة الحوسبة إلى قوة الحوسبة لجهاز ميكانيكي. مع تطور تكنولوجيا الكمبيوتر ، تطور مفهوم قوة الحوسبة أيضا ، والآن تشير قوة الحوسبة عادة إلى قدرة أجهزة الكمبيوتر (وحدة المعالجة المركزية ، وحدة معالجة الرسومات ، FPGA ، إلخ) والبرامج (نظام التشغيل ، المترجم ، التطبيق ، إلخ) للعمل معا.
تعريف
تشير قوة الحوسبة إلى كمية البيانات التي يمكن لجهاز كمبيوتر أو جهاز حوسبة آخر معالجتها أو عدد مهام الحوسبة التي يمكن إكمالها في فترة زمنية معينة. غالبا ما يستخدم Hashrate لوصف أداء جهاز كمبيوتر أو جهاز حوسبة آخر ، وهو مقياس مهم لقوة معالجة جهاز الحوسبة.
المقاييس
يمكن قياس قوة الحوسبة بطرق مختلفة ، مثل سرعة الحوسبة واستهلاك طاقة الحوسبة ودقة الحوسبة والتوازي. في مجال الكمبيوتر ، تتضمن مقاييس قوة الحوسبة شائعة الاستخدام FLOPS (عمليات الفاصلة العائمة في الثانية) ، IPS (التعليمات في الثانية) ، TPS (المعاملات في الثانية) ، إلخ.
يشير FLOPS (عمليات الفاصلة العائمة في الثانية) إلى قدرة الكمبيوتر على التعامل مع عمليات الفاصلة العائمة (العمليات الحسابية على الأرقام ذات النقاط العشرية ، مع مراعاة مشكلات مثل الدقة وأخطاء التقريب) ، ويقيس عدد عمليات الفاصلة العائمة التي يمكن للكمبيوتر إكمالها في الثانية. FLOPS هو مقياس لقوة الحوسبة عالية الأداء للكمبيوتر ، ويستخدم بشكل شائع لقياس قوة الحوسبة لأجهزة الكمبيوتر العملاقة وخوادم الحوسبة عالية الأداء ووحدات معالجة الرسومات (GPUs) ، من بين أمور أخرى. على سبيل المثال ، يحتوي نظام الكمبيوتر على FLOPS من 1 TFLOPS (1 تريليون عملية فاصلة عائمة في الثانية) ، مما يعني أنه يمكنه إكمال 1 تريليون عملية فاصلة عائمة في الثانية.
يشير IPS (التعليمات في الثانية) إلى السرعة التي يعالج بها الكمبيوتر التعليمات ، ويقيس عدد التعليمات التي يستطيع الكمبيوتر تنفيذها في الثانية. IPS هو مقياس لأداء التعليمات الفردية للكمبيوتر ، وغالبا ما يستخدم لقياس أداء وحدة المعالجة المركزية (CPU) ، إلخ. على سبيل المثال ، وحدة المعالجة المركزية مع IPS من 3 غيغاهرتز (والتي يمكن أن تنفذ 300 مليون تعليمات في الثانية) يعني أنه يمكن تنفيذ 300 مليون تعليمات في الثانية.
يشير TPS (المعاملات في الثانية) إلى قدرة الكمبيوتر على معالجة المعاملات ، ويقيس عدد المعاملات التي يمكن للكمبيوتر إكمالها في الثانية. غالبا ما يتم استخدامه لقياس أداء خادم قاعدة البيانات. على سبيل المثال ، يعني خادم قاعدة البيانات الذي يحتوي على TPS 1000 أنه يمكنه معالجة 1000 معاملة قاعدة بيانات في الثانية.
بالإضافة إلى ذلك ، هناك بعض مؤشرات قوة الحوسبة لسيناريوهات تطبيق محددة ، مثل سرعة الاستدلال وسرعة معالجة الصور ودقة التعرف على الكلام.
نوع معدل التجزئة
تشير قوة حوسبة GPU إلى قوة الحوسبة لوحدة معالجة الرسومات. على عكس وحدة المعالجة المركزية (CPU) ، فإن وحدة معالجة الرسومات هي قطعة من الأجهزة المصممة خصيصا لمعالجة بيانات الرسومات مثل الصور ومقاطع الفيديو ، ولديها عدد كبير من وحدات المعالجة وقوة الحوسبة المتوازية الفعالة ، والتي يمكنها إجراء عدد كبير من عمليات الفاصلة العائمة في نفس الوقت. نظرا لاستخدام وحدات معالجة الرسومات في الأصل لمعالجة رسومات الألعاب ، فإنها عادة ما تحتوي على ترددات ساعة أعلى وعرض نطاق ترددي أكبر للذاكرة من وحدات المعالجة المركزية لدعم عمليات الرسومات المعقدة.
الفرق بين وحدة المعالجة المركزية ووحدة معالجة الرسومات
الهندسة المعمارية: تختلف بنية الحوسبة لوحدات المعالجة المركزية ووحدات معالجة الرسومات. تحتوي وحدات المعالجة المركزية عادة على نواة واحدة أو أكثر ، كل منها عبارة عن معالج للأغراض العامة قادر على أداء مجموعة متنوعة من العمليات المختلفة. من ناحية أخرى ، تحتوي وحدات معالجة الرسومات على عدد كبير من معالجات Stream و Shaders ، المخصصة لأداء العمليات المتعلقة بمعالجة الصور.
الحوسبة المتوازية: تتمتع وحدات معالجة الرسومات عادة بقدرات حوسبة متوازية أعلى. تحتوي وحدات المعالجة المركزية على عدد محدود من النوى ويمكنها تنفيذ تعليمات واحدة فقط لكل نواة ، ولكن يمكن أن تحتوي وحدات معالجة الرسومات على الآلاف من معالجات الدفق التي يمكنها تنفيذ تعليمات وعمليات متعددة في نفس الوقت. نتيجة لذلك ، تكون وحدات معالجة الرسومات بشكل عام أكثر ملاءمة من وحدات المعالجة المركزية لأداء مهام الحوسبة المتوازية ، مثل التعلم الآلي والتعلم العميق ، والتي تتطلب الكثير من الحوسبة المتوازية.
البرمجة: تعد برمجة GPU أكثر تعقيدا من وحدات المعالجة المركزية ، حيث تتطلب استخدام لغات برمجة محددة (مثل CUDA أو OpenCL) واستخدام تقنيات برمجة محددة للاستفادة من قوة الحوسبة المتوازية لوحدات معالجة الرسومات. في المقابل ، تعد وحدات المعالجة المركزية أسهل في البرمجة ويمكنها استخدام لغات البرمجة وأدوات البرمجة الشائعة.
أهمية قوة الحوسبة
في عصر الثورة الصناعية ، كان النفط هو دم العالم ، الذي تغلغل في كل صناعة. قوة الحوسبة في blockchain ، وفي عصر الذكاء الاصطناعي القادم ، ستكون قوة الحوسبة هي "النفط الرقمي" للعالم. من الاندفاع الجنوني للشركات الكبرى لرقائق الذكاء الاصطناعي وحقيقة أن أسهم Nvidia تجاوزت التريليون ، إلى الحصار الأخير للرقائق الراقية في الصين من قبل الولايات المتحدة ، إلى حجم قوة الحوسبة ، ومنطقة الرقائق ، وحتى خطة حظر سحابة GPU ، أهميتها بديهية ، وستكون قوة الحوسبة سلعة في العصر القادم.
! [معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول) ] (https://lh7-us.googleusercontent.com/xlgBcClw4SYpj6P0L9eYHUL_RV3Fw8SKr4xNNFdcKnCF75BL7mVNTY1bLzYJzpksDTyJN-HEft3vwB2bsNhHPTU7ot81OxehhTdUc7gVGLEFWRE1d0TeKjFnbY49MuRcdCOO_vlhrt1s9qgmNvXQEwk)
نظرة عامة على الذكاء الاصطناعي العام
الذكاء الاصطناعي (الذكاء الاصطناعي) هو علم تقني جديد يدرس ويطور النظريات والأساليب والتقنيات وأنظمة التطبيق لمحاكاة الذكاء البشري وتوسيعه وتوسيعه. نشأت في الخمسينيات والستينيات من القرن 20 ، وبعد أكثر من نصف قرن من التطور ، شهدت تطورا متشابكا لثلاث موجات من الرمزية والاتصال والجهات الفاعلة. التعريف الأكثر تحديدا الذكاء الاصطناعي التوليدية هو الذكاء الاصطناعي العام (AGI) ، وهو نظام الذكاء الاصطناعي يتمتع بفهم واسع يمكنه أداء ذكاء مشابه أو متفوق على البشر في مجموعة متنوعة من المهام والمجالات المختلفة. يحتاج الذكاء الاصطناعي العام بشكل أساسي إلى أن يتكون من ثلاثة عناصر: التعلم العميق (DL) ، والبيانات الضخمة ، وقوة الحوسبة واسعة النطاق.
التعلم العميق
التعلم العميق هو حقل فرعي من التعلم الآلي (ML) ، وخوارزميات التعلم العميق هي شبكات عصبية على غرار الدماغ البشري. على سبيل المثال ، يحتوي الدماغ البشري على ملايين الخلايا العصبية المترابطة التي تعمل معا لتعلم المعلومات ومعالجتها. وبالمثل ، تتكون الشبكات العصبية للتعلم العميق (أو الشبكات العصبية الاصطناعية) من طبقات متعددة من الخلايا العصبية الاصطناعية التي تعمل معا داخل الكمبيوتر. الخلايا العصبية الاصطناعية هي وحدات برمجية تسمى العقد التي تستخدم الحسابات الرياضية لمعالجة البيانات. الشبكات العصبية الاصطناعية هي خوارزميات التعلم العميق التي تستخدم هذه العقد لحل المشاكل المعقدة.
يمكن تقسيم الشبكات العصبية إلى طبقات إدخال وطبقات مخفية وطبقات إخراج ، ويتم توصيل المعلمات بين طبقات مختلفة.
طبقة الإدخال: طبقة الإدخال هي الطبقة الأولى من الشبكة العصبية وهي مسؤولة عن تلقي بيانات الإدخال الخارجية. تتوافق كل خلية عصبية في طبقة الإدخال مع ميزة من سمات بيانات الإدخال. على سبيل المثال ، عند معالجة بيانات الصورة ، قد تتوافق كل خلية عصبية مع قيمة بكسل واحدة للصورة ؛
الطبقات المخفية: تقوم طبقة الإدخال بمعالجة البيانات وتمريرها إلى الطبقات الأبعد في الشبكة العصبية. تعالج هذه الطبقات المخفية المعلومات على مستويات مختلفة ، وتعدل سلوكها عند تلقي معلومات جديدة. تحتوي شبكات التعلم العميق على مئات الطبقات المخفية التي يمكن استخدامها لتحليل المشكلات من عدة زوايا مختلفة. على سبيل المثال ، إذا تم إعطاؤك صورة لحيوان غير معروف يجب تصنيفها ، فيمكنك مقارنتها بحيوان تعرفه بالفعل. على سبيل المثال ، يمكن أن يحدد شكل الأذنين وعدد الأرجل وحجم التلاميذ نوع الحيوان. تعمل الطبقات المخفية في الشبكات العصبية العميقة بنفس الطريقة. إذا حاولت خوارزمية التعلم العميق تصنيف صورة ، فإن كل طبقة من طبقاتها المخفية تعالج السمات المختلفة للحيوان وتحاول تصنيفها بدقة ؛
طبقة الإخراج: طبقة الإخراج هي الطبقة الأخيرة من الشبكة العصبية وهي مسؤولة عن توليد مخرجات الشبكة. تمثل كل خلية عصبية في طبقة الخرج فئة أو قيمة خرج محتملة. على سبيل المثال ، في مشكلة التصنيف ، قد تتوافق كل خلية عصبية لطبقة الإخراج مع فئة ، بينما في مشكلة الانحدار ، قد تحتوي طبقة الإخراج على خلية عصبية واحدة فقط تمثل قيمتها النتيجة المتوقعة ؛
المعلمات: في الشبكة العصبية ، يتم تمثيل الاتصالات بين الطبقات المختلفة بواسطة معلمات الأوزان والتحيزات ، والتي يتم تحسينها أثناء التدريب لتمكين الشبكة من تحديد الأنماط بدقة وإجراء تنبؤات في البيانات. يمكن أن تؤدي الزيادة في المعلمات إلى زيادة قدرة النموذج للشبكة العصبية ، أي قدرة النموذج على تعلم وتمثيل الأنماط المعقدة في البيانات. ومع ذلك ، فإن الزيادة في المعلمات ستزيد من الطلب على قوة الحوسبة.
البيانات الضخمة
من أجل التدريب الفعال ، غالبا ما تتطلب الشبكات العصبية كمية كبيرة من البيانات ، متنوعة وذات جودة عالية ومصادر متعددة. إنه الأساس للتدريب والتحقق من نماذج التعلم الآلي. من خلال تحليل البيانات الضخمة ، يمكن لنماذج التعلم الآلي تعلم الأنماط والعلاقات في البيانات لعمل تنبؤات أو تصنيفات.
قوة حوسبة هائلة
البنية المعقدة متعددة الطبقات للشبكة العصبية ، والعدد الكبير من المعلمات ، والحاجة إلى معالجة البيانات الضخمة ، وطريقة التدريب التكراري (في مرحلة التدريب ، يحتاج النموذج إلى التكرار بشكل متكرر ، ويجب حساب الانتشار الأمامي والانتشار الخلفي لكل طبقة أثناء عملية التدريب ، بما في ذلك حساب وظيفة التنشيط ، وحساب وظيفة الخسارة ، وحساب التدرج وتحديث الوزن) ، والحاجة إلى الحوسبة عالية الدقة ، وقدرة الحوسبة المتوازية ، وتكنولوجيا التحسين والتنظيم ، وعملية تقييم النموذج والتحقق منه ، وكل ذلك يؤدي إلى الطلب على قوة حوسبة عالية. تزداد متطلبات AGI لقوة الحوسبة واسعة النطاق بنحو 10 مرات كل عام. حتى الآن ، يحتوي أحدث طراز GPT-4 على 1.8 تريليون معلمة ، وتكلفة تدريب واحدة تزيد عن 60 مليون دولار أمريكي ، وقوة الحوسبة المطلوبة هي 2.15e25 FLOPS (21،500 تريليون حساب الفاصلة العائمة). لا يزال الطلب على قوة الحوسبة للتدريب على النموذج التالي يتوسع ، كما تتزايد النماذج الجديدة.
الذكاء الاصطناعي اقتصاديات الحوسبة
حجم السوق المستقبلي
وفقا للتقديرات الأكثر موثوقية ، فإن "تقرير تقييم مؤشر قوة الحوسبة العالمية 2022-2023" الذي تم تجميعه بشكل مشترك من قبل IDC (مؤسسة البيانات الدولية) و Inspur Information ومعهد أبحاث الصناعة العالمية بجامعة تسينغهوا ، سينمو حجم سوق الحوسبة الذكاء الاصطناعي العالمية من 19.50 مليار دولار في عام 2022 إلى 34.66 مليار دولار في عام 2026 ، مع نمو حجم سوق الحوسبة الذكاء الاصطناعي التوليدية من 820 مليون دولار في عام 2022 إلى 10.99 مليار دولار في عام 2026. ستنمو الحوسبة الذكاء الاصطناعي التوليدية من 4.2٪ إلى 31.7٪ من إجمالي سوق الحوسبة الذكاء الاصطناعي.
تم احتكار إنتاج وحدات معالجة الرسومات الذكاء الاصطناعي من قبل NVIDA ، وهي باهظة الثمن (تم بيع أحدث H100 مقابل 40000 دولار لكل شريحة) ، وتم التقاط وحدات معالجة الرسومات من قبل عمالقة وادي السيليكون بمجرد إصدارها ، ويتم استخدام بعض هذه الأجهزة لتدريب نماذجها الجديدة. يتم تأجير الجزء الآخر لمطوري الذكاء الاصطناعي من خلال المنصات السحابية ، مثل Google و Amazon ومنصات الحوسبة السحابية من Microsoft ، والتي تتقن عددا كبيرا من موارد الحوسبة مثل الخوادم ووحدات معالجة الرسومات ووحدات TPU. أصبحت قوة الحوسبة موردا جديدا يحتكره العمالقة ، ولا يستطيع عدد كبير من المطورين المرتبطين الذكاء الاصطناعي شراء وحدة معالجة رسومات مخصصة بدون ترميز ، ومن أجل استخدام أحدث المعدات ، يتعين على المطورين استئجار خوادم سحابية AWS أو Microsoft. وفقا للتقرير المالي ، فإن هذا العمل يحقق أرباحا عالية للغاية ، حيث تبلغ هامش الخدمات السحابية ل AWS 61٪ ، بينما تتمتع Microsoft بهامش إجمالي أعلى يبلغ 72٪.
فهل يتعين علينا قبول هذه السلطة المركزية والسيطرة ، ودفع 72٪ من رسوم الربح لموارد الحوسبة؟ هل سيحتكر العمالقة الذين يحتكرون Web2 الحقبة القادمة؟
مشكلة قوة الحوسبة اللامركزية AGI
عندما يتعلق الأمر بمكافحة الاحتكار ، عادة ما تكون اللامركزية هي الحل الأمثل ، ومن المشاريع الحالية ، هل يمكننا استخدام البروتوكول لتحقيق قوة الحوسبة واسعة النطاق التي تتطلبها الذكاء الاصطناعي من خلال مشاريع التخزين في DePIN ووحدات معالجة الرسومات الخاملة مثل RDNR؟ الجواب هو لا ، الطريق إلى ذبح التنانين ليس بهذه البساطة ، والمشاريع المبكرة ليست مصممة خصيصا لقوة الحوسبة AGI ، فهي غير مجدية ، وتحتاج قوة الحوسبة إلى مواجهة التحديات الخمسة التالية على الأقل في السلسلة:
التحقق من العمل: لبناء شبكة حوسبة غير موثوقة حقا وتقديم حوافز مالية للمشاركين ، يجب أن يكون لدى الشبكة طريقة للتحقق من أن العمل الحسابي للتعلم العميق يتم تنفيذه بالفعل. في قلب هذه المشكلة هو اعتماد الدولة على نماذج التعلم العميق. في نموذج التعلم العميق ، يعتمد إدخال كل طبقة على إخراج الطبقة السابقة. هذا يعني أنه لا يمكنك فقط التحقق من صحة طبقة واحدة في نموذجك دون النظر في كل الطبقات التي قبلها. تعتمد حسابات كل طبقة على نتائج جميع الطبقات التي سبقتها. لذلك ، من أجل التحقق من العمل المنجز في نقطة معينة (على سبيل المثال ، طبقة معينة) ، يجب تنفيذ جميع الأعمال من بداية النموذج إلى تلك النقطة المحددة ؛
السوق: كسوق ناشئة ، يخضع سوق الطاقة الحاسوبية الذكاء الاصطناعي لمعضلات العرض والطلب ، مثل مشاكل البداية الباردة ، ويجب مطابقة سيولة العرض والطلب تقريبا من البداية حتى يتمكن السوق من النمو بنجاح. من أجل الحصول على العرض المحتمل لقوة التجزئة ، يجب تقديم مكافآت صريحة للمشاركين مقابل موارد التجزئة الخاصة بهم. يحتاج السوق إلى آلية لتتبع العمل الحسابي المنجز ودفع الرسوم المقابلة لمقدمي الخدمات في الوقت المناسب. في الأسواق التقليدية ، يتعامل الوسطاء مع مهام مثل الإدارة والإعداد ، مع تقليل التكاليف التشغيلية عن طريق تحديد الحد الأدنى من المدفوعات. ومع ذلك ، فإن هذا النهج أكثر تكلفة عند توسيع نطاق السوق. ولا يمكن الحصول على سوى جزء صغير من العرض اقتصاديا بشكل فعال، مما يؤدي إلى حالة توازن عتبة حيث لا يمكن للسوق إلا أن يلتقط ويحافظ على عرض محدود ولا يمكن أن ينمو أكثر؛
مشكلة التوقف: مشكلة التوقف هي مشكلة أساسية في النظرية الحسابية ، والتي تتضمن الحكم على ما إذا كانت مهمة حسابية معينة ستكتمل في وقت محدود أم لن تتوقف أبدا. هذه المشكلة غير قابلة للحل ، مما يعني أنه لا توجد خوارزمية عالمية يمكنها التنبؤ بما إذا كانت جميع المهام الحسابية ستتوقف في فترة زمنية محدودة. على سبيل المثال ، في Ethereum ، يواجه تنفيذ العقود الذكية فترة توقف مماثلة. أي أنه من المستحيل تحديد مقدار موارد الحوسبة المطلوبة مسبقا لتنفيذ عقد ذكي ، أو ما إذا كان سيتم إكماله في وقت معقول ؛
(في سياق التعلم العميق ، ستكون هذه المشكلة أكثر تعقيدا حيث ستتحول النماذج والأطر من بناء الرسم البياني الثابت إلى البناء والتنفيذ الديناميكي.) ）
الخصوصية: تصميم وتطوير الوعي بالخصوصية أمر لا بد منه لفريق المشروع. في حين أنه يمكن إجراء قدر كبير من أبحاث التعلم الآلي على مجموعات البيانات المتاحة للجمهور ، غالبا ما يكون ضبط النماذج على بيانات المستخدم المسجلة الملكية مطلوبا لتحسين أداء النماذج وتكييفها مع تطبيقات محددة. قد تتضمن عملية الضبط الدقيق هذه معالجة البيانات الشخصية وبالتالي تحتاج إلى مراعاة متطلبات درع الخصوصية ؛
التوازي: هذا عامل رئيسي في جدوى المشاريع الحالية ، وغالبا ما يتم تدريب نماذج التعلم العميق بالتوازي على مجموعات الأجهزة الكبيرة ذات البنى الخاصة والكمون المنخفض للغاية ، في حين تتطلب وحدات معالجة الرسومات في شبكات الحوسبة الموزعة تبادلا متكررا للبيانات لإدخال زمن الوصول وتقتصر على وحدات معالجة الرسومات الأقل أداء. في حالة مصادر طاقة الحوسبة غير الجديرة بالثقة وغير الموثوقة ، فإن كيفية التوازي غير المتجانس هي مشكلة يجب حلها ، والطريقة الحالية الممكنة هي تحقيق التوازي من خلال نماذج المحولات ، مثل محولات التبديل ، والتي تتمتع الآن بخصائص التوازي العالي.
الحل: على الرغم من أن المحاولة الحالية في سوق طاقة الحوسبة اللامركزية AGI لا تزال في مرحلة مبكرة ، إلا أن هناك مشروعين حللا مبدئيا التصميم التوافقي للشبكة اللامركزية وعملية تنفيذ شبكة الحوسبة اللامركزية في تدريب النموذج والاستدلال. سيأخذ ما يلي Gensyn و Together كأمثلة لتحليل طرق التصميم ومشاكل سوق طاقة الحوسبة اللامركزية AGI.
ريونيون
! [معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول) ] (https://lh7-us.googleusercontent.com/VnXV_k5tTI8rUEwU4YrFlOsdRdvqxk7dvnhTSIp4sXrnMKQjKmPDINqAs3MkmcFY_kmMfNrQnuJUnkAd4FiOzsTS9K7DpGRWGkXYhmHRA2V1wRlcaD6xW6zCixbUUm93AlvKTSzN-E2bkg4Jvnwnm0Q)
Gensyn هو سوق لقوة الحوسبة AGI التي لا تزال في مرحلة البناء وتهدف إلى حل التحديات المتعددة لحوسبة التعلم العميق اللامركزية وتقليل تكلفة التعلم العميق اليوم. Gensyn هو في الأساس بروتوكول إثبات الحصة من الطبقة 1 يعتمد على شبكة Polkadot ، والتي تكافئ مباشرة المحللين (Solvers) من خلال العقود الذكية مقابل أجهزة GPU الخاملة الخاصة بهم للحساب ، وتؤدي مهام التعلم الآلي.
بالعودة إلى السؤال أعلاه ، فإن جوهر بناء شبكة حوسبة غير موثوقة حقا هو التحقق من صحة عمل التعلم الآلي الذي تم إنجازه. هذه مشكلة معقدة للغاية تتطلب توازنا عند تقاطع نظرية التعقيد ونظرية الألعاب والتشفير والتحسين.
يقترح Gensyn حلا بسيطا حيث يقدم المحلل نتائج مهمة التعلم الآلي التي أكملها. للتحقق من دقة هذه النتائج، يحاول مدقق مستقل آخر القيام بنفس العمل مرة أخرى. يمكن الإشارة إلى هذه الطريقة على أنها نسخ متماثل واحد لأن مدققا واحدا فقط سيعيد التنفيذ. هذا يعني أنه لا يوجد سوى جهد إضافي واحد للتحقق من دقة العمل الأصلي. ومع ذلك ، إذا لم يكن الشخص الذي يتحقق من العمل هو طالب الوظيفة الأصلية ، فستظل مشكلة الثقة قائمة. لأن المدققين أنفسهم قد لا يكونون صادقين ، ويجب التحقق من عملهم. هذا يؤدي إلى مشكلة محتملة أنه إذا لم يكن الشخص الذي يتحقق من العمل هو طالب العمل الأصلي ، فستكون هناك حاجة إلى مدقق آخر للتحقق من عمله. ولكن قد لا يتم الوثوق بهذا المدقق الجديد أيضا ، لذلك هناك حاجة إلى مدقق آخر للتحقق من صحة عملهم ، والذي قد يستمر إلى الأبد ، ويشكل سلسلة لا نهائية من النسخ المتماثل. نحتاج هنا إلى تقديم ثلاثة مفاهيم أساسية ونسجها لبناء نظام مشارك من أربعة أدوار لحل مشكلة السلسلة اللانهائية.
إثبات التعلم الاحتمالي: استخدم البيانات الوصفية لعملية التحسين القائمة على التدرج لإنشاء شهادة العمل المنجز. من خلال نسخ مراحل معينة ، يمكنك التحقق من صحة هذه الشهادات بسرعة للتأكد من اكتمال العمل كما هو مجدول.
بروتوكول الدقة القائم على الرسم البياني: يستخدم بروتوكول قمة متعدد الحبيبات قائم على الرسم البياني ، بالإضافة إلى التنفيذ المتسق للمقيمين المتقاطعين. وهذا يسمح بإعادة تشغيل جهود التحقق ومقارنتها لضمان الاتساق ، وتأكيدها في النهاية بواسطة blockchain نفسها.
ألعاب الحوافز على غرار Truebit: استخدم Staking و slashing لبناء ألعاب الحوافز التي تضمن أن كل مشارك سليم ماليا سيتصرف بأمانة ويؤدي المهام المقصودة.
يتكون نظام المساهمين من الملتزمين والمحللين والمدققين والمبلغين عن المخالفات.
مقدمو الطلبات:
مقدم الطلب هو المستخدم النهائي للنظام ، ويوفر المهام التي سيتم حسابها ، ويدفع مقابل وحدات العمل المنجزة ؛
يحلون:
الحل هو العامل الأساسي للنظام ، حيث يقوم بتدريب النموذج وتوليد البراهين التي يتم فحصها بواسطة المدققين ؛
المحققون:
المدقق هو المفتاح لربط عملية التدريب غير الحتمية بالحساب الخطي الحتمي ، وتكرار جزء من دليل الحل ومقارنة المسافة بالعتبة المتوقعة ؛
المبلغون عن المخالفات:
المبلغون عن المخالفات هم خط الدفاع الأخير ، حيث يتحققون من عمل المدققين ويقدمون تحديات على أمل الحصول على مكافآت مربحة.
النظام يعمل
تم تصميم البروتوكول للعمل في نظام اللعبة الذي سيتكون من ثماني مراحل ، تغطي أربعة أدوار رئيسية للمشاركين ، وسيتم استخدامه لإكمال العملية الكاملة من تقديم المهمة إلى التحقق النهائي.
تقديم المهمة: تتكون المهمة من ثلاث معلومات محددة:
البيانات الوصفية التي تصف المهام والمعلمات الفائقة.
نموذج ثنائي (أو مخطط أساسي) ؛
بيانات التدريب المتاحة للجمهور والمعالجة مسبقا.
من أجل إرسال المهمة ، يحدد المرسل تفاصيل المهمة بتنسيق يمكن قراءته آليا ويرسلها إلى السلسلة جنبا إلى جنب مع النموذج الثنائي (أو المخطط القابل للقراءة آليا) وموقع يمكن الوصول إليه بشكل عام لبيانات التدريب التي تمت معالجتها مسبقا. يمكن تخزين البيانات المكشوفة في مخزن عناصر بسيط مثل AWS S3 أو في تخزين لامركزي مثل IPFS أو Arweave أو Subspace.
التنميط: تحدد عملية التحليل عتبة المسافة الأساسية لتعلم التحقق من صحة الإثبات. سيقوم المدقق بكشط مهمة التحليل بشكل دوري وإنشاء حد تباين لمقارنة إثبات التعلم. لإنشاء عتبات ، سيقوم المدققون بتشغيل وإعادة تشغيل جزء من التدريب بشكل حتمي ، باستخدام بذور عشوائية مختلفة ، وإنشاء البراهين الخاصة بهم والتحقق منها. خلال هذه العملية ، يحدد المدقق عتبة المسافة الإجمالية المتوقعة التي يمكن استخدامها كجهد غير حتمي للتحقق من صحة الحل.
التدريب: بعد التحليل ، تنتقل المهمة إلى مجموعة مهام عامة (على غرار Mempool الخاص ب Ethereum). حدد أداة حل لتنفيذ المهمة وإزالة المهمة من تجمع المهام. يقوم المحلل بتنفيذ المهمة بناء على البيانات الوصفية المقدمة من المرسل ، بالإضافة إلى بيانات النموذج والتدريب المقدمة. عند تنفيذ مهمة التدريب ، يقوم المحلل أيضا بإنشاء دليل على التعلم عن طريق فحص البيانات الوصفية وتخزينها بشكل دوري (بما في ذلك المعلمات) من عملية التدريب حتى يتمكن المدقق من تكرار خطوات التحسين التالية بأكبر قدر ممكن من الدقة.
توليد الإثبات: يقوم الحل بشكل دوري بتخزين أوزان النموذج أو التحديثات والفهرس المقابل مع مجموعة بيانات التدريب لتحديد العينات المستخدمة لإنشاء تحديثات الوزن. يمكن تعديل تردد نقطة التفتيش لتوفير ضمان أكبر أو لتوفير مساحة التخزين. يمكن أن يكون الإثبات "مكدسا" ، مما يعني أن الإثبات يمكن أن يبدأ بتوزيع عشوائي للأوزان المستخدمة لتهيئة الأوزان ، أو يبدأ بالأوزان المدربة مسبقا التي تم إنشاؤها باستخدام البراهين الخاصة بها. يتيح ذلك للبروتوكول إنشاء مجموعة من النماذج الأساسية المثبتة والمدربة مسبقا (أي النماذج الأساسية) التي يمكن ضبطها بدقة لمهام أكثر تحديدا.
التحقق من الإثبات: بمجرد اكتمال المهمة ، يقوم المحلل بتسجيل المهمة مع السلسلة ويعرض إثبات التعلم في مكان يمكن الوصول إليه بشكل عام حتى يتمكن المدقق من الوصول إليه. يقوم المدقق بسحب مهمة التحقق من الصحة من تجمع المهام الشائعة ويقوم بعمل حسابي لإعادة تشغيل جزء من الإثبات وإجراء حساب المسافة. ثم تستخدم السلسلة (جنبا إلى جنب مع العتبات المحسوبة أثناء مرحلة التحليل) المسافة الناتجة لتحديد ما إذا كان التحقق يطابق الإثبات.
تحدي الدقة القائم على الرسم البياني: بعد التحقق من صحة إثبات التعلم ، يمكن للمبلغين نسخ عمل المدقق للتحقق من أن التحقق نفسه يتم بشكل صحيح. إذا اعتقد أحد المبلغين عن المخالفات أن التحقق قد تم إجراؤه عن طريق الخطأ (ضار أو غير ضار) ، فيمكنه الطعن في نصاب العقد للحصول على مكافأة. يمكن أن تأتي هذه المكافأة من الودائع من المحللين والمدققين (في حالة إيجابية حقيقية) ، أو من مجموعة جوائز قبو اليانصيب (في حالة وجود نتيجة إيجابية خاطئة) ويتم إجراء التحكيم باستخدام السلسلة نفسها. لن يتحقق المبلغون عن المخالفات (في حالتهم ، المدققون) من العمل ويطعنون فيه لاحقا إلا إذا كانوا يتوقعون الحصول على تعويض مناسب. من الناحية العملية ، هذا يعني أنه من المتوقع أن ينضم المبلغون عن المخالفات ويغادرون الشبكة بناء على عدد المبلغين عن المخالفات الذين لديهم أنشطة أخرى (أي مع الودائع الحية والتحديات). لذلك ، فإن الإستراتيجية الافتراضية المتوقعة لأي مبلغ عن المخالفات هي الانضمام إلى الشبكة عندما يكون هناك عدد أقل من المبلغين الآخرين ، ونشر إيداع ، وتحديد مهمة نشطة بشكل عشوائي ، وبدء عملية التحقق الخاصة بهم. بعد انتهاء المهمة الأولى ، سيحصلون على مهمة نشطة عشوائية أخرى ويكررونها حتى يتجاوز عدد المبلغين عن المخالفات حد الدفع المحدد ، ثم سيغادرون الشبكة (أو ، على الأرجح ، ينتقلون إلى دور آخر في الشبكة - المدقق أو الحل - اعتمادا على قدرات أجهزتهم) حتى ينعكس الموقف مرة أخرى.
التحكيم التعاقدي: عندما يتم الطعن في المدقق من قبل أحد المبلغين عن المخالفات ، فإنهم يدخلون في عملية مع السلسلة لمعرفة مكان الإجراء أو المدخلات المتنازع عليها ، وأخيرا تقوم السلسلة بإجراء العملية الأساسية النهائية وتحديد ما إذا كان الطعن مبررا. من أجل الحفاظ على صدق المبلغين عن المخالفات ومصداقيتهم والتغلب على معضلة المدققين ، يتم تقديم الأخطاء القسرية المنتظمة ومدفوعات الفوز بالجائزة الكبرى هنا.
التسوية: أثناء عملية التسوية ، يتم الدفع للمشاركين بناء على استنتاج فحوصات الاحتمالات واليقين. اعتمادا على نتائج عمليات التحقق والتحديات السابقة ، ستكون هناك دفعات مختلفة لسيناريوهات مختلفة. إذا تم اعتبار العمل قد تم تنفيذه بشكل صحيح وتم اجتياز جميع عمليات التحقق ، تتم مكافأة موفر الحل والمدقق بناء على الإجراء المتخذ.
استعراض موجز للمشروع
صممت Gensyn نظام ألعاب رائع على طبقة التحقق وطبقة الحوافز ، والتي يمكنها تحديد الخطأ بسرعة من خلال العثور على نقاط الاختلاف في الشبكة ، ولكن لا يزال هناك العديد من التفاصيل المفقودة في النظام الحالي. على سبيل المثال ، كيفية تعيين المعلمات للتأكد من أن المكافآت والعقوبات معقولة دون أن تكون العتبة عالية جدا؟ هل نظرت اللعبة في الفرق بين الحالة القصوى وقوة الحوسبة للحلال؟ لا يوجد وصف تفصيلي للعملية المتوازية غير المتجانسة في الإصدار الحالي من الورقة البيضاء ، ويبدو أن تنفيذ Gensyn لا يزال صعبا وطويلا.
Together.ai
Together هي شركة تركز على المصدر المفتوح للنماذج الكبيرة وتلتزم بحلول الحوسبة الذكاء الاصطناعي اللامركزية ، على أمل أن يتمكن أي شخص من الوصول إلى الذكاء الاصطناعي واستخدامها في أي مكان. بالمعنى الدقيق للكلمة ، معا ليس مشروع blockchain ، ولكن المشروع قد حل مبدئيا مشكلة الكمون في شبكة الحوسبة AGI اللامركزية. لذلك، المقالة التالية فقط تحليل حل معا ولا تقييم المشروع.
كيف يمكن تدريب النماذج الكبيرة والاستدلال عليها عندما تكون الشبكة اللامركزية أبطأ 100 مرة من مركز البيانات؟
دعونا نتخيل كيف سيبدو توزيع أجهزة GPU المشاركة في الشبكة إذا تمت إزالة اللامركزية. سيتم توزيع هذه الأجهزة في قارات مختلفة ، في مدن مختلفة ، وستحتاج إلى الاتصال ببعضها البعض ، وسيختلف زمن الوصول وعرض النطاق الترددي للاتصال. كما هو موضح في الشكل أدناه ، تتم محاكاة السيناريو الموزع مع الأجهزة الموزعة عبر أمريكا الشمالية وأوروبا وآسيا ، مع اختلاف عرض النطاق الترددي وزمن الوصول بين الأجهزة. إذن ما الذي يجب القيام به لتوصيله في سلسلة؟
نمذجة حوسبة التدريب الموزع: يوضح الشكل التالي تدريب النموذج الأساسي على أجهزة متعددة ، وهناك ثلاثة أنواع من الاتصالات من حيث أنواع الاتصال: التنشيط الأمامي ، والتدرج الخلفي ، والاتصال الجانبي.
بالاقتران مع عرض النطاق الترددي للاتصالات وزمن الوصول ، يجب مراعاة شكلين من أشكال التوازي: توازي خط الأنابيب وتوازي البيانات ، المطابق لأنواع الاتصال الثلاثة في حالة الأجهزة المتعددة:
في توازي خط الأنابيب ، تنقسم جميع طبقات النموذج إلى مراحل ، حيث يعالج كل جهاز مرحلة ، وهي عبارة عن تسلسل مستمر من الطبقات ، مثل كتل المحولات المتعددة ؛ في التمرير الأمامي ، يتم تمرير التنشيط إلى المرحلة التالية ، بينما في التمرير الخلفي ، يتم تمرير تدرج التنشيط إلى المرحلة السابقة.
في توازي البيانات ، يحسب الجهاز بشكل مستقل تدرجات الدفعات الدقيقة المختلفة ، ولكنه يتصل لمزامنة هذه التدرجات.
** تحسين الجدولة: **
في بيئة لامركزية ، غالبا ما تكون عملية التدريب محدودة بالتواصل. تقوم خوارزميات الجدولة عموما بتعيين المهام التي تتطلب قدرا كبيرا من الاتصال للأجهزة ذات سرعات الاتصال الأسرع ، وبالنظر إلى التبعيات بين المهام وعدم تجانس الشبكة ، يجب نمذجة تكلفة استراتيجية جدولة محددة أولا. من أجل التقاط تكلفة الاتصال المعقدة لتدريب النموذج الأساسي ، يقترح Together صيغة جديدة ويحلل نموذج التكلفة إلى مستويين من خلال نظرية الرسم البياني:
نظرية الرسم البياني هي فرع من فروع الرياضيات التي تدرس طبيعة وهيكل الرسوم البيانية (الشبكات). يتكون الرسم البياني من رؤوس (عقد) وحواف (خطوط تربط العقد). الغرض الرئيسي من نظرية الرسم البياني هو دراسة الخصائص المختلفة للرسوم البيانية ، مثل اتصال الرسوم البيانية ، وألوان الرسوم البيانية ، وطبيعة المسارات والحلقات في الرسوم البيانية.
المستوى الأول هو قسم رسم بياني متوازن (تقسيم مجموعة رؤوس الرسم البياني إلى عدة مجموعات فرعية بأحجام متساوية أو متساوية تقريبا ، مع تقليل عدد الحواف بين المجموعات الفرعية. في هذا التقسيم ، تمثل كل مجموعة فرعية قسما ، ويتم تقليل تكلفة الاتصال عن طريق تقليل الحواف بين الأقسام ، والتي تتوافق مع تكلفة الاتصال لتوازي البيانات.
المستوى الثاني هو مشكلة مطابقة الرسم البياني المشترك والبائع المتجول (مشكلة مطابقة الرسم البياني المشترك والبائع المتجول هي مشكلة تحسين اندماجية تجمع بين عناصر مطابقة الرسم البياني ومشاكل البائع المتجول. تكمن مشكلة مطابقة الرسم البياني في العثور على تطابق في الرسم البياني بحيث يتم تقليل نوع من التكلفة أو تكبيرها. تتمثل مشكلة البائع المتجول في العثور على أقصر مسار لجميع العقد في الرسم البياني) ، بما يتوافق مع تكلفة الاتصال لتوازي خط الأنابيب.
الشكل أعلاه هو رسم تخطيطي للعملية ، لأن عملية التنفيذ الفعلية تتضمن بعض صيغ الحساب المعقدة. من أجل تسهيل فهمها ، سيشرح ما يلي العملية في الرسم البياني بعبارات الشخص العادي ، ويمكن الرجوع إلى عملية التنفيذ التفصيلية بنفسك في الوثائق الموجودة على الموقع الرسمي Together.
لنفترض أن هناك جهازا تم تعيينه D مع أجهزة N ، وكان الاتصال بينهما له تأخير غير محدد (A-matrix) وعرض النطاق الترددي (B-matrix). استنادا إلى مجموعة الأجهزة D ، نقوم أولا بإنشاء تجزئة رسم بياني متوازنة. عدد الأجهزة في كل تقسيم أو مجموعة أجهزة متساو تقريبا ، وكلها تتعامل مع نفس مراحل المسار. هذا يضمن أنه عندما تكون البيانات متوازية ، تؤدي مجموعات الأجهزة قدرا مماثلا من العمل. (يحدث توازي البيانات عندما تؤدي أجهزة متعددة نفس المهمة ، بينما تكون مراحل خط الأنابيب عندما تقوم الأجهزة بتنفيذ خطوات مهمة مختلفة بترتيب معين). استنادا إلى زمن انتقال الاتصال وعرض النطاق الترددي ، يمكن حساب "تكلفة" نقل البيانات بين مجموعات الأجهزة من خلال الصيغ. يتم دمج كل مجموعة متوازنة من الأجهزة لإنتاج رسم بياني تقريبي متصل بالكامل ، حيث تمثل كل عقدة مرحلة من مراحل خط الأنابيب وتمثل الحواف تكلفة الاتصال بين المرحلتين. لتقليل تكاليف الاتصال ، يتم استخدام خوارزمية مطابقة لتحديد مجموعات الأجهزة التي يجب أن تعمل معا.
لمزيد من التحسين ، يمكن أيضا تصميم المشكلة على أنها مشكلة بائع متجول مفتوح الحلقة (الحلقة المفتوحة تعني أنه ليست هناك حاجة للعودة إلى أصل المسار) للعثور على المسار الأمثل لنقل البيانات بين جميع الأجهزة. أخيرا ، تستخدم Together خوارزمية الجدولة المبتكرة الخاصة بها للعثور على استراتيجية التخصيص المثلى لنموذج تكلفة معين ، وذلك لتقليل تكاليف الاتصال وزيادة إنتاجية التدريب إلى أقصى حد. وفقا للقياسات الفعلية ، حتى لو كانت الشبكة أبطأ 100 مرة في ظل تحسين الجدولة هذا ، فإن معدل نقل التدريب الشامل يكون أبطأ بحوالي 1.7 إلى 2.3 مرة فقط.
لتحسين ضغط الاتصالات ، تقدم Together خوارزمية AQ-SGD (للحصول على عملية الحساب التفصيلية ، يرجى الرجوع إلى ورقة الضبط الدقيق لنماذج اللغة عبر الشبكات البطيئة باستخدام ضغط التنشيط مع الضمانات). خوارزمية AQ-SGD هي تقنية ضغط نشطة جديدة مصممة لحل مشكلة كفاءة الاتصالات للتدريب الموازي لخطوط الأنابيب على الشبكات منخفضة السرعة. على عكس الطرق السابقة لضغط قيمة النشاط مباشرة ، يركز AQ-SGD على ضغط التغييرات في قيمة النشاط لعينة التدريب نفسها على مدى فترات مختلفة ، وتقدم هذه الطريقة الفريدة ديناميكية "ذاتية التنفيذ" مثيرة للاهتمام ، ومن المتوقع أن يتحسن أداء الخوارزمية تدريجيا مع استقرار التدريب. بعد التحليل النظري الدقيق ، تثبت خوارزمية AQ-SGD أن لديها معدل تقارب جيد في ظل ظروف فنية معينة ووظيفة التكميم مع خطأ محدود. يمكن تنفيذ الخوارزمية بكفاءة دون إضافة نفقات إضافية لوقت التشغيل من طرف إلى طرف ، على الرغم من أنها تتطلب المزيد من الذاكرة ومحركات أقراص الحالة الصلبة لتخزين القيمة النشطة. من خلال التحقق التجريبي المكثف من تصنيف التسلسل ومجموعات بيانات نمذجة اللغة ، يمكن ل AQ-SGD ضغط قيم النشاط إلى 2-4 بت دون التضحية بأداء التقارب. بالإضافة إلى ذلك ، يمكن أيضا دمج AQ-SGD مع خوارزميات ضغط التدرج الحديثة لتحقيق "ضغط الاتصال من طرف إلى طرف" ، أي أن تبادل البيانات بين جميع الأجهزة ، بما في ذلك تدرجات النموذج وقيم النشاط الأمامي والتدرجات العكسية ، يتم ضغطه بدقة منخفضة ، وبالتالي تحسين كفاءة الاتصال بشكل كبير للتدريب الموزع. مقارنة بأداء التدريب الشامل لشبكة الحوسبة المركزية (على سبيل المثال ، 10 جيجابت في الثانية) بدون ضغط ، فهو حاليا أبطأ بنسبة 31٪ فقط. إلى جانب بيانات تحسين الجدولة ، على الرغم من أنه لا تزال هناك فجوة معينة من شبكة طاقة الحوسبة المركزية ، إلا أن هناك أملا كبيرا نسبيا في اللحاق بالركب في المستقبل.
خاتمة
في ظل فترة توزيع الأرباح التي جلبتها الموجة الذكاء الاصطناعي ، فإن سوق طاقة الحوسبة AGI هو بلا شك السوق الذي يتمتع بأكبر إمكانات وأكثر طلبا بين العديد من أسواق طاقة الحوسبة. ومع ذلك ، فإن صعوبة التطوير ومتطلبات الأجهزة ومتطلبات رأس المال هي أيضا الأعلى. إلى جانب المشروعين المذكورين أعلاه ، لا تزال هناك مسافة معينة من تنفيذ سوق طاقة الحوسبة AGI ، والشبكة اللامركزية الحقيقية أكثر تعقيدا بكثير من الوضع المثالي ، والذي من الواضح أنه لا يكفي للتنافس مع عمالقة السحابة. في وقت كتابة هذا المقال ، لوحظ أيضا أن بعض المشاريع التي هي في مهدها (مرحلة PPT) قد بدأت في استكشاف بعض نقاط الدخول الجديدة ، مثل التركيز على مرحلة الاستدلال الأقل صعوبة أو تدريب النماذج الصغيرة ، وهي محاولات أكثر عملية.
على الرغم من أنها تواجه العديد من التحديات ، إلا أنه من المهم على المدى الطويل ألا تتركز اللامركزية والأهمية غير المصرح بها لقوة الحوسبة AGI في عدد قليل من العمالقة المركزيين. لأن البشرية لا تحتاج إلى "دين" جديد أو "بابا" جديد ، ناهيك عن دفع "رسوم العضوية" باهظة الثمن.
ببليوغرافيا
جينسين لايت بيبر:
2.NeurIPS 2022: التغلب على اختناقات الاتصال للتدريب اللامركزي:
3.ضبط نماذج اللغة عبر الشبكات البطيئة باستخدام ضغط التنشيط مع الضمانات:
بروتوكول حوسبة التعلم الآلي ومستقبلنا:
5.Microsoft: إصدار الأرباح للسنة المالية 23 Q2:
تنافس على تذاكر الذكاء الاصطناعي: تتنافس BAT و Byte Meituan على وحدة معالجة الرسومات:
IDC: تقرير تقييم مؤشر قوة الحوسبة العالمية 2022-2023:
تقدير تدريب نموذج كبير لشركة Guosheng Securities:
أجنحة المعلومات: ما هي العلاقة بين قوة الحوسبة الذكاء الاصطناعي؟ ：
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول)
بواسطة زيك، واي بي بي كابيتال
مقدمة
منذ ولادة GPT-3 ، بشرت الذكاء الاصطناعي التوليدية بنقطة انعطاف متفجرة في مجال الذكاء الاصطناعي بأدائها المذهل وسيناريوهات التطبيق الواسعة ، وبدأ عمالقة التكنولوجيا في القفز إلى المسار الذكاء الاصطناعي في مجموعات. ومع ذلك ، فإن تشغيل التدريب والاستدلال على نموذج اللغة الكبيرة (LLM) يتطلب الكثير من قوة الحوسبة ، ومع الترقية التكرارية للنموذج ، يزداد الطلب على قوة الحوسبة والتكلفة بشكل كبير. إذا أخذنا GPT-2 و GPT-3 كمثال ، فإن الفرق في عدد المعلمات بين GPT-2 و GPT-3 هو 1،166 مرة (150 مليون معلمة ل GPT-2 و 175 مليار معلمة ل GPT-3) ، ويمكن أن تصل تكلفة GPT-3 إلى 12 مليون دولار بناء على نموذج سعر سحابة GPU العامة في ذلك الوقت ، وهو 200 ضعف GPT-2. في عملية الاستخدام الفعلي ، يجب استنتاج كل سؤال للمستخدم وحسابه ، وفقا لحالة 13 مليون مستخدم فريد في بداية هذا العام ، فإن الطلب على الشريحة المقابلة يزيد عن 30000 قطعة A100GPU. ستكون التكلفة الأولية بعد ذلك مذهلة 800 مليون دولار ، مع ما يقدر بنحو 700000 دولار في اليوم للاستدلال على النموذج.
أصبحت قوة الحوسبة غير الكافية والتكاليف المرتفعة مشكلة لصناعة الذكاء الاصطناعي بأكملها ، ولكن يبدو أن نفس المشكلة تصيب صناعة blockchain أيضا. من ناحية ، يأتي النصف الرابع من Bitcoin ومرور صناديق الاستثمار المتداولة ، ومع ارتفاع الأسعار في المستقبل ، سيزداد الطلب على أجهزة الحوسبة من قبل عمال المناجم حتما بشكل كبير. من ناحية أخرى ، تزدهر تقنية "إثبات المعرفة الصفرية" (ZKP) ، وقد أكد فيتاليك مرارا وتكرارا أن تأثير ZK على مساحة blockchain في العقد المقبل سيكون بنفس أهمية blockchain نفسها. على الرغم من أن مستقبل هذه التكنولوجيا متوقع للغاية من قبل صناعة blockchain ، إلا أن ZK تستهلك أيضا الكثير من قوة الحوسبة والوقت في عملية إنشاء البراهين مثل الذكاء الاصطناعي بسبب العملية الحسابية المعقدة.
في المستقبل المنظور ، سيصبح النقص في قوة الحوسبة أمرا لا مفر منه ، فهل سيكون سوق طاقة الحوسبة اللامركزية عملا جيدا؟
تعريف سوق الحوسبة اللامركزية
سوق طاقة الحوسبة اللامركزية هو في الواقع مكافئ بشكل أساسي لمسار الحوسبة السحابية اللامركزية ، ولكن بالمقارنة مع الحوسبة السحابية اللامركزية ، أعتقد شخصيا أن هذا المصطلح سيكون أكثر ملاءمة لوصف المشاريع الجديدة المذكورة لاحقا. يجب أن ينتمي سوق طاقة الحوسبة اللامركزية إلى مجموعة فرعية من DePIN (شبكة البنية التحتية المادية اللامركزية) ، وهدفها هو إنشاء سوق طاقة حوسبة مفتوحة ، من خلال حوافز رمزية ، بحيث يمكن لأي شخص لديه موارد حوسبة خاملة توفير موارده في هذا السوق ، يخدم بشكل أساسي مجتمع المستخدم والمطور النهائي. من حيث المشاريع المعروفة ، مثل Render Network ، وهي شبكة من حلول العرض القائمة على وحدات معالجة الرسومات اللامركزية ، وشبكة Akash ، وهي سوق موزعة من نظير إلى نظير للحوسبة السحابية ، تنتمي إلى هذا المسار.
سيبدأ ما يلي بالمفهوم الأساسي ، ثم يناقش الأسواق الناشئة الثلاثة تحت المسار: سوق طاقة الحوسبة AGI ، وسوق طاقة الحوسبة Bitcoin ، وسوق طاقة الحوسبة AGI في سوق تسريع الأجهزة ZK ، وسيتم مناقشة الأخيرين في "معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الثاني)".
نظرة عامة على معدل التجزئة
يمكن إرجاع أصل مفهوم قوة الحوسبة إلى اختراع أجهزة الكمبيوتر ، وكان الكمبيوتر الأصلي جهازا ميكانيكيا لإكمال مهام الحوسبة ، وتشير قوة الحوسبة إلى قوة الحوسبة لجهاز ميكانيكي. مع تطور تكنولوجيا الكمبيوتر ، تطور مفهوم قوة الحوسبة أيضا ، والآن تشير قوة الحوسبة عادة إلى قدرة أجهزة الكمبيوتر (وحدة المعالجة المركزية ، وحدة معالجة الرسومات ، FPGA ، إلخ) والبرامج (نظام التشغيل ، المترجم ، التطبيق ، إلخ) للعمل معا.
تعريف
تشير قوة الحوسبة إلى كمية البيانات التي يمكن لجهاز كمبيوتر أو جهاز حوسبة آخر معالجتها أو عدد مهام الحوسبة التي يمكن إكمالها في فترة زمنية معينة. غالبا ما يستخدم Hashrate لوصف أداء جهاز كمبيوتر أو جهاز حوسبة آخر ، وهو مقياس مهم لقوة معالجة جهاز الحوسبة.
المقاييس
يمكن قياس قوة الحوسبة بطرق مختلفة ، مثل سرعة الحوسبة واستهلاك طاقة الحوسبة ودقة الحوسبة والتوازي. في مجال الكمبيوتر ، تتضمن مقاييس قوة الحوسبة شائعة الاستخدام FLOPS (عمليات الفاصلة العائمة في الثانية) ، IPS (التعليمات في الثانية) ، TPS (المعاملات في الثانية) ، إلخ.
يشير FLOPS (عمليات الفاصلة العائمة في الثانية) إلى قدرة الكمبيوتر على التعامل مع عمليات الفاصلة العائمة (العمليات الحسابية على الأرقام ذات النقاط العشرية ، مع مراعاة مشكلات مثل الدقة وأخطاء التقريب) ، ويقيس عدد عمليات الفاصلة العائمة التي يمكن للكمبيوتر إكمالها في الثانية. FLOPS هو مقياس لقوة الحوسبة عالية الأداء للكمبيوتر ، ويستخدم بشكل شائع لقياس قوة الحوسبة لأجهزة الكمبيوتر العملاقة وخوادم الحوسبة عالية الأداء ووحدات معالجة الرسومات (GPUs) ، من بين أمور أخرى. على سبيل المثال ، يحتوي نظام الكمبيوتر على FLOPS من 1 TFLOPS (1 تريليون عملية فاصلة عائمة في الثانية) ، مما يعني أنه يمكنه إكمال 1 تريليون عملية فاصلة عائمة في الثانية.
يشير IPS (التعليمات في الثانية) إلى السرعة التي يعالج بها الكمبيوتر التعليمات ، ويقيس عدد التعليمات التي يستطيع الكمبيوتر تنفيذها في الثانية. IPS هو مقياس لأداء التعليمات الفردية للكمبيوتر ، وغالبا ما يستخدم لقياس أداء وحدة المعالجة المركزية (CPU) ، إلخ. على سبيل المثال ، وحدة المعالجة المركزية مع IPS من 3 غيغاهرتز (والتي يمكن أن تنفذ 300 مليون تعليمات في الثانية) يعني أنه يمكن تنفيذ 300 مليون تعليمات في الثانية.
يشير TPS (المعاملات في الثانية) إلى قدرة الكمبيوتر على معالجة المعاملات ، ويقيس عدد المعاملات التي يمكن للكمبيوتر إكمالها في الثانية. غالبا ما يتم استخدامه لقياس أداء خادم قاعدة البيانات. على سبيل المثال ، يعني خادم قاعدة البيانات الذي يحتوي على TPS 1000 أنه يمكنه معالجة 1000 معاملة قاعدة بيانات في الثانية.
بالإضافة إلى ذلك ، هناك بعض مؤشرات قوة الحوسبة لسيناريوهات تطبيق محددة ، مثل سرعة الاستدلال وسرعة معالجة الصور ودقة التعرف على الكلام.
نوع معدل التجزئة
تشير قوة حوسبة GPU إلى قوة الحوسبة لوحدة معالجة الرسومات. على عكس وحدة المعالجة المركزية (CPU) ، فإن وحدة معالجة الرسومات هي قطعة من الأجهزة المصممة خصيصا لمعالجة بيانات الرسومات مثل الصور ومقاطع الفيديو ، ولديها عدد كبير من وحدات المعالجة وقوة الحوسبة المتوازية الفعالة ، والتي يمكنها إجراء عدد كبير من عمليات الفاصلة العائمة في نفس الوقت. نظرا لاستخدام وحدات معالجة الرسومات في الأصل لمعالجة رسومات الألعاب ، فإنها عادة ما تحتوي على ترددات ساعة أعلى وعرض نطاق ترددي أكبر للذاكرة من وحدات المعالجة المركزية لدعم عمليات الرسومات المعقدة.
الفرق بين وحدة المعالجة المركزية ووحدة معالجة الرسومات
الهندسة المعمارية: تختلف بنية الحوسبة لوحدات المعالجة المركزية ووحدات معالجة الرسومات. تحتوي وحدات المعالجة المركزية عادة على نواة واحدة أو أكثر ، كل منها عبارة عن معالج للأغراض العامة قادر على أداء مجموعة متنوعة من العمليات المختلفة. من ناحية أخرى ، تحتوي وحدات معالجة الرسومات على عدد كبير من معالجات Stream و Shaders ، المخصصة لأداء العمليات المتعلقة بمعالجة الصور.
الحوسبة المتوازية: تتمتع وحدات معالجة الرسومات عادة بقدرات حوسبة متوازية أعلى. تحتوي وحدات المعالجة المركزية على عدد محدود من النوى ويمكنها تنفيذ تعليمات واحدة فقط لكل نواة ، ولكن يمكن أن تحتوي وحدات معالجة الرسومات على الآلاف من معالجات الدفق التي يمكنها تنفيذ تعليمات وعمليات متعددة في نفس الوقت. نتيجة لذلك ، تكون وحدات معالجة الرسومات بشكل عام أكثر ملاءمة من وحدات المعالجة المركزية لأداء مهام الحوسبة المتوازية ، مثل التعلم الآلي والتعلم العميق ، والتي تتطلب الكثير من الحوسبة المتوازية.
البرمجة: تعد برمجة GPU أكثر تعقيدا من وحدات المعالجة المركزية ، حيث تتطلب استخدام لغات برمجة محددة (مثل CUDA أو OpenCL) واستخدام تقنيات برمجة محددة للاستفادة من قوة الحوسبة المتوازية لوحدات معالجة الرسومات. في المقابل ، تعد وحدات المعالجة المركزية أسهل في البرمجة ويمكنها استخدام لغات البرمجة وأدوات البرمجة الشائعة.
أهمية قوة الحوسبة
في عصر الثورة الصناعية ، كان النفط هو دم العالم ، الذي تغلغل في كل صناعة. قوة الحوسبة في blockchain ، وفي عصر الذكاء الاصطناعي القادم ، ستكون قوة الحوسبة هي "النفط الرقمي" للعالم. من الاندفاع الجنوني للشركات الكبرى لرقائق الذكاء الاصطناعي وحقيقة أن أسهم Nvidia تجاوزت التريليون ، إلى الحصار الأخير للرقائق الراقية في الصين من قبل الولايات المتحدة ، إلى حجم قوة الحوسبة ، ومنطقة الرقائق ، وحتى خطة حظر سحابة GPU ، أهميتها بديهية ، وستكون قوة الحوسبة سلعة في العصر القادم.
! [معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول) ] (https://lh7-us.googleusercontent.com/xlgBcClw4SYpj6P0L9eYHUL_RV3Fw8SKr4xNNFdcKnCF75BL7mVNTY1bLzYJzpksDTyJN-HEft3vwB2bsNhHPTU7ot81OxehhTdUc7gVGLEFWRE1d0TeKjFnbY49MuRcdCOO_vlhrt1s9qgmNvXQEwk)
نظرة عامة على الذكاء الاصطناعي العام
الذكاء الاصطناعي (الذكاء الاصطناعي) هو علم تقني جديد يدرس ويطور النظريات والأساليب والتقنيات وأنظمة التطبيق لمحاكاة الذكاء البشري وتوسيعه وتوسيعه. نشأت في الخمسينيات والستينيات من القرن 20 ، وبعد أكثر من نصف قرن من التطور ، شهدت تطورا متشابكا لثلاث موجات من الرمزية والاتصال والجهات الفاعلة. التعريف الأكثر تحديدا الذكاء الاصطناعي التوليدية هو الذكاء الاصطناعي العام (AGI) ، وهو نظام الذكاء الاصطناعي يتمتع بفهم واسع يمكنه أداء ذكاء مشابه أو متفوق على البشر في مجموعة متنوعة من المهام والمجالات المختلفة. يحتاج الذكاء الاصطناعي العام بشكل أساسي إلى أن يتكون من ثلاثة عناصر: التعلم العميق (DL) ، والبيانات الضخمة ، وقوة الحوسبة واسعة النطاق.
التعلم العميق
التعلم العميق هو حقل فرعي من التعلم الآلي (ML) ، وخوارزميات التعلم العميق هي شبكات عصبية على غرار الدماغ البشري. على سبيل المثال ، يحتوي الدماغ البشري على ملايين الخلايا العصبية المترابطة التي تعمل معا لتعلم المعلومات ومعالجتها. وبالمثل ، تتكون الشبكات العصبية للتعلم العميق (أو الشبكات العصبية الاصطناعية) من طبقات متعددة من الخلايا العصبية الاصطناعية التي تعمل معا داخل الكمبيوتر. الخلايا العصبية الاصطناعية هي وحدات برمجية تسمى العقد التي تستخدم الحسابات الرياضية لمعالجة البيانات. الشبكات العصبية الاصطناعية هي خوارزميات التعلم العميق التي تستخدم هذه العقد لحل المشاكل المعقدة.
! معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول)
يمكن تقسيم الشبكات العصبية إلى طبقات إدخال وطبقات مخفية وطبقات إخراج ، ويتم توصيل المعلمات بين طبقات مختلفة.
طبقة الإدخال: طبقة الإدخال هي الطبقة الأولى من الشبكة العصبية وهي مسؤولة عن تلقي بيانات الإدخال الخارجية. تتوافق كل خلية عصبية في طبقة الإدخال مع ميزة من سمات بيانات الإدخال. على سبيل المثال ، عند معالجة بيانات الصورة ، قد تتوافق كل خلية عصبية مع قيمة بكسل واحدة للصورة ؛
الطبقات المخفية: تقوم طبقة الإدخال بمعالجة البيانات وتمريرها إلى الطبقات الأبعد في الشبكة العصبية. تعالج هذه الطبقات المخفية المعلومات على مستويات مختلفة ، وتعدل سلوكها عند تلقي معلومات جديدة. تحتوي شبكات التعلم العميق على مئات الطبقات المخفية التي يمكن استخدامها لتحليل المشكلات من عدة زوايا مختلفة. على سبيل المثال ، إذا تم إعطاؤك صورة لحيوان غير معروف يجب تصنيفها ، فيمكنك مقارنتها بحيوان تعرفه بالفعل. على سبيل المثال ، يمكن أن يحدد شكل الأذنين وعدد الأرجل وحجم التلاميذ نوع الحيوان. تعمل الطبقات المخفية في الشبكات العصبية العميقة بنفس الطريقة. إذا حاولت خوارزمية التعلم العميق تصنيف صورة ، فإن كل طبقة من طبقاتها المخفية تعالج السمات المختلفة للحيوان وتحاول تصنيفها بدقة ؛
طبقة الإخراج: طبقة الإخراج هي الطبقة الأخيرة من الشبكة العصبية وهي مسؤولة عن توليد مخرجات الشبكة. تمثل كل خلية عصبية في طبقة الخرج فئة أو قيمة خرج محتملة. على سبيل المثال ، في مشكلة التصنيف ، قد تتوافق كل خلية عصبية لطبقة الإخراج مع فئة ، بينما في مشكلة الانحدار ، قد تحتوي طبقة الإخراج على خلية عصبية واحدة فقط تمثل قيمتها النتيجة المتوقعة ؛
المعلمات: في الشبكة العصبية ، يتم تمثيل الاتصالات بين الطبقات المختلفة بواسطة معلمات الأوزان والتحيزات ، والتي يتم تحسينها أثناء التدريب لتمكين الشبكة من تحديد الأنماط بدقة وإجراء تنبؤات في البيانات. يمكن أن تؤدي الزيادة في المعلمات إلى زيادة قدرة النموذج للشبكة العصبية ، أي قدرة النموذج على تعلم وتمثيل الأنماط المعقدة في البيانات. ومع ذلك ، فإن الزيادة في المعلمات ستزيد من الطلب على قوة الحوسبة.
البيانات الضخمة
من أجل التدريب الفعال ، غالبا ما تتطلب الشبكات العصبية كمية كبيرة من البيانات ، متنوعة وذات جودة عالية ومصادر متعددة. إنه الأساس للتدريب والتحقق من نماذج التعلم الآلي. من خلال تحليل البيانات الضخمة ، يمكن لنماذج التعلم الآلي تعلم الأنماط والعلاقات في البيانات لعمل تنبؤات أو تصنيفات.
قوة حوسبة هائلة
البنية المعقدة متعددة الطبقات للشبكة العصبية ، والعدد الكبير من المعلمات ، والحاجة إلى معالجة البيانات الضخمة ، وطريقة التدريب التكراري (في مرحلة التدريب ، يحتاج النموذج إلى التكرار بشكل متكرر ، ويجب حساب الانتشار الأمامي والانتشار الخلفي لكل طبقة أثناء عملية التدريب ، بما في ذلك حساب وظيفة التنشيط ، وحساب وظيفة الخسارة ، وحساب التدرج وتحديث الوزن) ، والحاجة إلى الحوسبة عالية الدقة ، وقدرة الحوسبة المتوازية ، وتكنولوجيا التحسين والتنظيم ، وعملية تقييم النموذج والتحقق منه ، وكل ذلك يؤدي إلى الطلب على قوة حوسبة عالية. تزداد متطلبات AGI لقوة الحوسبة واسعة النطاق بنحو 10 مرات كل عام. حتى الآن ، يحتوي أحدث طراز GPT-4 على 1.8 تريليون معلمة ، وتكلفة تدريب واحدة تزيد عن 60 مليون دولار أمريكي ، وقوة الحوسبة المطلوبة هي 2.15e25 FLOPS (21،500 تريليون حساب الفاصلة العائمة). لا يزال الطلب على قوة الحوسبة للتدريب على النموذج التالي يتوسع ، كما تتزايد النماذج الجديدة.
الذكاء الاصطناعي اقتصاديات الحوسبة
حجم السوق المستقبلي
وفقا للتقديرات الأكثر موثوقية ، فإن "تقرير تقييم مؤشر قوة الحوسبة العالمية 2022-2023" الذي تم تجميعه بشكل مشترك من قبل IDC (مؤسسة البيانات الدولية) و Inspur Information ومعهد أبحاث الصناعة العالمية بجامعة تسينغهوا ، سينمو حجم سوق الحوسبة الذكاء الاصطناعي العالمية من 19.50 مليار دولار في عام 2022 إلى 34.66 مليار دولار في عام 2026 ، مع نمو حجم سوق الحوسبة الذكاء الاصطناعي التوليدية من 820 مليون دولار في عام 2022 إلى 10.99 مليار دولار في عام 2026. ستنمو الحوسبة الذكاء الاصطناعي التوليدية من 4.2٪ إلى 31.7٪ من إجمالي سوق الحوسبة الذكاء الاصطناعي.
! معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول)
قوة الحوسبة الاحتكار الاقتصادي
تم احتكار إنتاج وحدات معالجة الرسومات الذكاء الاصطناعي من قبل NVIDA ، وهي باهظة الثمن (تم بيع أحدث H100 مقابل 40000 دولار لكل شريحة) ، وتم التقاط وحدات معالجة الرسومات من قبل عمالقة وادي السيليكون بمجرد إصدارها ، ويتم استخدام بعض هذه الأجهزة لتدريب نماذجها الجديدة. يتم تأجير الجزء الآخر لمطوري الذكاء الاصطناعي من خلال المنصات السحابية ، مثل Google و Amazon ومنصات الحوسبة السحابية من Microsoft ، والتي تتقن عددا كبيرا من موارد الحوسبة مثل الخوادم ووحدات معالجة الرسومات ووحدات TPU. أصبحت قوة الحوسبة موردا جديدا يحتكره العمالقة ، ولا يستطيع عدد كبير من المطورين المرتبطين الذكاء الاصطناعي شراء وحدة معالجة رسومات مخصصة بدون ترميز ، ومن أجل استخدام أحدث المعدات ، يتعين على المطورين استئجار خوادم سحابية AWS أو Microsoft. وفقا للتقرير المالي ، فإن هذا العمل يحقق أرباحا عالية للغاية ، حيث تبلغ هامش الخدمات السحابية ل AWS 61٪ ، بينما تتمتع Microsoft بهامش إجمالي أعلى يبلغ 72٪.
! معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول)
فهل يتعين علينا قبول هذه السلطة المركزية والسيطرة ، ودفع 72٪ من رسوم الربح لموارد الحوسبة؟ هل سيحتكر العمالقة الذين يحتكرون Web2 الحقبة القادمة؟
مشكلة قوة الحوسبة اللامركزية AGI
عندما يتعلق الأمر بمكافحة الاحتكار ، عادة ما تكون اللامركزية هي الحل الأمثل ، ومن المشاريع الحالية ، هل يمكننا استخدام البروتوكول لتحقيق قوة الحوسبة واسعة النطاق التي تتطلبها الذكاء الاصطناعي من خلال مشاريع التخزين في DePIN ووحدات معالجة الرسومات الخاملة مثل RDNR؟ الجواب هو لا ، الطريق إلى ذبح التنانين ليس بهذه البساطة ، والمشاريع المبكرة ليست مصممة خصيصا لقوة الحوسبة AGI ، فهي غير مجدية ، وتحتاج قوة الحوسبة إلى مواجهة التحديات الخمسة التالية على الأقل في السلسلة:
التحقق من العمل: لبناء شبكة حوسبة غير موثوقة حقا وتقديم حوافز مالية للمشاركين ، يجب أن يكون لدى الشبكة طريقة للتحقق من أن العمل الحسابي للتعلم العميق يتم تنفيذه بالفعل. في قلب هذه المشكلة هو اعتماد الدولة على نماذج التعلم العميق. في نموذج التعلم العميق ، يعتمد إدخال كل طبقة على إخراج الطبقة السابقة. هذا يعني أنه لا يمكنك فقط التحقق من صحة طبقة واحدة في نموذجك دون النظر في كل الطبقات التي قبلها. تعتمد حسابات كل طبقة على نتائج جميع الطبقات التي سبقتها. لذلك ، من أجل التحقق من العمل المنجز في نقطة معينة (على سبيل المثال ، طبقة معينة) ، يجب تنفيذ جميع الأعمال من بداية النموذج إلى تلك النقطة المحددة ؛
السوق: كسوق ناشئة ، يخضع سوق الطاقة الحاسوبية الذكاء الاصطناعي لمعضلات العرض والطلب ، مثل مشاكل البداية الباردة ، ويجب مطابقة سيولة العرض والطلب تقريبا من البداية حتى يتمكن السوق من النمو بنجاح. من أجل الحصول على العرض المحتمل لقوة التجزئة ، يجب تقديم مكافآت صريحة للمشاركين مقابل موارد التجزئة الخاصة بهم. يحتاج السوق إلى آلية لتتبع العمل الحسابي المنجز ودفع الرسوم المقابلة لمقدمي الخدمات في الوقت المناسب. في الأسواق التقليدية ، يتعامل الوسطاء مع مهام مثل الإدارة والإعداد ، مع تقليل التكاليف التشغيلية عن طريق تحديد الحد الأدنى من المدفوعات. ومع ذلك ، فإن هذا النهج أكثر تكلفة عند توسيع نطاق السوق. ولا يمكن الحصول على سوى جزء صغير من العرض اقتصاديا بشكل فعال، مما يؤدي إلى حالة توازن عتبة حيث لا يمكن للسوق إلا أن يلتقط ويحافظ على عرض محدود ولا يمكن أن ينمو أكثر؛
مشكلة التوقف: مشكلة التوقف هي مشكلة أساسية في النظرية الحسابية ، والتي تتضمن الحكم على ما إذا كانت مهمة حسابية معينة ستكتمل في وقت محدود أم لن تتوقف أبدا. هذه المشكلة غير قابلة للحل ، مما يعني أنه لا توجد خوارزمية عالمية يمكنها التنبؤ بما إذا كانت جميع المهام الحسابية ستتوقف في فترة زمنية محدودة. على سبيل المثال ، في Ethereum ، يواجه تنفيذ العقود الذكية فترة توقف مماثلة. أي أنه من المستحيل تحديد مقدار موارد الحوسبة المطلوبة مسبقا لتنفيذ عقد ذكي ، أو ما إذا كان سيتم إكماله في وقت معقول ؛
(في سياق التعلم العميق ، ستكون هذه المشكلة أكثر تعقيدا حيث ستتحول النماذج والأطر من بناء الرسم البياني الثابت إلى البناء والتنفيذ الديناميكي.) ）
الخصوصية: تصميم وتطوير الوعي بالخصوصية أمر لا بد منه لفريق المشروع. في حين أنه يمكن إجراء قدر كبير من أبحاث التعلم الآلي على مجموعات البيانات المتاحة للجمهور ، غالبا ما يكون ضبط النماذج على بيانات المستخدم المسجلة الملكية مطلوبا لتحسين أداء النماذج وتكييفها مع تطبيقات محددة. قد تتضمن عملية الضبط الدقيق هذه معالجة البيانات الشخصية وبالتالي تحتاج إلى مراعاة متطلبات درع الخصوصية ؛
التوازي: هذا عامل رئيسي في جدوى المشاريع الحالية ، وغالبا ما يتم تدريب نماذج التعلم العميق بالتوازي على مجموعات الأجهزة الكبيرة ذات البنى الخاصة والكمون المنخفض للغاية ، في حين تتطلب وحدات معالجة الرسومات في شبكات الحوسبة الموزعة تبادلا متكررا للبيانات لإدخال زمن الوصول وتقتصر على وحدات معالجة الرسومات الأقل أداء. في حالة مصادر طاقة الحوسبة غير الجديرة بالثقة وغير الموثوقة ، فإن كيفية التوازي غير المتجانس هي مشكلة يجب حلها ، والطريقة الحالية الممكنة هي تحقيق التوازي من خلال نماذج المحولات ، مثل محولات التبديل ، والتي تتمتع الآن بخصائص التوازي العالي.
الحل: على الرغم من أن المحاولة الحالية في سوق طاقة الحوسبة اللامركزية AGI لا تزال في مرحلة مبكرة ، إلا أن هناك مشروعين حللا مبدئيا التصميم التوافقي للشبكة اللامركزية وعملية تنفيذ شبكة الحوسبة اللامركزية في تدريب النموذج والاستدلال. سيأخذ ما يلي Gensyn و Together كأمثلة لتحليل طرق التصميم ومشاكل سوق طاقة الحوسبة اللامركزية AGI.
ريونيون
! [معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول) ] (https://lh7-us.googleusercontent.com/VnXV_k5tTI8rUEwU4YrFlOsdRdvqxk7dvnhTSIp4sXrnMKQjKmPDINqAs3MkmcFY_kmMfNrQnuJUnkAd4FiOzsTS9K7DpGRWGkXYhmHRA2V1wRlcaD6xW6zCixbUUm93AlvKTSzN-E2bkg4Jvnwnm0Q)
Gensyn هو سوق لقوة الحوسبة AGI التي لا تزال في مرحلة البناء وتهدف إلى حل التحديات المتعددة لحوسبة التعلم العميق اللامركزية وتقليل تكلفة التعلم العميق اليوم. Gensyn هو في الأساس بروتوكول إثبات الحصة من الطبقة 1 يعتمد على شبكة Polkadot ، والتي تكافئ مباشرة المحللين (Solvers) من خلال العقود الذكية مقابل أجهزة GPU الخاملة الخاصة بهم للحساب ، وتؤدي مهام التعلم الآلي.
بالعودة إلى السؤال أعلاه ، فإن جوهر بناء شبكة حوسبة غير موثوقة حقا هو التحقق من صحة عمل التعلم الآلي الذي تم إنجازه. هذه مشكلة معقدة للغاية تتطلب توازنا عند تقاطع نظرية التعقيد ونظرية الألعاب والتشفير والتحسين.
يقترح Gensyn حلا بسيطا حيث يقدم المحلل نتائج مهمة التعلم الآلي التي أكملها. للتحقق من دقة هذه النتائج، يحاول مدقق مستقل آخر القيام بنفس العمل مرة أخرى. يمكن الإشارة إلى هذه الطريقة على أنها نسخ متماثل واحد لأن مدققا واحدا فقط سيعيد التنفيذ. هذا يعني أنه لا يوجد سوى جهد إضافي واحد للتحقق من دقة العمل الأصلي. ومع ذلك ، إذا لم يكن الشخص الذي يتحقق من العمل هو طالب الوظيفة الأصلية ، فستظل مشكلة الثقة قائمة. لأن المدققين أنفسهم قد لا يكونون صادقين ، ويجب التحقق من عملهم. هذا يؤدي إلى مشكلة محتملة أنه إذا لم يكن الشخص الذي يتحقق من العمل هو طالب العمل الأصلي ، فستكون هناك حاجة إلى مدقق آخر للتحقق من عمله. ولكن قد لا يتم الوثوق بهذا المدقق الجديد أيضا ، لذلك هناك حاجة إلى مدقق آخر للتحقق من صحة عملهم ، والذي قد يستمر إلى الأبد ، ويشكل سلسلة لا نهائية من النسخ المتماثل. نحتاج هنا إلى تقديم ثلاثة مفاهيم أساسية ونسجها لبناء نظام مشارك من أربعة أدوار لحل مشكلة السلسلة اللانهائية.
إثبات التعلم الاحتمالي: استخدم البيانات الوصفية لعملية التحسين القائمة على التدرج لإنشاء شهادة العمل المنجز. من خلال نسخ مراحل معينة ، يمكنك التحقق من صحة هذه الشهادات بسرعة للتأكد من اكتمال العمل كما هو مجدول.
بروتوكول الدقة القائم على الرسم البياني: يستخدم بروتوكول قمة متعدد الحبيبات قائم على الرسم البياني ، بالإضافة إلى التنفيذ المتسق للمقيمين المتقاطعين. وهذا يسمح بإعادة تشغيل جهود التحقق ومقارنتها لضمان الاتساق ، وتأكيدها في النهاية بواسطة blockchain نفسها.
ألعاب الحوافز على غرار Truebit: استخدم Staking و slashing لبناء ألعاب الحوافز التي تضمن أن كل مشارك سليم ماليا سيتصرف بأمانة ويؤدي المهام المقصودة.
يتكون نظام المساهمين من الملتزمين والمحللين والمدققين والمبلغين عن المخالفات.
مقدمو الطلبات:
مقدم الطلب هو المستخدم النهائي للنظام ، ويوفر المهام التي سيتم حسابها ، ويدفع مقابل وحدات العمل المنجزة ؛
يحلون:
الحل هو العامل الأساسي للنظام ، حيث يقوم بتدريب النموذج وتوليد البراهين التي يتم فحصها بواسطة المدققين ؛
المحققون:
المدقق هو المفتاح لربط عملية التدريب غير الحتمية بالحساب الخطي الحتمي ، وتكرار جزء من دليل الحل ومقارنة المسافة بالعتبة المتوقعة ؛
المبلغون عن المخالفات:
المبلغون عن المخالفات هم خط الدفاع الأخير ، حيث يتحققون من عمل المدققين ويقدمون تحديات على أمل الحصول على مكافآت مربحة.
النظام يعمل
تم تصميم البروتوكول للعمل في نظام اللعبة الذي سيتكون من ثماني مراحل ، تغطي أربعة أدوار رئيسية للمشاركين ، وسيتم استخدامه لإكمال العملية الكاملة من تقديم المهمة إلى التحقق النهائي.
من أجل إرسال المهمة ، يحدد المرسل تفاصيل المهمة بتنسيق يمكن قراءته آليا ويرسلها إلى السلسلة جنبا إلى جنب مع النموذج الثنائي (أو المخطط القابل للقراءة آليا) وموقع يمكن الوصول إليه بشكل عام لبيانات التدريب التي تمت معالجتها مسبقا. يمكن تخزين البيانات المكشوفة في مخزن عناصر بسيط مثل AWS S3 أو في تخزين لامركزي مثل IPFS أو Arweave أو Subspace.
التنميط: تحدد عملية التحليل عتبة المسافة الأساسية لتعلم التحقق من صحة الإثبات. سيقوم المدقق بكشط مهمة التحليل بشكل دوري وإنشاء حد تباين لمقارنة إثبات التعلم. لإنشاء عتبات ، سيقوم المدققون بتشغيل وإعادة تشغيل جزء من التدريب بشكل حتمي ، باستخدام بذور عشوائية مختلفة ، وإنشاء البراهين الخاصة بهم والتحقق منها. خلال هذه العملية ، يحدد المدقق عتبة المسافة الإجمالية المتوقعة التي يمكن استخدامها كجهد غير حتمي للتحقق من صحة الحل.
التدريب: بعد التحليل ، تنتقل المهمة إلى مجموعة مهام عامة (على غرار Mempool الخاص ب Ethereum). حدد أداة حل لتنفيذ المهمة وإزالة المهمة من تجمع المهام. يقوم المحلل بتنفيذ المهمة بناء على البيانات الوصفية المقدمة من المرسل ، بالإضافة إلى بيانات النموذج والتدريب المقدمة. عند تنفيذ مهمة التدريب ، يقوم المحلل أيضا بإنشاء دليل على التعلم عن طريق فحص البيانات الوصفية وتخزينها بشكل دوري (بما في ذلك المعلمات) من عملية التدريب حتى يتمكن المدقق من تكرار خطوات التحسين التالية بأكبر قدر ممكن من الدقة.
توليد الإثبات: يقوم الحل بشكل دوري بتخزين أوزان النموذج أو التحديثات والفهرس المقابل مع مجموعة بيانات التدريب لتحديد العينات المستخدمة لإنشاء تحديثات الوزن. يمكن تعديل تردد نقطة التفتيش لتوفير ضمان أكبر أو لتوفير مساحة التخزين. يمكن أن يكون الإثبات "مكدسا" ، مما يعني أن الإثبات يمكن أن يبدأ بتوزيع عشوائي للأوزان المستخدمة لتهيئة الأوزان ، أو يبدأ بالأوزان المدربة مسبقا التي تم إنشاؤها باستخدام البراهين الخاصة بها. يتيح ذلك للبروتوكول إنشاء مجموعة من النماذج الأساسية المثبتة والمدربة مسبقا (أي النماذج الأساسية) التي يمكن ضبطها بدقة لمهام أكثر تحديدا.
التحقق من الإثبات: بمجرد اكتمال المهمة ، يقوم المحلل بتسجيل المهمة مع السلسلة ويعرض إثبات التعلم في مكان يمكن الوصول إليه بشكل عام حتى يتمكن المدقق من الوصول إليه. يقوم المدقق بسحب مهمة التحقق من الصحة من تجمع المهام الشائعة ويقوم بعمل حسابي لإعادة تشغيل جزء من الإثبات وإجراء حساب المسافة. ثم تستخدم السلسلة (جنبا إلى جنب مع العتبات المحسوبة أثناء مرحلة التحليل) المسافة الناتجة لتحديد ما إذا كان التحقق يطابق الإثبات.
تحدي الدقة القائم على الرسم البياني: بعد التحقق من صحة إثبات التعلم ، يمكن للمبلغين نسخ عمل المدقق للتحقق من أن التحقق نفسه يتم بشكل صحيح. إذا اعتقد أحد المبلغين عن المخالفات أن التحقق قد تم إجراؤه عن طريق الخطأ (ضار أو غير ضار) ، فيمكنه الطعن في نصاب العقد للحصول على مكافأة. يمكن أن تأتي هذه المكافأة من الودائع من المحللين والمدققين (في حالة إيجابية حقيقية) ، أو من مجموعة جوائز قبو اليانصيب (في حالة وجود نتيجة إيجابية خاطئة) ويتم إجراء التحكيم باستخدام السلسلة نفسها. لن يتحقق المبلغون عن المخالفات (في حالتهم ، المدققون) من العمل ويطعنون فيه لاحقا إلا إذا كانوا يتوقعون الحصول على تعويض مناسب. من الناحية العملية ، هذا يعني أنه من المتوقع أن ينضم المبلغون عن المخالفات ويغادرون الشبكة بناء على عدد المبلغين عن المخالفات الذين لديهم أنشطة أخرى (أي مع الودائع الحية والتحديات). لذلك ، فإن الإستراتيجية الافتراضية المتوقعة لأي مبلغ عن المخالفات هي الانضمام إلى الشبكة عندما يكون هناك عدد أقل من المبلغين الآخرين ، ونشر إيداع ، وتحديد مهمة نشطة بشكل عشوائي ، وبدء عملية التحقق الخاصة بهم. بعد انتهاء المهمة الأولى ، سيحصلون على مهمة نشطة عشوائية أخرى ويكررونها حتى يتجاوز عدد المبلغين عن المخالفات حد الدفع المحدد ، ثم سيغادرون الشبكة (أو ، على الأرجح ، ينتقلون إلى دور آخر في الشبكة - المدقق أو الحل - اعتمادا على قدرات أجهزتهم) حتى ينعكس الموقف مرة أخرى.
التحكيم التعاقدي: عندما يتم الطعن في المدقق من قبل أحد المبلغين عن المخالفات ، فإنهم يدخلون في عملية مع السلسلة لمعرفة مكان الإجراء أو المدخلات المتنازع عليها ، وأخيرا تقوم السلسلة بإجراء العملية الأساسية النهائية وتحديد ما إذا كان الطعن مبررا. من أجل الحفاظ على صدق المبلغين عن المخالفات ومصداقيتهم والتغلب على معضلة المدققين ، يتم تقديم الأخطاء القسرية المنتظمة ومدفوعات الفوز بالجائزة الكبرى هنا.
التسوية: أثناء عملية التسوية ، يتم الدفع للمشاركين بناء على استنتاج فحوصات الاحتمالات واليقين. اعتمادا على نتائج عمليات التحقق والتحديات السابقة ، ستكون هناك دفعات مختلفة لسيناريوهات مختلفة. إذا تم اعتبار العمل قد تم تنفيذه بشكل صحيح وتم اجتياز جميع عمليات التحقق ، تتم مكافأة موفر الحل والمدقق بناء على الإجراء المتخذ.
استعراض موجز للمشروع
صممت Gensyn نظام ألعاب رائع على طبقة التحقق وطبقة الحوافز ، والتي يمكنها تحديد الخطأ بسرعة من خلال العثور على نقاط الاختلاف في الشبكة ، ولكن لا يزال هناك العديد من التفاصيل المفقودة في النظام الحالي. على سبيل المثال ، كيفية تعيين المعلمات للتأكد من أن المكافآت والعقوبات معقولة دون أن تكون العتبة عالية جدا؟ هل نظرت اللعبة في الفرق بين الحالة القصوى وقوة الحوسبة للحلال؟ لا يوجد وصف تفصيلي للعملية المتوازية غير المتجانسة في الإصدار الحالي من الورقة البيضاء ، ويبدو أن تنفيذ Gensyn لا يزال صعبا وطويلا.
Together.ai
Together هي شركة تركز على المصدر المفتوح للنماذج الكبيرة وتلتزم بحلول الحوسبة الذكاء الاصطناعي اللامركزية ، على أمل أن يتمكن أي شخص من الوصول إلى الذكاء الاصطناعي واستخدامها في أي مكان. بالمعنى الدقيق للكلمة ، معا ليس مشروع blockchain ، ولكن المشروع قد حل مبدئيا مشكلة الكمون في شبكة الحوسبة AGI اللامركزية. لذلك، المقالة التالية فقط تحليل حل معا ولا تقييم المشروع.
كيف يمكن تدريب النماذج الكبيرة والاستدلال عليها عندما تكون الشبكة اللامركزية أبطأ 100 مرة من مركز البيانات؟
دعونا نتخيل كيف سيبدو توزيع أجهزة GPU المشاركة في الشبكة إذا تمت إزالة اللامركزية. سيتم توزيع هذه الأجهزة في قارات مختلفة ، في مدن مختلفة ، وستحتاج إلى الاتصال ببعضها البعض ، وسيختلف زمن الوصول وعرض النطاق الترددي للاتصال. كما هو موضح في الشكل أدناه ، تتم محاكاة السيناريو الموزع مع الأجهزة الموزعة عبر أمريكا الشمالية وأوروبا وآسيا ، مع اختلاف عرض النطاق الترددي وزمن الوصول بين الأجهزة. إذن ما الذي يجب القيام به لتوصيله في سلسلة؟
! معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول)
نمذجة حوسبة التدريب الموزع: يوضح الشكل التالي تدريب النموذج الأساسي على أجهزة متعددة ، وهناك ثلاثة أنواع من الاتصالات من حيث أنواع الاتصال: التنشيط الأمامي ، والتدرج الخلفي ، والاتصال الجانبي.
! معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول)
بالاقتران مع عرض النطاق الترددي للاتصالات وزمن الوصول ، يجب مراعاة شكلين من أشكال التوازي: توازي خط الأنابيب وتوازي البيانات ، المطابق لأنواع الاتصال الثلاثة في حالة الأجهزة المتعددة:
في توازي خط الأنابيب ، تنقسم جميع طبقات النموذج إلى مراحل ، حيث يعالج كل جهاز مرحلة ، وهي عبارة عن تسلسل مستمر من الطبقات ، مثل كتل المحولات المتعددة ؛ في التمرير الأمامي ، يتم تمرير التنشيط إلى المرحلة التالية ، بينما في التمرير الخلفي ، يتم تمرير تدرج التنشيط إلى المرحلة السابقة.
في توازي البيانات ، يحسب الجهاز بشكل مستقل تدرجات الدفعات الدقيقة المختلفة ، ولكنه يتصل لمزامنة هذه التدرجات.
** تحسين الجدولة: **
في بيئة لامركزية ، غالبا ما تكون عملية التدريب محدودة بالتواصل. تقوم خوارزميات الجدولة عموما بتعيين المهام التي تتطلب قدرا كبيرا من الاتصال للأجهزة ذات سرعات الاتصال الأسرع ، وبالنظر إلى التبعيات بين المهام وعدم تجانس الشبكة ، يجب نمذجة تكلفة استراتيجية جدولة محددة أولا. من أجل التقاط تكلفة الاتصال المعقدة لتدريب النموذج الأساسي ، يقترح Together صيغة جديدة ويحلل نموذج التكلفة إلى مستويين من خلال نظرية الرسم البياني:
! معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول)
الشكل أعلاه هو رسم تخطيطي للعملية ، لأن عملية التنفيذ الفعلية تتضمن بعض صيغ الحساب المعقدة. من أجل تسهيل فهمها ، سيشرح ما يلي العملية في الرسم البياني بعبارات الشخص العادي ، ويمكن الرجوع إلى عملية التنفيذ التفصيلية بنفسك في الوثائق الموجودة على الموقع الرسمي Together.
لنفترض أن هناك جهازا تم تعيينه D مع أجهزة N ، وكان الاتصال بينهما له تأخير غير محدد (A-matrix) وعرض النطاق الترددي (B-matrix). استنادا إلى مجموعة الأجهزة D ، نقوم أولا بإنشاء تجزئة رسم بياني متوازنة. عدد الأجهزة في كل تقسيم أو مجموعة أجهزة متساو تقريبا ، وكلها تتعامل مع نفس مراحل المسار. هذا يضمن أنه عندما تكون البيانات متوازية ، تؤدي مجموعات الأجهزة قدرا مماثلا من العمل. (يحدث توازي البيانات عندما تؤدي أجهزة متعددة نفس المهمة ، بينما تكون مراحل خط الأنابيب عندما تقوم الأجهزة بتنفيذ خطوات مهمة مختلفة بترتيب معين). استنادا إلى زمن انتقال الاتصال وعرض النطاق الترددي ، يمكن حساب "تكلفة" نقل البيانات بين مجموعات الأجهزة من خلال الصيغ. يتم دمج كل مجموعة متوازنة من الأجهزة لإنتاج رسم بياني تقريبي متصل بالكامل ، حيث تمثل كل عقدة مرحلة من مراحل خط الأنابيب وتمثل الحواف تكلفة الاتصال بين المرحلتين. لتقليل تكاليف الاتصال ، يتم استخدام خوارزمية مطابقة لتحديد مجموعات الأجهزة التي يجب أن تعمل معا.
لمزيد من التحسين ، يمكن أيضا تصميم المشكلة على أنها مشكلة بائع متجول مفتوح الحلقة (الحلقة المفتوحة تعني أنه ليست هناك حاجة للعودة إلى أصل المسار) للعثور على المسار الأمثل لنقل البيانات بين جميع الأجهزة. أخيرا ، تستخدم Together خوارزمية الجدولة المبتكرة الخاصة بها للعثور على استراتيجية التخصيص المثلى لنموذج تكلفة معين ، وذلك لتقليل تكاليف الاتصال وزيادة إنتاجية التدريب إلى أقصى حد. وفقا للقياسات الفعلية ، حتى لو كانت الشبكة أبطأ 100 مرة في ظل تحسين الجدولة هذا ، فإن معدل نقل التدريب الشامل يكون أبطأ بحوالي 1.7 إلى 2.3 مرة فقط.
تحسين ضغط الاتصالات:
! معاينة المسار المحتمل: سوق طاقة الحوسبة اللامركزية (الجزء الأول)
لتحسين ضغط الاتصالات ، تقدم Together خوارزمية AQ-SGD (للحصول على عملية الحساب التفصيلية ، يرجى الرجوع إلى ورقة الضبط الدقيق لنماذج اللغة عبر الشبكات البطيئة باستخدام ضغط التنشيط مع الضمانات). خوارزمية AQ-SGD هي تقنية ضغط نشطة جديدة مصممة لحل مشكلة كفاءة الاتصالات للتدريب الموازي لخطوط الأنابيب على الشبكات منخفضة السرعة. على عكس الطرق السابقة لضغط قيمة النشاط مباشرة ، يركز AQ-SGD على ضغط التغييرات في قيمة النشاط لعينة التدريب نفسها على مدى فترات مختلفة ، وتقدم هذه الطريقة الفريدة ديناميكية "ذاتية التنفيذ" مثيرة للاهتمام ، ومن المتوقع أن يتحسن أداء الخوارزمية تدريجيا مع استقرار التدريب. بعد التحليل النظري الدقيق ، تثبت خوارزمية AQ-SGD أن لديها معدل تقارب جيد في ظل ظروف فنية معينة ووظيفة التكميم مع خطأ محدود. يمكن تنفيذ الخوارزمية بكفاءة دون إضافة نفقات إضافية لوقت التشغيل من طرف إلى طرف ، على الرغم من أنها تتطلب المزيد من الذاكرة ومحركات أقراص الحالة الصلبة لتخزين القيمة النشطة. من خلال التحقق التجريبي المكثف من تصنيف التسلسل ومجموعات بيانات نمذجة اللغة ، يمكن ل AQ-SGD ضغط قيم النشاط إلى 2-4 بت دون التضحية بأداء التقارب. بالإضافة إلى ذلك ، يمكن أيضا دمج AQ-SGD مع خوارزميات ضغط التدرج الحديثة لتحقيق "ضغط الاتصال من طرف إلى طرف" ، أي أن تبادل البيانات بين جميع الأجهزة ، بما في ذلك تدرجات النموذج وقيم النشاط الأمامي والتدرجات العكسية ، يتم ضغطه بدقة منخفضة ، وبالتالي تحسين كفاءة الاتصال بشكل كبير للتدريب الموزع. مقارنة بأداء التدريب الشامل لشبكة الحوسبة المركزية (على سبيل المثال ، 10 جيجابت في الثانية) بدون ضغط ، فهو حاليا أبطأ بنسبة 31٪ فقط. إلى جانب بيانات تحسين الجدولة ، على الرغم من أنه لا تزال هناك فجوة معينة من شبكة طاقة الحوسبة المركزية ، إلا أن هناك أملا كبيرا نسبيا في اللحاق بالركب في المستقبل.
خاتمة
في ظل فترة توزيع الأرباح التي جلبتها الموجة الذكاء الاصطناعي ، فإن سوق طاقة الحوسبة AGI هو بلا شك السوق الذي يتمتع بأكبر إمكانات وأكثر طلبا بين العديد من أسواق طاقة الحوسبة. ومع ذلك ، فإن صعوبة التطوير ومتطلبات الأجهزة ومتطلبات رأس المال هي أيضا الأعلى. إلى جانب المشروعين المذكورين أعلاه ، لا تزال هناك مسافة معينة من تنفيذ سوق طاقة الحوسبة AGI ، والشبكة اللامركزية الحقيقية أكثر تعقيدا بكثير من الوضع المثالي ، والذي من الواضح أنه لا يكفي للتنافس مع عمالقة السحابة. في وقت كتابة هذا المقال ، لوحظ أيضا أن بعض المشاريع التي هي في مهدها (مرحلة PPT) قد بدأت في استكشاف بعض نقاط الدخول الجديدة ، مثل التركيز على مرحلة الاستدلال الأقل صعوبة أو تدريب النماذج الصغيرة ، وهي محاولات أكثر عملية.
على الرغم من أنها تواجه العديد من التحديات ، إلا أنه من المهم على المدى الطويل ألا تتركز اللامركزية والأهمية غير المصرح بها لقوة الحوسبة AGI في عدد قليل من العمالقة المركزيين. لأن البشرية لا تحتاج إلى "دين" جديد أو "بابا" جديد ، ناهيك عن دفع "رسوم العضوية" باهظة الثمن.
ببليوغرافيا
2.NeurIPS 2022: التغلب على اختناقات الاتصال للتدريب اللامركزي:
3.ضبط نماذج اللغة عبر الشبكات البطيئة باستخدام ضغط التنشيط مع الضمانات:
5.Microsoft: إصدار الأرباح للسنة المالية 23 Q2:
تنافس على تذاكر الذكاء الاصطناعي: تتنافس BAT و Byte Meituan على وحدة معالجة الرسومات:
IDC: تقرير تقييم مؤشر قوة الحوسبة العالمية 2022-2023:
تقدير تدريب نموذج كبير لشركة Guosheng Securities:
أجنحة المعلومات: ما هي العلاقة بين قوة الحوسبة الذكاء الاصطناعي؟ ：