ما مدى صعوبة الهبوط بنموذج عمودي؟

المصدر الأصلي: تلك الأشياء على الإنترنت

مصدر الصورة: تم إنشاؤه بواسطة Unbounded AI‌

الوضع الحالي لمسار النموذج واسع النطاق: ** من ناحية ، تعتمد الشركات المبتدئة على نماذج مفتوحة المصدر واسعة النطاق ، ومن ناحية أخرى ، تشارك الشركات المصنعة الكبرى العديد من معلمات النماذج واسعة النطاق * *.

وفقًا للإحصاءات غير المكتملة للمنظمة ، يوجد حاليًا 79 نموذجًا واسع النطاق بمقياس يزيد عن مليار معلمة في الصين. في عملية ارتداد المعلمات الكبيرة ، بدأ صوت آخر بالظهور في السوق ، "تحسين المعلمات بدون اتجاه تطوير لا معنى له".

لهذا السبب ، من حيث اتجاه التنمية ، ركزت بعض النماذج الكبيرة على تطبيق المجالات الرأسية. بناءً على تطوير الآلاف من النماذج ، قد تتغير القاعدة ، ولكن إذا فكرت في الأمر بعناية ، فسيكون هناك دائمًا شخص يمكن أن ينفد من الصناعة الرأسية.

في الوقت نفسه ، في المرحلة المبكرة من التطوير ، على الرغم من أن النماذج الكبيرة ذات المصدر المغلق أفضل من حيث الجودة والأمان نسبيًا ، إلا أن نموذج البيئة واسع النطاق يحتاج إلى درجة معينة من الانعكاس بعد كل شيء ، ويمكن للمصدر المفتوح في الواقع تعزيز ازدهار نماذج كبيرة. من منظور آخر ، استنادًا إلى المصدر المفتوح ، تمتلك العديد من الشركات المؤهلات للمشاركة في المسار ، ولكن هناك دائمًا بعض الأشخاص الذين يقعون بسهولة في المستوى الأول - نقص قوة الحوسبة.

بعد كل شيء ، يتزايد عدد النماذج الكبيرة في مضاعفات ، ولكن إذا نظرنا إلى العدد المتزايد من النماذج الكبيرة من جانب واحد ، فإننا إلى حد ما سوف نتجاهل الخيارات والصراعات وحتى مشاكل بعض الشركات التي تقف وراء الشركات الكبيرة. موديلات امكانية الاستسلام بعد الاختيار.

كما نعلم جميعًا ، فإن العناصر الثلاثة للذكاء الاصطناعي هي: ** قوة الحوسبة والخوارزمية والبيانات **. المصدر المفتوح هو فقط في مرحلة الخوارزمية ، وبعد ذلك تحتاج الشركات إلى الكثير من دعم طاقة الحوسبة والتدريب على البيانات ، والتكلفة الكامنة وراء ذلك مرتفعة.

01 نموذج عمودي ، هل مازال هناك أمل للشركات الناشئة؟

عند اختيار النماذج الكبيرة مفتوحة المصدر ، استنادًا إلى التكلفة وأسباب التطوير المخصصة ، لا يوجد عدد قليل من المؤسسات الريادية التي تختار نماذج المعلمات الصغيرة ، بل إنها الخيار الأول لهذه المؤسسات.

** أحدهما هو مسألة تكلفة ما قبل التدريب. **

قدرت شركة Guosheng Securities ذات مرة تكلفة تدريب GPT-3 بحوالي 1.4 مليون دولار أمريكي ، وبالنسبة لبعض نماذج LLM الأكبر حجمًا ، تتراوح تكلفة التدريب بين 2 مليون دولار أمريكي و 12 مليون دولار أمريكي.

بما في ذلك في شهر يناير من هذا العام ، يستخدم ما معدله 13 مليون زائر فريد ChatGPT كل يوم. يبلغ الطلب على الرقاقة المقابلة أكثر من 30000 وحدة معالجة رسومات NVIDIA A100. تبلغ تكلفة الاستثمار الأولية حوالي 800 مليون دولار أمريكي ، وتبلغ تكلفة الكهرباء اليومية حوالي 50000 دولار أمريكي.

علاوة على ذلك ، قبل استثمار الكثير من الأموال ، هناك حاجة إلى الكثير من موارد البيانات لدعم تدريب النموذج. سبب آخر لذلك هو مسألة متطلبات ما قبل التدريب.

أعرب بعض الأشخاص في الصناعة أيضًا عن آرائهم حول هذا: "لا تزال قدرة التعميم للنموذج الكبير نفسه محدودة بالبيانات".

لأنه بمجرد فحص البيانات عالية الجودة الخاصة بالنموذج الكبير وتدريبها قليلًا جدًا ، ستكون مشكلة جودة المخرجات للنموذج الكبير واضحة ، وستنخفض تجربة المستخدم بشكل كبير من حيث الخبرة.

يمكن القول أنه في عملية التدريب المسبق ، تم إنفاق الكثير من المال والوقت فقط على تجميع البيانات.

ما هو أكثر من ذلك ، في مسار النموذج واسع النطاق ، تتطور معظم الشركات الناشئة حول المجال الرأسي للصناعة.على الرغم من أن الجهد صغير نسبيًا ، إلا أنه يجب ألا يكون سهلاً.

على وجه التحديد ، إذا أراد نموذج كبير تغيير نموذج العمل الخاص بالصناعة ، فإن أبسط معيار للحكم على ذلك هو ما إذا كان النموذج الكبير من هذا النوع يحتوي على بيانات صناعية كافية ، على سبيل المثال ، من الضروري تحليل المنتجات السوداء المخبأة في الظلام فقط مع الفهم الكافي لا يمكن أن تستخدمنا المنتجات السوداء وأن نكون في حالة آمنة وسلبية.

** معيار آخر للحكم هو جودة المخرجات النهائية للبيانات التي تتم معالجتها بواسطة النموذج الكبير عند تشغيله. **

بعد كل شيء ، إذا كنت ترغب في كسر احتكار النموذج بناءً على نموذج المصدر المفتوح ، فأنت بحاجة إلى تحسين كمية كبيرة من البيانات وتحسينها ، والاستثمار في بنية تحتية كافية.

إن نموذج المصدر المفتوح اليوم هو في الواقع أشبه بنظام Android في عصر الإنترنت. ليس من السهل على الشركات المبتدئة أن تتطور بدون مزايا سيناريوهات هبوط الشركات المصنعة الكبرى وتراكم البيانات ، ولكن لا تزال هناك فرص.

في الواقع ، اعتبر معهد Bodhidharma ذات مرة "التطوير التعاوني للنماذج الكبيرة والصغيرة" كأحد الاتجاهات المستقبلية.

حتى الشركة الناشئة Zhuiyi Technology تعتقد أن "النموذج العمودي الكبير يمثل فرصة قوية ، تمامًا مثل اكتشاف القارة الأمريكية أكثر من مجرد شخص واحد".

الآن يمكننا أن نرى أن العديد من الشركات الناشئة قد بدأت في اختيار دخول مسار النموذج واسع النطاق ، بما في ذلك DriveGPT Xuehu Hairuo و Qizhi Kongming و ChatYuan Yuanyu التي أطلقتها شركات الذكاء الاصطناعي الناشئة مثل Momo Zhixing و Innovation Qizhi و Yuanyu Intelligence. نماذج كبيرة.

ومع ذلك ، على الرغم من عدم وجود منتجات محلية للطرف C ، بناءً على الطرف B ، فقد بدأت كبرى الشركات المصنعة عملية التنفيذ الأولي.

يُذكر أن الشركات المصنعة الكبرى تخطط حاليًا لتصدير نماذج كبيرة من خلال السحابة. أصبحت الحوسبة السحابية أفضل طريقة لتنفيذ نموذج كبير. اجتذب النموذج كخدمة (MaaS) المزيد والمزيد من الاهتمام ، وسيؤدي ذلك أيضًا إلى جذب تكلفة النماذج الكبيرة انخفاض.

إذن ، هل ما زال هناك أمل للشركات الناشئة؟

02 هل تجربة المنتج متوافقة مع طلب السوق؟

وفقًا لتوقعات المجلة الموثوقة "Fast Company" ، ستصل عائدات OpenAI في عام 2023 إلى 200 مليون دولار أمريكي ، بما في ذلك توفير خدمات واجهة بيانات API ، ورسوم خدمة الاشتراك في روبوت الدردشة ، إلخ.

من الواضح أن هناك طلبًا على النماذج الكبيرة في مختلف الصناعات ، ولكن بناءً على اعتبارات السلامة وموقف B تجاه النماذج الكبيرة ، فإن عامل الأمان الحالي للنماذج الكبيرة محدود. لذلك ، وعلى أساس أساسي نسبيًا ، فإن شركات الإنترنت الكبيرة تعطي الأولوية أيضًا للحوارات عالية الطلب ، وإنشاء محتوى المستندات ، وسيناريوهات الأسئلة والأجوبة ، بما في ذلك الحوارات في المكتب التعاوني ، وإنشاء المستندات ، والعديد من السيناريوهات الأخرى.

على سبيل المثال ، يحتاج البشر الآن فقط لإخبار الذكاء الاصطناعي عن معلومات المنتج ، والسماح للذكاء الاصطناعي تلقائيًا بإنشاء مجموعة متنوعة من أنماط البرامج النصية وأنماط تسليم المنتج ، ثم تعيين مرساة بشرية رقمية لمساعدة الشركات على بيع البضائع. وفقًا لـ Baidu ، مقارنة بالبث المباشر ، يمكن للبث المباشر الرقمي أن يحقق 7 \ * 24 ساعة من البث المباشر غير المنقطع ، ومعدل التحويل ضعف مثيله في غرف البث المباشر غير المأهولة.

نظرًا لأن البنية التحتية السحابية هي القاعدة الضرورية لريادة الأعمال على نطاق واسع ، فإن عمالقة الإنترنت الذين يستخدمون الحوسبة السحابية يتمتعون بمزايا معينة.

وفقًا لبيانات تتبع سوق الحوسبة السحابية العالمية لعام 2022 الصادرة عن IDC ، فإن أكبر 10 لاعبين في السوق هم جميعًا شركات كبيرة في الصين والولايات المتحدة ، بما في ذلك Amazon و Google و Microsoft و IBM في الولايات المتحدة ، وعلي ، Huawei و Tencent و Baidu في الصين.

على الرغم من أن نزاعات المصادر المفتوحة والمغلقة للنماذج الكبيرة لن تنتهي بظهور منتج واحد أو عدة منتجات ، إلا أن هناك حاجة إلى المزيد من مشاركة المواهب المتميزة والتكرار التقني والدعم المالي.

ولكن بالمقارنة أفقياً ، تفتقر العديد من الشركات الناشئة في مجال الذكاء الاصطناعي إلى حظ شركة MiniMax الناشئة يونيكورن. (الفرق هو أن MiniMax يركز على الطرز الكبيرة العامة)

في 20 يوليو ، كشفت Tencent Cloud عن أحدث تقدم في مساعدة MiniMax على تطوير نماذج كبيرة. في الوقت الحالي ، تدعم Tencent Cloud مهام MiniMax على مستوى الكيلو كالوري لتعمل بثبات على Tencent Cloud لفترة طويلة ، مع توفر 99.9٪.

يُذكر أنه اعتبارًا من يونيو 2022 ، استنادًا إلى إمكانات المنتج مثل مجموعات طاقة الحوسبة والسحابة الأصلية والبيانات الضخمة والأمان ، قامت Tencent Cloud ببناء بنية سحابية لـ MiniMax من طبقة الموارد وطبقة البيانات وطبقة الأعمال.

يبدو أن الواقع يثبت مرة أخرى أن الحصول على تذكرة الدخول هو الخطوة الأولى ، والاختبار التالي هو قدرة اللاعبين في السوق على استكشاف التسويق وترقيات التكنولوجيا. بصراحة ، تريد الشركات المبتدئة للذكاء الاصطناعي أن تسير حتى النهاية على المسار الصحيح ، ويجب ألا تفوتهم كل خطوة.

إلى حد ما ، لا تخلو الشركات الناشئة من مزايا في تطوير النماذج الكبيرة.

على الرغم من أن بعض شركات الإنترنت الكبرى قد أدركت بالفعل سيناريوهات أولية ، أو بدأت في بيع الخدمات لكسب الدخل ، فإن أعين الشركات الكبرى و MiniMax تركز أكثر على النماذج الكبيرة للأغراض العامة.

النموذج العمودي لا يزال فراغًا. بالنسبة لمجموعات المؤسسات التقليدية على وجه الخصوص ، فإن احتمال اختيار نموذج كبير مطور ذاتيًا منخفض بالنظر إلى سمات تكنولوجيا المعلومات المنخفضة لأعمالهم الخاصة وانخفاض نسبة المدخلات إلى الإنتاج.

على سبيل المثال ، يركز Chuangxin Qizhi على منتج النموذج الصناعي واسع النطاق "Qizhi Kongming" ؛ لديه ميزة بيانات معينة ويطور نموذجًا واسع النطاق للغة في ChatYuan ؛ النموذج الرئيسي التوليدي واسع النطاق للقيادة الذاتية DriveGPT Xuehu · Hairuo .

ومع ذلك ، هناك شيء واحد يمكن قوله ، وهو أن بيانات التدريب والاتجاه مختلفان ، والتكلفة تختلف اختلافًا كبيرًا.

أولاً ، يمكن أن تصل تكلفة تدريب نموذج كبير للغة المعدنية من الصفر إلى عشرات الملايين من اليوان. في مجال القيادة الذاتية التوليدية ، من الضروري تصميم لغة جديدة غير ChatGPT ، ثم "ترجمة" جميع بيانات القيادة الحقيقية على الطريق إلى لغة موحدة. إدخال التكلفة.

إلى حد ما ، يمكن للشركات الناشئة في مجال الذكاء الاصطناعي تحقيق قدر كبير من الاستثمار في النماذج الكبيرة ، والاستفادة بشكل أكبر من نجاح ChatGPT في الأعمال التجارية والتسويق ، والتي يمكن أن تتيح للأشخاص على الفور مشاهدة جدوى النماذج الكبيرة ، بدلاً من الاستمرار في تختبئ في التكرار التقني الطويل.

لهذا السبب ، فإن الخطوة الأولى لتحقيق التنفيذ الحالي هي أن تكلفة التدريب وتكلفة التفكير للنموذج الكبير يجب أن تكون أقل من تكلفة البحث ، ويمكن أيضًا ضمان السرعة.

03 ما مدى صعوبة الأمر من المفهوم إلى التنفيذ؟

هناك رأي مفاده أن الشركات الصينية الناشئة الكبيرة الحجم التي يمكن أن تنفد من المرجح أن تكون متكاملة رأسياً.

لتوضيح الأمر ببساطة ، أثناء عمل النموذج الكبير الأساسي ، حدد سيناريو التطبيق الرئيسي النهائي للنموذج ، واجمع بيانات المستخدم وقم بإجراء تكرارات سريعة.

بصريًا ، يميل الذكاء اللغوي أكثر إلى هذه الفئة. باختصار ، لقد ركز ذكاء اللغة الفوقية لفترة طويلة على أعمال نماذج اللغة الطبيعية الكبيرة.

وقال رئيس العمليات في Yuanyu Zhu Lei أيضًا: "لن نقوم بتوسيع أعمال الصور والفيديو بشكل أعمى لمجرد أن نحذو حذونا. التركيز الجيد على الأعمال مهم."

ومع ذلك ، بالنسبة للشركات الناشئة الأخرى التي تتطور إلى نماذج رأسية واسعة النطاق مثل القيادة المستقلة والإنتاج الصناعي ، فقد تفتقر إلى المعرفة ببعض بيانات الصناعة الخاصة.

بعد كل شيء ، في مسار النموذج العمودي واسع النطاق ، فإن العامل الأساسي لمنافسة المؤسسة المستقبلية هو البيانات الخاصة والخبرة الخاصة.عندما تكون عملية شركة فردية غير معروفة لمصممي النماذج واسعة النطاق ، فقد يكون لها قدرة تنافسية فريدة.

بالإضافة إلى ذلك ، في عملية تركيز الأعمال ، فإن دقة البيانات من المصدر إلى التدريب المسبق والإخراج مطلوبة أيضًا.

يتلقى الذكاء الاصطناعي التوليدي أيضًا مزيدًا من الاهتمام التنظيمي. أصدرت الصين مؤخرًا "تدابير إدارة خدمات الذكاء الاصطناعي التوليدية (مسودة للتعليق)" ، والتي تتطلب بوضوح عدم وجود تمييز ، ويجب أن يكون المحتوى الذي تم إنشاؤه صحيحًا ودقيقًا ، ويجب منع المعلومات الخاطئة. إذا كان هناك ، في بالإضافة إلى تصفية المحتوى وتحسين النموذج وما إلى ذلك من أجل التحسين.

ومع ذلك ، إذا كان عيبًا متأصلًا في الذكاء الاصطناعي التوليدي ، فمن الصعب من الناحية الفنية ضمانه وحله تمامًا.

بالإضافة إلى ذلك ، مع ظهور نموذج مفتوح المصدر أفضل ، سيكون هناك تدفق لمزيد من الشركات التي تتوق إلى المحاولة. بالنسبة للشركات المبتدئة ، أليست هذه منافسة؟

على سبيل المثال ، Llama 2 الحالية ، في 18 يوليو ، أصدرت Meta النسخة التجارية Llama 2 من أول نموذج ذكاء اصطناعي مفتوح المصدر Llama. تعتقد بعض الشركات أنه وفقًا لوثائق التقييم المختلفة الحالية ، بالإضافة إلى قدرة الترميز الضعيفة ، في الواقع ، بدأت العديد من الأماكن في الاقتراب من ChatGPT.

ربما سيؤدي جنون مجتمع المصادر المفتوحة في المستقبل إلى تعميم النماذج واسعة النطاق ذات القدرات الأساسية ، وستكون النماذج واسعة النطاق المخصخصة هي ثمن الملفوف في المستقبل. بصراحة ، يمكن للشركات استخدام نموذج الخصخصة بثمن بخس.

والأهم من ذلك ، قال تانغ داو شنغ ذات مرة: "النموذج العام الكبير يتمتع بقدرات قوية ، لكنه لا يستطيع حل المشكلات المحددة للعديد من المؤسسات. يمكنه حل 70٪ -80٪ من المشكلات في 100 سيناريو ، ولكنه قد لا يكون قادرًا على حل المشكلات المحددة للعديد من المؤسسات.لبي 100 ٪ احتياجات سيناريو معين للمؤسسة. ومع ذلك ، إذا أجرت المؤسسة ضبطًا دقيقًا استنادًا إلى نموذج الصناعة الكبير وبياناتها الخاصة ، فيمكنها إنشاء نموذج مخصص وإنشاء بدرجة عالية الخدمات الذكية المتاحة ".

بالطبع ، لم يأتِ هذا النوع من نموذج الخصخصة بعد ، لكن يجب أن يكون لدى الشركات الناشئة في المسار فرص وصعوبات.