نموذج كبير ، المصدر المفتوح لا يمكن أن يقتل المصدر المغلق

المصدر: الجسم الدماغي

مصدر الصورة: تم إنشاؤه بواسطة Unbounded AI

أصبح تأثير النماذج الكبيرة مفتوحة المصدر على النماذج الكبيرة المغلقة المصدر عنيفًا للغاية.

في مارس من هذا العام ، أصدرت Meta Llama (الألبكة) ، والتي سرعان ما أصبحت أقوى نموذج مفتوح المصدر كبير في مجتمع الذكاء الاصطناعي والنموذج الأساسي للعديد من الطرز. قال بعض الناس مازحين أن مجموعة النماذج واسعة النطاق الحالية هي مجرد مجموعة من "الألبكة" بألوان مختلفة.

وقبل أيام قليلة فقط ، أطلقت Meta نسخة تجارية مجانية من "Alpaca 2" - Llama2 ، والتي يقال إنها قابلة للمقارنة في الأداء مع GPT-3.5.

هذا متفجر للغاية في دائرة النموذج واسعة النطاق بأكملها.

نحن نعلم أن العديد من شركات الإنترنت والتكنولوجيا تتنافس لتدريب وإطلاق نماذجها الكبيرة الخاصة بها ، وتستثمر الكثير من موارد وتكاليف الحوسبة. إذا لم يتم تسويقها بشكل فعال ، فسيكون من الصعب استرداد تكلفة هذه النماذج واسعة النطاق. ستصبح التكرارات والتحديثات والتحديثات اللاحقة مشكلات. ولن تخسر شركات البحث والتطوير الأموال فحسب ، ولكن المستخدمين الذين "يضيعون كل الجهود السابقة" سيكونون على الأرجح أكثر حزنًا.

ولكن الآن بعد أن أصبحت هناك نماذج مفتوحة المصدر مجانية وقوية ومفتوحة المصدر ، فمن الذي يرغب في التبرع بالمال لنماذج المصادر المغلقة؟

هناك حقا.

المصدر المفتوح هو الاتجاه العام ، ولكن لا يزال للنموذج الكبير المغلق أهمية وجوده وقيمته التجارية. وفقًا للتجربة الحالية في صناعة الذكاء الاصطناعي ، للاستفادة الجيدة من النماذج الكبيرة ، لا يزال يتعين عليك الاعتماد على المصادر المغلقة.

اليوم سوف نتحدث عن هذه القضية من يحتاج إلى نموذج كبير مغلق المصدر؟

** اذهب إلى الصناعة ، انتقل إلى الصناعة **

نقطة النهاية لتسويق النماذج الكبيرة هي الصناعة ، ويجب أن يكون هناك إجماع لا يتطلب الكثير من التفسير.

منذ وقت ليس ببعيد ، شاركت في اجتماع اتصالات داخلي لنموذج محلي واسع النطاق ، وذكر كبار المديرين التنفيذيين للطرف الآخر بوضوح أنهم جميعًا يستخدمون كود مغلق المصدر ويصرون على مسار المصدر المغلق ، لأنهم يفكرون في تدريب نماذج واسعة النطاق والتعاون مع شركاء الصناعة ، والعديد من البيانات الخاصة غير ملائمة لفتح المصدر.

يمكنك الحصول على لمحة عن الصورة بأكملها ، على الأقل في المدى القصير ، ستذهب النماذج واسعة النطاق إلى الصناعة ، ولا يزال التنفيذ يعتمد على المصادر المغلقة.

** فيما يتعلق بالموديلات ، فإن جودة النماذج الكبيرة المغلقة المصدر أعلى. **

خذ Llama 2 ، وهو الأكثر قدرة حاليًا ، كمثال. قارن Meta نتائج Llama 2 70B مع نموذج المصدر المغلق. النتائج قريبة من GPT-3.5 على MMLU و GSM8K ، ولكن لا تزال هناك فجوة كبيرة في معيار الترميز ، والعديد من البيانات تفتقر إلى التنوع والجودة.

بالطبع ، سرعة التكرار الأمثل للنماذج الكبيرة مفتوحة المصدر سريعة جدًا. لكن جوهر المصدر المفتوح مشابه جدًا لـ "التكاثر الجنسي" ، أي من خلال التكاثر والتحول الجماعي ، تمامًا مثل "مجموعة الألبكة" في البداية ، في مواجهة مستقبل غير مؤكد ، بمساعدة "البقاء للأصلح" للتطور ، سيستمر ظهور أفضل ذرية جودة. لذلك ، هناك العديد من فروع البرمجيات مفتوحة المصدر ، وبالنسبة للمستخدمين ، فإن تكلفة هذا الاختيار مرتفعة للغاية ، بالإضافة إلى العدد الكبير من المطورين ، فإن التحكم في الإصدار يمثل مشكلة.

** من حيث الأمان ، تعد النماذج الكبيرة مغلقة المصدر أكثر موثوقية. **

يجب أن تلتزم النماذج الكبيرة مفتوحة المصدر باتفاقية المصدر المفتوح ، ويجب أن يكون الاستخدام التجاري مرخصًا. ويجب أيضًا أن تخضع النماذج الكبيرة مفتوحة المصدر في الخارج للولاية القضائية الإقليمية. وقد حظرت GitHub مرة واحدة حسابات المطورين الروسية. استخدام نماذج كبيرة مفتوحة المصدر في الخارج لتطوير المنتجات ومخاطر سلسلة التوريد موجودة بشكل موضوعي.

إذن ، ماذا عن استخدام نماذج محلية كبيرة مفتوحة المصدر؟ السلامة مضمونة ، ولكن من وجهة نظر تجارية ، يعلق العديد من العملاء ، مثل المؤسسات الحكومية الكبيرة ، أهمية كبيرة أيضًا على موثوقية النماذج الكبيرة في الأعمال التجارية ، وغالبًا ما يتطلبون المصادقة على العلامة التجارية من الشركات الكبيرة عند الشراء. من ناحية ، يكون الاستثمار في البحث والتطوير أكبر والكلام الشفهي أعلى ؛ من ناحية أخرى ، في حالة إنشاء النموذج الكبير بشكل غير صحيح ، مما يؤدي إلى خسارة تجارية أو مشاكل حسن النية ، يمكن أن يؤدي استخدام نموذج كبير المصدر مغلق إلى مساءلة مزود الخدمة ، ولا يمكن استخدام نموذج كبير مفتوح المصدر لتسوية الحسابات مع المطورين العالميين ، أليس كذلك؟

على سبيل المثال ، تقدم Huging Face ، وهي شركة ناشئة نموذجية واسعة النطاق ، استشارات الذكاء الاصطناعي للعملاء وهي ركيزة لمجتمع المصدر المفتوح. وقالت إن عددًا كبيرًا من العملاء يرغبون في استخدام بياناتهم الخاصة / بياناتهم المهنية لنماذج التدريب ، ولا يرغبون في إعطاء هذه البيانات إلى OpenAl.

** فيما يتعلق بالتصنيع ، فإن قدرة الخدمة طويلة المدى للنماذج الكبيرة المغلقة المصدر أقوى وأكثر قابلية للاستخدام. **

لا ينتهي هبوط نموذج كبير بالوصول إلى واجهات برمجة التطبيقات وإدخال البيانات وضبط المعلمات. باعتبارها تقنية ناشئة ، لا يزال هناك العديد من التحديات في تكامل النماذج الكبيرة وسيناريوهات الأعمال. على سبيل المثال ، تحتاج النماذج الكبيرة إلى الضغط عن طريق التقطير لتقليل حجم النموذج قبل أن يتم نشرها على جانب الجهاز. العديد من الشركات ببساطة ليس لديها مثل هؤلاء المحترفين.

على سبيل المثال آخر ، يتطلب الجمع بين النماذج الكبيرة والأعمال التجارية مشاركة أدوار متعددة مثل مهندسي المنتج والتشغيل والاختبار. ومن الصعب توفير إمكانات الخدمة هذه لفرق مفتوحة المصدر تكون في الأساس من المبرمجين. بالإضافة إلى ذلك ، يجب مواكبة التطبيق طويل المدى للنماذج الكبيرة ، وقوة الحوسبة ، والتخزين ، والشبكة وغيرها من المرافق الداعمة ، ولا يمكن لمجتمع المصدر المفتوح أن يساعد المستخدمين "في مكان واحد" في حل هذه المشكلات التفصيلية.

هناك أيضًا مخاوف تتعلق بخصوصية البيانات.لا يمكن للصناعة استخدام النماذج الكبيرة بشكل مباشر ، ويجب تحسينها من خلال بيانات المشهد الخاصة بالملكية ، وستكون النماذج المدربة على هذه البيانات مفتوحة المصدر وإصدارها ، مما يجعل الشركات تقلق كثيرًا.

لقد قابلنا ذات مرة فريقًا ذكيًا للبحث والتطوير الطبي ، وقال الطرف الآخر إن كمية كبيرة من البيانات الطبية يتم توزيعها في المستشفيات الكبرى والمؤسسات البحثية ، كما أنها تنطوي على خصوصية المريض.كل شخص لديه مخاوف بشأن استخدام البيانات لتدريب نموذج صناعي بشكل مشترك. من ناحية ، لا يمكن ضمان الأمن ، ومن ناحية أخرى ، فإن جودة بياناتهم عالية ، لكنهم لا يستطيعون الحصول على عوائد مناسبة منها. مثل المنظمات الأخرى ذات البيانات منخفضة الجودة ، من الصعب التنسيق. في البناء المشترك للنماذج الكبيرة مفتوحة المصدر ، لا تزال هناك العديد من الصعوبات في كيفية الحصول على البيانات ، وفهم الصيغة ، وتحديد مساهمات جميع الأطراف.

تحتاج النماذج الكبيرة مفتوحة المصدر إلى موازنة التضارب بين حرية الابتكار التكنولوجي ومزايا حقوق النشر ، في حين أن النماذج الكبيرة مغلقة المصدر لا تواجه هذه المشكلة. حقوق ملكية واستخدام البيانات والنماذج واضحة جدًا ، وهي في أيدي المؤسسة نفسها.

يمكن القول أن النموذج الكبير الحالي مفتوح المصدر لا يمكن أن يلبي احتياجات العمل الفعلية. ومع ذلك ، يحتاج مستخدمو النماذج الكبيرة مفتوحة المصدر ومتكاملو ISV إلى الحصول على عوائد تجارية. إذا لم يكن النموذج الكبير مفتوح المصدر متاحًا تجاريًا ، فإن التأثير ليس جيدًا ، ومن الصعب جني الأموال ، حتى لو كان مجانيًا ، ستنظر المؤسسة بعناية في الاستثمار في الأشخاص لتطويره.

لذلك ، لبعض الوقت في المستقبل ، سيظل المصدر المغلق خيارًا شائعًا لصناعة هبوط النماذج واسعة النطاق.

** اذهب إلى الجماهير ، اذهب إلى الجماهير **

قد لا يفهم بعض الناس ، المصدر المفتوح مجاني للاستخدام التجاري ، ويمكن للجميع استخدام نموذج كبير بسعر الملفوف.إنه صديق للغاية للمطورين ومستخدمي المؤسسات ، لماذا لا تزال تقول أن المصدر المغلق أفضل؟ هل هي منصة لمصنع كبير يركز على جني الأموال؟

لا.

أي شخص يفهم المصدر المفتوح سوف يدعم المصدر المفتوح. أي شخص يدعم المصادر المفتوحة سوف ينتبه إلى تسويق المصدر المفتوح.

قال الأكاديمي مي هونغ من الأكاديمية الصينية للعلوم ذات مرة إن المصدر المفتوح ينبع من المثالية ويغذيه بقوة التسويق ، إنه نموذج للابتكار المفتوح. بدون تسويق ، لا يمكن أن يكون هناك مصدر مفتوح.

لذلك ، سواء كانت مفتوحة المصدر أو مغلقة المصدر ، أيا كان من يمكن أن يكون "تجاريًا" في وقت سابق سيكون له مستقبل أفضل. في هذا الصدد ، قد تتمتع النماذج واسعة النطاق ذات المصدر المغلق بميزة ، فبعد كل شيء ، لا يزال المصنعون الذين لديهم ثقة لإغلاق المصدر لديهم فرشتان وخلفية للبحث والتطوير.

إذن ، ما هي مزايا النماذج الكبيرة مفتوحة المصدر؟ إذا كان النموذج واسع النطاق مغلق المصدر سيذهب إلى الصناعة ، فيجب أن يذهب النموذج واسع النطاق مفتوح المصدر إلى الجماهير ، مع التركيز على قوة شخص واحد.

** (يعتقد LeCun أن Llama-v2 ستغير هيكل سوق LLM) **

يختلف النموذج الكبير مفتوح المصدر عن البرامج التقليدية مفتوحة المصدر ، حيث يتم وضع كود المصدر عليه ، ومن ثم يساهم المطورون من جميع أنحاء العالم في الكود وهذا كل شيء. ينعكس التعاون والبناء المشترك للنماذج الكبيرة بشكل أكبر في ازدهار المجتمع.يعمل الجميع معًا لتحسين النموذج وإثراء البيانات وتحسين الأدوات وجعل التطبيق شاملاً ...

في الوقت الحالي ، يمكن أن يجلب نموذج المصدر المفتوح العديد من الفوائد:

1. الابتكار التكنولوجي. يمكن لمجتمع المصدر المفتوح أن يجمع بين عدد كبير من شركات التكنولوجيا والمؤسسات البحثية والمطورين لتحسين التكرارات للنموذج وتحسينها وتسريعها ، مما يجعل تقنية النموذج ودعم مجموعات البيانات وأدوات التطبيق وما إلى ذلك غنية وعالية الجودة ، وذلك للبقاء في المقدمة.

2. مسابقة المواهب. نظرًا لكونها تقنية ناشئة ، فإن النماذج الكبيرة تعاني من نقص في المواهب ، ويمكن توسيع الفجوة من خلال جذب المواهب المتميزة من جميع أنحاء العالم للمساهمة من خلال مجتمعات مفتوحة المصدر وتسريع تطوير النماذج الكبيرة. هناك ضغط عندما تكون هناك منافسة ، لذلك بعد إصدار LLama 2 ، سرعان ما تم الإبلاغ عن أن OpenAI بدأت أيضًا في التفكير في الحصول على GPT-3.5 من المصادر المفتوحة في غضون نصف عام.

3. الإغلاق البيئي. في الوقت الحاضر ، تستخدم حلول تكنولوجيا المعلومات والتحول الرقمي في جميع مناحي الحياة عددًا كبيرًا من تقنيات وتطبيقات المصدر المفتوح لبناء نظام بيئي مفتوح المصدر واسع النطاق ، مما يسمح لمواهب ومؤسسات تكنولوجيا المعلومات باستخدام التقنيات ذات الصلة ، وهو أمر مفيد للغاية للتسويق في وقت لاحق. على سبيل المثال ، اختارت Microsoft ، الشريك / المستثمر في OpenAI ، أيضًا أن تصبح الشريك الأساسي لـ Llama 2 هذه المرة ، حيث تدعم المطورين الفرديين والشركات الصغيرة والمتوسطة الحجم للاتصال بـ Llama 2 بأقل تكلفة ، وهو بلا شك فائدة كبيرة لـ azure.

لا يمكن أن تنجح جميع النماذج الكبيرة مفتوحة المصدر ، والبيئة هي الخندق الرئيسي.

** بسكويت ساندويتش ، إلى أين أنت ذاهب؟ **

تمامًا مثل نظامي التشغيل iOS و Android ، نظام التشغيل المحمول ، فإن المنافسة بين المصدر المفتوح والمصدر المغلق ليست معركة "حياة أو موت" في مجال معين ، ولكن كل منهما يتخذ مسارًا مختلفًا ويدخل في عالمه الخاص. الشيء نفسه ينطبق على النماذج الكبيرة.

النماذج واسعة النطاق مفتوحة المصدر مفتوحة للترحيب بالعملاء ، والنماذج مفتوحة المصدر واسعة النطاق تزدهر ، ولكل شخص مستقبل مشرق.

في هذه الحالة ، لماذا يعتقد بعض الخبراء أن المصدر المفتوح لـ Llama 2 يمثل قفزة هائلة للمصدر المفتوح ، ولكنه يمثل ضربة كبيرة لشركات النماذج الكبيرة المغلقة المصدر؟

من فعل ذلك؟

يجب أن تكون الإجابة هي أن الشركة المصنعة للنماذج الأساسية واسعة النطاق لا ترغب في أن تكون مجرد طبقة تطبيق ، ولكنها أيضًا غير قادرة على التغلب على شركة تصنيع كبيرة.

كتب باحثو Google ذات مرة أنه نظرًا لمجتمع المصدر المفتوح ، ليس لدينا (Google و OpenAI) خندق مائي. ومع ذلك ، لدى OpenAI أيضًا نماذج كبيرة مغلقة المصدر مثل GPT-4 كميزة قاتلة. فقط عندما يتم إجبارها على فتح المصدر ، فإنها تنظر في المصدر المفتوح GPT-3.5. هناك فجوة تقنية فيه. علاوة على ذلك ، كشف المصدر المفتوح لـ GPT-3.5 عن الكلام الشفهي فقط ، ولا يزال التقدم المحدد غير معروف.

لذلك ، تتمتع الشركات المصنعة للتكنولوجيا الرائدة وعمالقة السحابة ، مثل Google في الخارج ، و OpenAI ، و BATH المحلية ، بمزايا في البطاقات ، والمال ، والمواهب ، والبيانات ، والوعي بالسوق ، وقاعدة العملاء. إن اتخاذ مسار المصدر المغلق لإكمال تسويق وتصنيع النماذج الكبيرة له مزايا وحواجز معينة للمتحرك الأول.

هذا هو الألم بالنسبة لمصنعي الدرجة الثانية والثالثة الذين يرغبون في تدريب النموذج الأساسي الكبير للأغراض العامة.

في السابق ، توافدت شركات التكنولوجيا الكبيرة والصغيرة ومؤسسات البحث العلمي المختلفة حول العالم لتدريب النماذج الكبيرة الأساسية ، مثل بعض حيدات الذكاء الاصطناعي ذات الرؤية الآلية ، والتي أصبحت بالصدفة "بسكويت ساندويتش" بين الطبقة الأساسية وطبقة التطبيق.

لا يمكنها التغلب على GPT من حيث القوة ، ولا يمكنها التغلب على اللاما من حيث التكلفة ، فالنموذج الأساسي الضخم للأغراض العامة الذي تم تدريبه قد عفا عليه الزمن بالفعل قبل أن يتم فتحه رسميًا للاستخدام التجاري ، ومن المقرر أن يكون شيئًا من الماضي. لا يمكن للسوق منافسة الشركات العملاقة ، ودرجة الانفتاح ليست بنفس جودة مجتمع المصادر المفتوحة ، ويكاد يكون من المستحيل استرداد تكاليف التطوير الباهظة.

قد يكون من الحكمة التخلي عن النموذج الكبير في أسرع وقت ممكن.

على سبيل المثال ، تمت خصخصة نموذج واسع النطاق لشركة محلية للذكاء الاصطناعي سابقًا بسعر 300 ألف يوان سنويًا ، ثم أُعلن أنه مفتوح تمامًا للبحث الأكاديمي ، وتم ترخيصه للاستخدام التجاري المجاني. هناك أيضًا إمكانية للتسويق (مثل Linux / Android / Red Hat) في مجتمع المصادر المفتوحة للنموذج واسع النطاق ، وفي الوقت نفسه ، يمكنه تجنب "المواجهة المباشرة" مع النموذج العام واسع النطاق للرأس.

بالنسبة لمطوري طبقات التطبيقات ومتكاملي ISV ، فإن الاستخدام الجيد للنماذج الكبيرة المغلقة المصدر ذات القبول الصناعي العالي يمكن أن يسمح للعملاء بقبولها بشكل أسرع ، وأن يكون أكثر ملاءمة لاحتياجات العمل الخاصة بالنشر المخصص المخصخص ، وإكمال الهبوط التجاري ونمو الإيرادات بشكل أسرع.

بالنسبة إلى الشركات الناشئة في مجال الذكاء الاصطناعي ، يمكن استخدام المصدر المفتوح مباشرةً وتجنب إنشاء العجلة المتكرر.قد يكون أسلوبًا تجاريًا أكثر مثالية ومنخفض التكلفة للتجربة والخطأ. يساهم "الإبلاغ عن المجموعة للإحماء" في مشاريع مفتوحة المصدر واسعة النطاق ، ويعزز تطوير مجتمعات مفتوحة المصدر واسعة النطاق ، وسيتلقى أيضًا تعليقات المجتمع وردود الفعل التجارية.

إن تطوير نموذج الصين الواسع النطاق إلى مستوى عالٍ لا يتطلب فقط النموذج الواسع النطاق ذو المصدر المغلق الرائد في العالم لأخذ زمام المبادرة ، بل يتطلب أيضًا مجتمع نموذج مفتوح المصدر واسع النطاق له تأثير عالمي.

الطريق مسدود وطويل ولكن الرحلة تقترب. قد ترغب في استخدام موقف بناء للنظر في نزاعات المصادر المفتوحة والمصدر المغلق ، وإعطاء بعض الثقة للنموذج الكبير المحلي مغلق المصدر ، وأيضًا إعطاء بعض التشجيع والدعم لمجتمع المصادر المفتوحة المحلية.