وراء أقوى نموذج مفتوح المصدر التجاري Meta: المنافسة العملاقة المنقذة للحياة ، يجد Musk و Apple طريقة أخرى

النص: Guo Xiaojing ، Tencent Technology

مصدر الصورة: تم إنشاؤه بواسطة Unbounded AI

في 19 يوليو ، أعلنت Meta عن الإصدار الرسمي للنموذج اللغوي الكبير Llama2 على موقعها الرسمي على الإنترنت. هذا هو الإصدار الأخير من نموذج Meta اللغوي الكبير وأول نموذج لغة تجاري كبير مفتوح المصدر لشركة Meta. وفي الوقت نفسه ، أعلنت Microsoft Azure أيضًا أن ستتعاون مع Llama2 في العمق.

وفقًا لبيانات Meta الرسمية ، قامت Llama 2 بتحسين بيانات التدريب الخاصة بها بنسبة 40٪ مقارنة بالجيل السابق ، بما في ذلك 3 إصدارات من 7 مليارات و 13 مليار و 70 مليار معلمة. تم تدريب نموذج Llama 2 المدربين مسبقًا على 2 تريليون رمز مع ضعف طول سياق Llama 1 ، وتم تدريب نموذجها الدقيق على أكثر من مليون تعليق توضيحي بشري.

يقال أن أداؤه مشابه لـ GPT-3.5 ، ويُعرف أيضًا بأنه أفضل نموذج كبير مفتوح المصدر. بمجرد إصدار الأخبار ، توصلت وسائل الإعلام والصناعة إلى استنتاج مفاده أن تسويق Llama2 مفتوح المصدر سيغير المشهد التنافسي في مجال النماذج الكبيرة. ما هو حجم تأثير هذا الحادث؟ ما نوع التأثير الذي سيحدثه على الصناعة؟ لقد قمنا بدعوة شخصين في المجال لإجراء محادثة. أحدهما هو Zhou Songtao ، نائب المدير العام لمركز البحث والتطوير للمنتجات في ** Leo Group Digital Technology Co.، Ltd. **. قاد الفريق لتقييم معظم النماذج الكبيرة السائدة في الداخل والخارج ؛ الأخرى هي السيدة جياو جوان ، رئيسة معهد Anxinyuan للأبحاث الكونية ، التي تراقب بعمق بيئة صناعة التكنولوجيا في الداخل والخارج لسنوات عديدة.

** فيما يلي أهم وجهات نظر الاثنين: **

① يأخذ Llama2 بعين الاعتبار معلمات النموذج ، واستهلاك الوقت ، واستهلاك طاقة الحوسبة والجوانب الأخرى بشكل شامل ، مقارنةً بـ GPT-3.5 ، فهو واثق.

② سيؤدي الذكاء الاصطناعي التوليدي إلى إحداث تغييرات هزت الأرض في نظام المصدر المفتوح بأكمله.

③ في المستقبل ، سيتأرجح المصدر المفتوح والمصدر المغلق مع بعضهما البعض بالتأكيد ، وسيتم تشكيل نمط من الألعاب والمنافسة المتبادلة في هذا المجال لفترة طويلة.

④ لن يقلل المصدر التجاري المفتوح لـ Llama2 بالضرورة من تكلفة استخدام رواد الأعمال للطرز الكبيرة ، ولكنه قد يتسبب في قيام مزودي خدمات نموذجيين كبيرين ببدء حرب أسعار ، وهي أخبار جيدة للمستخدمين ورجال الأعمال.

⑤ لم تعد المنافسة بين الشركات العملاقة في الخارج في مجال الذكاء الاصطناعي بسيطة مثل تطوير المنحنى الثاني ، فالمنافسة شرسة وحاسمة ، وحتى أنها منقذة للحياة بعض الشيء ، والأسباب الكامنة وراءها تستحق التأمل.

فيما يلي مجموعة مختارة من محتوى المحادثة:

** تقنية Tencent: من منظور ممارسي الصناعة أو المطبقين ، كيف يتم تقييم نموذج كبير؟ **

Zhou Songtao: MMLU هو إطار تقييم النماذج واسع النطاق الأكثر استخدامًا في العالم. فهو يأخذ في الاعتبار المعرفة الشاملة وقدرة 57 تخصصًا ، من العلوم الإنسانية إلى العلوم الاجتماعية إلى العلوم والهندسة. تستند معظم تقييماتنا على هذا الإطار. لكن صناعتنا هي صناعة الإعلان ، بناءً على سمات صناعة الإعلان ، سنضيف بعض عناصر التقييم الأخرى.

قلنا أيضًا في اجتماع إدارة المجموعة أن التركيز في صناعة الإعلان ليس الإبداع ، بل التحكم. يجب أن تكون النتائج الناتجة متوافقة بنسبة 100٪ مع المعلن وأداء المنتج والمظهر والشعار وما إلى ذلك. فقط بعد تحقيق هذه التخفيضات يمكن أن يكون هناك مجال للتباعد والخيال. لذلك سنقوم باختبار منفصل للتحكم في هلوسة النموذج الكبير. ومع ذلك ، فإن معظم نماذج اللغات الكبيرة ونماذج الانتشار الخاصة بتوليد الصور في السوق يصعب تلبية احتياجات المعلنين بشكل كامل. بعد إصدار النموذج الكبير للأغراض العامة ، لا يزال هناك طريق طويل لنقطعه قبل أن يتم تسويقه بالكامل.

بالإضافة إلى ذلك ، فإن أهم شيء نضعه في الاعتبار هو مسألة التكلفة: يحتوي نموذج المصدر المغلق على نظام عرض أسعار مباشر ، ونحن عمومًا ** نقيس تكلفة آلاف الرموز **. بالنسبة لنموذج المصدر المفتوح ، هناك المزيد من الروابط التي يجب قياسها وحسابها ، من النشر إلى الضبط الدقيق للاستدلال النهائي عبر الإنترنت ، ومقدار طاقة الحوسبة المستهلكة ، ومقدار تكلفة التطوير وتكلفة البيانات المستثمرة في الحفاظ على الانفتاح نموذج المصدر.

يمكن لملاحظات الجودة للنموذج الكبير بالإضافة إلى تقدير التكلفة أن تشكل تقييمًا للنموذج. بجملة بسيطة ** كلما ارتفع أداء التكلفة ، زادت شهرة **.

جياو خوان: من وجهة نظرنا ، ما يهم أكثر هو كيفية تحديد بعض المتطلبات الرأسية. لأنه على المستوى العالمي ، بغض النظر عما إذا كانت شركة تقنية صلبة أو شركة إنترنت ، قد لا يكون هناك عدد كبير جدًا من الشركات القادرة حقًا على تحديد المتطلبات ، لذلك يمكن تحويل هذا الاقتراح إلى —— ** يمكن على نطاق واسع تضع الشركات النموذجية نفسها بعض المتطلبات الرأسية ، وإذا لم يكن الأمر كذلك ، فهل يمكننا العمل مع شركاء بيئيين لاستكشاف اتجاه فئة رأسية أفضل. بالطبع ، سيكون من الأفضل أن يكون لدى بعض الشركات تراكم البيانات الخاصة بها وتراكم الخبرات في اتجاه معين. هذا هو منظورنا ، من منظور تطبيق وتحديد احتياجات الصناعات المجزأة رأسياً.

** تقنية Tencent: هل يستطيع Llama2 حقًا تجاوز GPT-3.5 أو مطابقته من حيث الأداء؟ **

Zhou Songtao: النموذج الكبير لـ Llama2 لا يزال قيد التقييم ، وسيستغرق حوالي أسبوعين. ولكن من دراستنا للورقة وبعض التقييمات البسيطة التي تم إجراؤها حتى الآن ، يمكننا إجراء بعض المقارنات العامة.

هناك العديد من الاختلافات بين مرحلة ما قبل التدريب والنموذج الأصلي لـ GPT ، ولم يتم إجراء هذه التغييرات من قبل الشركات النموذجية الأخرى من قبل. الأول هو تغيير آلية الانتباه متعدد الرؤوس للمحول التقليدي إلى آلية مجموعة شارد في مرحلة ما قبل التدريب. إنه يشبه إلى حد ما أو يقلد تقنية التجزئة التي استخدمناها عندما كنا نقوم بمعالجة البيانات الضخمة ومعالجة البيانات المتوازية واسعة النطاق. قم بتجميع عدد كبير من الاستفسارات (الطلبات) التي يتطلبها الاهتمام في مجموعات ، ووضع كل مجموعة في وحدة تدريبية ، بحيث يتم من الناحية النظرية تحسين كفاءة وسرعة التوازي بشكل كبير. أعتقد أن هذا الجزء هو تغيير جديد أجرته Meta بناءً على التجربة السابقة للمعالجة المتوازية واسعة النطاق.

بناءً على هذا التغيير ، أعتقد أنها أعلى من الناحية النظرية عدة مرات من النماذج الكبيرة الحالية من حيث متطلبات طاقة الحوسبة واستهلاك الوقت. أقدر أن Llama2 سيبدأ في يناير وفقًا لبيانهم.حسب وقت الإصدار ، يجب أن يكون أقصر من وقت ما قبل التدريب لـ Llama1 لأنه يحتوي على عدد من المعلمات أكبر من Llama1. بهذه الطريقة ، يتم ضغط الدورة المحتملة للجولات المتعددة من التدريب. يرتبط هذا ارتباطًا وثيقًا بـ GQA المذكورة في الورقة. في هذه المرحلة ، يجب أن يتجاوز GPT4. على الرغم من أننا لا نعرف العدد المحدد لـ GPT-4 ، وفقًا لتكهنات خارجية ، فإن GPT-4 أعلى بكثير من GPT-3 و GPT-3.5.

بالنسبة لـ GQA ، نشعر حاليًا أن ** طريقة معالجة GQA يمكنها بالفعل تحسين سرعة التدريب للمستخدمين الذين لديهم بطاقات طاقة حاسوبية كافية ، وخاصة موارد طاقة الحوسبة المتوازية لـ GPU. ** ومع ذلك ، وجدت الاختبارات ومراجعات الأقران أن هذه الوظيفة لها متطلبات عالية فيما يتعلق بحجم مجمع طاقة الحوسبة والأجهزة. ولأسباب معروفة ، يمتلك المطورون في الصين القارية القليل من موارد الحوسبة المتوازية على نطاق واسع لوحدة معالجة الرسومات ، لذا ** GQA قد يكون لها تأثير سلبي علينا. **

بالإضافة إلى ذلك ، النقطة الثانية هي أنه في مرحلة الضبط ، نعلم أن نظام GPT قد قام بمعالجة بيانات متعددة الطبقات أثناء التطبيع ، مما يجعل نتائج تدريب البيانات دقيقة للغاية ، ولكنه يستهلك أيضًا قدرًا كبيرًا من قوة الحوسبة. لكن Llama2 يستخدم حلاً مختلفًا ، وهو إضافة معاملات الوزن على أساس المعالجة متعددة الطبقات ، وهو أمر مفيد جدًا لتحسين الكفاءة والحفاظ على الدقة ، كما أنه مفيد أيضًا في توفير طاقة الحوسبة. هاتان النقطتان هما تحسينات تم إجراؤها خلال مرحلة ما قبل التدريب. **

بالإضافة إلى ذلك ، ذكرت الورقة أيضًا أن موضع تضمين Llama1 ثابت ولا يمكن تعديله. ولكن في Llama2 ، يمكن تعديل ذلك ديناميكيًا ، وهو أيضًا نقطة مضيئة. نحن أيضًا مهتمون جدًا بهذا الأمر ، ونريد أن نعرف نوع التأثير العملي الذي يمكن أن ينتج عنه.

بالإضافة إلى ذلك ، من الواضح أن Llama2 قد استوعبت بعض الخبرة الهندسية لسلسلة Llama1 و GPT ، أي أنه تمت إعادة استخدام التجربة الناجحة في مرحلة RHLF ، وينبغي تحسينها بشكل كبير.

آخرها معلمات النسبة وما رأيته حتى الآن هي تلك المعايير التي كشفت عنها على موقعها الرسمي على الإنترنت. هناك أكثر من مليون معلمة بما في ذلك ردود الفعل المحسّنة بشكل مصطنع ، والجزء الذي تم ضبطه بدقة يصل إلى أكثر من 100000. إذا تجرأ على إطلاق هذه المعلمات ، فهذا يعني أن Meta لديها الثقة في النظر بشكل شامل إلى معلمات النموذج ، واستهلاك الوقت ، واستهلاك طاقة الحوسبة.

** Tencent Technology: لماذا يتم تعيين حد المصدر التجاري المفتوح على ما لا يزيد عن 700 مليون مستخدم نشط شهريًا؟ **

جياو خوان: أمزح فقط ، أعتقد أن هذه اللائحة "مفتوحة للغاية" —لعبت Meta ورقة مشرقة ، لأنها لا يمكن أن تمنع الآخرين من البحث ، ثم اتركها. في جوهرها ، هو نتيجة ألعاب داخلية. لم تكن مؤشرات Meta المالية جيدة جدًا منذ بداية عام 2021 ، لذلك كانت تبحث عن منحنى النمو الثاني. في أكتوبر 2021 ، غيرت Meta اسمها إلى All in Metaverse ، لكنها لم تشهد أي تحسن جوهري. أطلقت النموذج الكبير الحالي ، والذي يمكن دمجه مع أجهزته الخاصة. إنها تعادل لعب بطاقة ساطعة. إنها تتطلب أجهزة وبرامج ونظام تشغيل. وتأمل أن يكون لها مكانها الخاص في عصر الذكاء الاصطناعي ، ولكن في نفس الوقت كمصدر مفتوح ، فهي لا تريد أن تكون كذلك. مفيد جدًا للمنافسين. كما ترى ، فإن 700 مليون منتج نشط شهريًا تشمل YouTube 2.5 مليار ، Apple 1.8 مليار ، Microsoft 1.4 مليار ، Samsung 1 مليار ، LinkedIn 900 مليون ، Snapchat 750 مليون ، إلخ.

** Tencent Technology: ما هو الفرق الأساسي بين المصدر المفتوح التجاري وترخيص البحث؟ ما هو التأثير المحتمل على النظام البيئي مفتوح المصدر؟ **

Zhou Songtao: بعد ظهور نموذج اللغة الكبير ، أصبحت مسألة المصادر المفتوحة أيضًا معقدة للغاية ، فقد أجرى الجميع الكثير من التعديلات على تعريف المصدر المفتوح وهذه القاعدة. سيتضمن ذلك فتح مصدر الخوارزمية نفسها ، والبحث عن بيانات مفتوحة المصدر ، وما إلى ذلك. للحكم على المصدر المفتوح العام لنموذج اللغة الجديد أو النموذج التوليدي: أولاً ، يعتمد ذلك على ما إذا كان كود الخوارزمية الخاص به مفتوح المصدر ، ومن ثم ما إذا كانت مجموعة أرقام التدريب الخاصة به ستكون مفتوحة المصدر. الثالث يعتمد على خوارزمية مفتوحة المصدر. إذا قمت بضبط دقيق أو معالجة أخرى ، فما نوع القيود التي ستشملها سياسة التفويض الخاصة بك. الرابع هو استخدام نتائج استدلال النموذج الخاص بك ، سواء كان جانب النموذج يتحكم أم لا. نحكم عمومًا من هذه الاتجاهات على ما إذا كان "المصدر المفتوح" لهذا النموذج يمثل قيمة تطبيقية بالفعل بالنسبة لنا.

فيما يتعلق بالبحوث مفتوحة المصدر والمصدر التجاري المفتوح ، أتذكر أن المثال الأكثر شيوعًا هو شركة Stability AI. أتذكر أنه قبل أسبوعين من فتح LLama2 ، تم أيضًا إصدار الإصدار XL من StabilityAI ، أي فقط البحث المسموح به المصدر المفتوح ، ومن المقرر بوضوح أنه يمكن استخدام النماذج. قم بالبحث باستخدام البيانات ، على سبيل المثال ، إذا كنت باحثًا أو تنتمي إلى جامعة معينة ، ولكن إذا كنت تستخدم هذا النموذج للتسويق ، فهذا محظور تمامًا ، وأنت بحاجة إلى التقدم بطلب للحصول على إذن منفصل لاستخدامه.

أعتقد أن ترخيص المصدر المفتوح للنماذج الكبيرة قد تغير كثيرًا عن منطق المصدر المفتوح الأصلي. تم إعداد الروابط والعمليات بعناية فائقة. من الممكن أن يؤدي الذكاء الاصطناعي التوليدي إلى إحداث تغييرات هزت الأرض نظام المصدر. **

** تقنية Tencent: ما هو نوع التأثير الذي سيحدثه المصدر المفتوح التجاري لـ Llama2 على مشهد المنافسة في النماذج الكبيرة؟ **

Jiao Juan: في منافسة العمالقة في الخارج ، هناك أسلوب ، وهو جعل منتجاتهم وخدماتهم قابلة للتمييز ، لذلك تسمى Meta Meta ، ويجب تسمية Apple باسم New Universe. إذا أغلق الآخرون المصدر ، سأشغل المصدر المفتوح . قد يكون المصدر المفتوح في الماضي من صنع المهووسين بشعور من الحرية ، وكان التفكير بسيطًا نسبيًا. ولكن الآن بعد أن تقود هيئة تجارية كبيرة هذه المسألة ، فإن الأمر يتعلق أكثر بالمصالح التجارية.

Zhou Songtao: أعتقد أن العناصر الثلاثة للمشهد التنافسي لنظام الذكاء الاصطناعي التوليدي - قوة الحوسبة والخوارزميات والنماذج - لم تتغير. في الواقع ، لا يمثل النموذج سوى ثلث العوامل التنافسية. إذا تم تغيير النموذج ، فلا يمكن أن يتغير إلا بمقدار الثلث أو أكثر بقليل من الثلث. أقدر أنه أكثر تفاؤلاً ، وقد تصل إلى حوالي 45٪. **

لا يزال النمط في الداخل والخارج غير متماثل ، والنمط على مستوى الخوارزمية الأجنبية أكثر وضوحًا. البيانات الأجنبية نظيفة ومتجهة بشكل أساسي ، مجموعة بيانات التدريب كافية بالفعل ، والميزة التنافسية من حيث البيانات ليست واضحة ، إلا إذا كان لديك بيانات ملكية خاصة بصناعة معينة. قوة الحوسبة ليست مكانًا يمكن فيه للعمالقة الأجانب توسيع الفجوة ، فالعمالقة في الواقع لديهم القوة للقتال من أجل قوة الحوسبة.

بادئ ذي بدء ، فإن الشركات المحلية ذات الخوارزميات الأساسية هي في الواقع محدودة للغاية ؛ وثانيًا ، درجة تنظيف البيانات المحلية وتوجيهها ليست عالية في الواقع. في الأيام الأولى ، إذا استثمرت الشركة الكثير من القوة في معالجة البيانات المهيكلة ، فيمكنها في الواقع تعويض النقص في قوة الحوسبة والخوارزميات. ثالثًا ، تفتقر الدولة فعليًا إلى قوة الحوسبة على المدى القصير. لذلك ، ليس من السهل حاليًا الحكم على تأثير المصدر المفتوح LLama2 على المشهد المحلي.

إلى جانب ذلك ، في الدول الأجنبية ، يعتبر Google الرائد الحقيقي في الذكاء الاصطناعي التوليدي بأكمله ، ثم كاد يتحول إلى شهيد. ذلك لأن الورقة المصدر للذكاء الاصطناعي التوليدي بالكامل هي "الاهتمام هو كل ما تحتاجه" ، ومن ثم تضمين أول نموذج مفتوح المصدر T5 هو في الواقع Google. اعتادت Google أن تفخر بالحشد. بشكل غير متوقع ، قُتل حصان أسود ، OpenAI ، في وقت لاحق.كان أول GPT-1 و GPT-2 مفتوحين المصدر ، وكان GPT-3 مغلق المصدر بعد أن كان مفتوح المصدر. عندما تدخل OpenAI السوق ، فإن المصدر المفتوح هو الاتجاه السائد للذكاء الاصطناعي التوليدي بأكمله.

وجدت شركة OpenAI شركة Microsoft في هذا الوقت ، وتمتلك أيضًا قوة حوسبة باهظة الثمن ، وأصبحت منافسًا قويًا لـ Google. ابتداءً من عام 2022 ، سيبدأ سوق الذكاء الاصطناعي التوليدي في دخول نظام المصدر المغلق. أتقن OpenAI الخوارزمية ، وأضاف قوة الحوسبة والبيانات من Microsoft ، وحصل على المنتج من مصادر مغلقة ، وأصبح المنتج نجاحًا على مستوى الظاهرة ، واستفاد منه كل من Microsoft و OpenAI. أعتقد أنه عندما قررت Meta الدخول إلى هذا المجال لأول مرة ، من المقدر أنها درست بعناية تاريخ التطوير من البداية. الآن بعد أن انسحبت OpenAI من حقل المصدر المفتوح إلى المصدر المغلق ، سأستخدم طريقة المصدر المفتوح لهزيمة سحرك مرة أخرى.

قبل ذلك ، شهدت Meta أيضًا حيوية العديد من الشركات الصغيرة بعد المصدر المفتوح ، وخاصة Stability AI ، فهذه الشركة ليس لها أساس عميق ، ولا تزال الشركة لديها الكثير من الجدل.

أتذكر أن Llama1 قد أعلنت عن مصدرها المفتوح في مارس ، وفي ذلك الوقت ، قالت أيضًا إنها كانت "مفتوحة المصدر بطريق الخطأ". ثم قالت منظمة Stability AI أيضًا أنني سرّبت الكود عن طريق الخطأ ، لذلك كان أيضًا مفتوح المصدر. المسار العام هو أن Google وضعت لهجة المصدر المفتوح ، ثم أعادت OpenAI و Microsoft النظام إلى نظام مغلق المصدر ، ثم قامت Meta and Stability AI بوضعها في مصدر مفتوح مرة أخرى. أعتقد أنه في المستقبل ، ** افتح يجب أن يتأرجح المصدر والمصدر المغلق ، وسيتم تشكيل نمط من الألعاب والمنافسة المتبادلة في هذا المجال لفترة طويلة. **

** تقنية Tencent: هل Meta open source Llama2 هو الملاذ الأخير أم خيار استراتيجي نشط؟ **

جياو جوان: يجب أن يكون خيارًا استراتيجيًا نشطًا ، لأن المنافسين الرئيسيين الثلاثة في مجال AR ، Meta و Microsoft و Google ، كانوا يقاتلون منذ أكثر من عشر سنوات. أطلقت Meta بسرعة LLama2 ، على الأقل أسرع من Google. لن يؤدي اختيار المصدر المفتوح والمصدر المغلق إلى التخلص من بعض متطلبات المصلحة الأساسية ، لذلك أعتقد أنه قد لا يكون من المجدي تغيير نمط المنافسة تمامًا. والثاني هو أن الوضع المحلي مختلف ، لذا يجب ملاحظة نمط المنافسة المحلية مرة أخرى.

سواء كانت مفتوحة المصدر أو مغلقة المصدر ، فهي في الأساس خيار استراتيجي بين هذه الشركات حول العالم في مواجهة الفرص الكبيرة الجديدة. عند بذل الجهود لوضع الجبهة ، آمل أيضًا في التقاط المناطق النائية من Bier قدر الإمكان. لم تعد المنافسة بين الشركات العملاقة في الخارج بسيطة مثل تطوير منحنى النمو الثاني أو Nth. المنافسة شرسة وحاسمة ، حتى وإن كانت منقذة للحياة.

أعتقد أن هذا هو أكثر ما يستحق مناقشة الجميع: أي نوع من البيئة أو الخلفية وراء أفعالهم ، بحيث يجب عليهم القيام بذلك بطريقة حاسمة ، مثل سباق التسلح.

كانت هناك أيضًا بعض الأشياء الجديرة بالملاحظة التي حدثت مؤخرًا. تأسست شركة Musk's X-AI. تريد إعادة فهم العالم المادي الحقيقي. جميع العمالقة يحدقون في الإدراك الحقيقي للذكاء الاصطناعي العام. هذه الخريطة تكبر أكثر فأكثر. ومع ذلك ، يتطلب عالم الأعمال الجديد والمشهد التجاري الجديد دائمًا بعض التطبيقات والمنتجات الشعبية الجديدة لدفعه ، وقد يكون من الصعب تحقيق ذلك في عام 2023. يمكننا أن نضع أملنا في عام 2024 ، فربما تكون نظارات MR من Apple فرصة جديدة.

** Tencent Technology: لقد رأينا أيضًا أن اثنين من العمالقة الأجانب الآخرين ، Musk و Apple ، لم يعلنا عن تقدمهما في مجال النماذج الكبيرة ، ما رأيك في ذلك؟ **

جياو خوان: إنهم يتراجعون فقط في الوقت الحالي ، والشيء المؤكد هو أن ما يطلقونه لن يطلق عليه بالتأكيد نموذجًا كبيرًا. أعتقد أنه يمكننا التركيز على المستوى التالي ، الذكاء المتجسد. في هذا الاتجاه ، المسك هو الأقل قلقًا. تكمن أكبر ميزة لشركة Apple في الجمع بين البرامج والأجهزة.

Zhou Songtao: لقد اختبرناها بأنفسنا تقريبًا ، ويمكن لشريحة ** M2 التنافس مع بطاقات Nvidia من حيث قوة حوسبة النقطة العائمة. ** قد تتعامل Apple مع تكامل البرامج والأجهزة ، وهو أمر يتجاوز في الواقع المشهد التنافسي الحالي للنماذج الكبيرة.

أعتقد أن الذكاء المتجسد قد يكون علامة فارقة جديدة في تطوير الذكاء الاصطناعي العام في المستقبل ، لأنه بمجرد أن تتمتع بقدرة تفكير قوية ، سيتم توسيعها بالتأكيد إلى العالم المادي ، والنقطة الأساسية للتحكم في العالم المادي هو تضمينه في الجسم أو تضمينه في أجهزة استشعار في العالم المادي ، فهذا نظام يصبح ذكاءً متجسدًا. كما قال السيد Zhou للتو ، تحول هذا إلى سلسلة من شركات Musk.

عندما نجمع بين البرامج والأجهزة معًا لإلقاء نظرة على الذكاء الاصطناعي العام بأكمله ، ستجد أن مشهد المنافسة قد تغير مرة أخرى. لم يعد هناك تنافس بين Google و Meta و Open AI ، ولكن قد يكون هناك المزيد من شركات الأجهزة التي تنضم في.

** تقنية Tencent Technology: المصدر المفتوح التجاري لـ Llama2 ، هل من الممكن تقليل تكلفة بدء نموذج واسع النطاق؟ **

Zhou Songtao: لست متأكدًا من هذا الآن ، لأنه على الرغم من أنه يوفر تكلفة استئجار واجهات برمجة التطبيقات ، ستجد أن التخفيض الكبير في سعر OpenAI في 15 يونيو هو خصم بنسبة 10 ٪ تقريبًا ، لذا فإن نموذج المصدر المغلق يقاوم السعر أيضًا حرب. على العكس من ذلك ، إذا تم استخدام نموذج مفتوح المصدر ، فما مقدار تكلفة الأجهزة وتكلفة طاقة الحوسبة وتكلفة البيانات المطلوبة؟ يصعب تقدير التكاليف المخفية. أتحدث ببساطة من المصدر المفتوح لـ LLama2 ، أعتقد أنه ليس بالضرورة مسارًا لتوفير التكاليف لريادة الأعمال.

فيما يتعلق بتكلفة الاستدلال ، نقوم حاليًا بقياس ودمج مقالات التقييم للمختبرين الأجانب ، ووجدنا أنه بالنسبة لبعض الأنواع المحددة من مهام التفكير ، مثل التصنيف أو سير عمل langchain ، يتم تقليل كفاءة التفكير واستهلاك الوقت لـ Llama2 ، ولكن بالنسبة لأنواع أخرى من المهام ، ** إذا ما قورنت بإصدار اللقطة من GPT-3.5-turbo-0615 ، فقد لا يكون بالضرورة أرخص (فقط من حيث استهلاك طاقة الحوسبة الاستدلالية) ؛ ** الإصدار الأصلي الحالي بطلاقة ودقيقة في الفهم التعبير الصيني ، لكن التعبير الصيني يساوي 0 تقريبًا ، ** لذلك يجب على رواد الأعمال الصينيين الذين يرغبون في استخدام Llama2 بالكامل إنفاق الكثير من المال لحل الضبط الدقيق للتعبير الصيني أو توجيهه ، أو انتظار مجتمع المصادر المفتوحة لتقديم تعبير صيني الإصدار ... هذه التكلفة ليست منخفضة. **

بالإضافة إلى ذلك ، قد يتسبب المصدر التجاري المفتوح لـ ** Llama2 بالفعل في قيام مقدمي الخدمات على نطاق واسع ببدء حرب أسعار ، وهو ما يعد أخبارًا جيدة للمستخدمين ورجال الأعمال. **

جياو جوان: بصراحة ، ما زلت أتطلع إلى بعض نماذج الصناعة أو النماذج الرأسية في الصين. لقد اخترت شخصيًا عددًا قليلاً من الشركات الواعدة التي تتميز بالأداء القوي في هذه الصناعة والخبرة في التراكم المستمر للبيانات وبناء المنصات. بالإضافة إلى ذلك ، أعتقد أن هذه الجولة ليست مسألة ما إذا كانت التذكرة باهظة الثمن أم لا ، ولكن ما إذا كنت باهظ الثمن أم لا ، فالجميع يواجه تحولًا.