لقد غادرت معظم الأعمال الأصلية الأساسية لـ LLaMA، وتم الكشف عن القصة الداخلية لـ Meta AI! أثناء التنافس على قوة الحوسبة التي تمزق الوجوه، قام أعضاء فريق النماذج الكبيرة بتغيير ثلاث جولات متتالية

المصدر الأصلي: Xinzhiyuan

مصدر الصورة: تم إنشاؤها بواسطة Unbounded AI‌

في الأشهر الستة الماضية، أدى انفجار ChatGPT إلى جعل Meta غير قادرة على الجلوس ساكنة.

بدءًا من إصدار سلسلة النماذج واسعة النطاق مفتوحة المصدر LLaMA في فبراير، وحتى ترقية Llama 2، ثم إلى نموذج الترميز Code Llama، يمكن القول أن Meta تراهن بكل شيء على ALL IN AI.

في مجتمع المصادر المفتوحة، أدى البحث المجاني والاستخدام التجاري لنماذج سلسلة Llama إلى إشعال انقسام النماذج البديلة بشكل مباشر.

ومع ذلك، بينما يتمتع ميتا بالمجد، يواجه فريق الذكاء الاصطناعي موجة من الاستقالات.

أفادت المعلومات حصريًا أن معظم أعضاء فريق مشروعي LLaMA وOPT قد استقالوا بسبب نزاعات داخلية حول قوة الحوسبة.

حتى أن Meta تخلت بشكل مباشر عن النموذج الذي كانت تطوره لمنافسة PaLM، وأعادت تنظيم فريقي مختبر Meta AI للتركيز على تطوير Llama 2.

لقد كشف رحيل معظم الباحثين في شركة Meta أن النقص في قوة الحوسبة هو المشكلة الأساسية لتخطيط الذكاء الاصطناعي التوليدي.

أوراق LLaMA تضم 14 مؤلفًا، نصفهم يغادرون

بالنسبة للعالم الخارجي، يمتلك عمالقة التكنولوجيا موارد حاسوبية أكثر من معظم الشركات. تؤكد بعض الشركات، بما في ذلك شركة Meta، باستمرار على أنها "غنية بوحدة معالجة الرسومات" عند توظيف باحثين في مجال الذكاء الاصطناعي.

لكن في الواقع، أعلم جيدًا أن إمدادات موارد الحوسبة لدى Meta محدودة أيضًا.

ونتيجة لذلك، بدأت نزاعات حول قوة الحوسبة داخل الفريق الداخلي، مما دفع العديد من الأشخاص إلى التخلي عن ميتا.

على وجه التحديد، استقال أكثر من نصف المؤلفين الأربعة عشر لنموذج الجيل الأول من LLaMA الذي تم إصداره في فبراير من هذا العام.

وتحول البعض إلى شركات الذكاء الاصطناعي الناشئة، بينما انضم آخرون إلى عمالقة التكنولوجيا.

عنوان الورقة:

ومن بين العلماء والمهندسين الباحثين الذين يغادرون ميتا تيموثي لاكروا، وغيوم لامبل، وماري آن لاشو، المؤلفون المشاركون لورقة LLaMA الأصلية.

وهم يعملون الآن في شركة Mistral AI الفرنسية الناشئة، والتي شارك لاكروا ولامبل في تأسيسها في يونيو.

أحد المؤلفين، أرماند جولين، مدير الأبحاث في Meta AI، غادر Meta في مايو وانضم الآن إلى Apple.

قالت جويل بينو، رئيسة "أبحاث الذكاء الاصطناعي الأساسية" في مختبر أبحاث الذكاء الاصطناعي ميتا، في مقابلة:

ربما يكون الاحتفاظ بالأشخاص العظماء وجذبهم هو المكان الذي أقضي فيه معظم الوقت لأنني لا أستطيع فعل أي شيء بدون باحثين عظماء.

إن موجة المغادرين التي تواجهها شركة ميتا تسلط الضوء على التحدي الذي تواجهه شركات التكنولوجيا الكبرى للتعامل مع الزيادة في الطلب على مواهب الذكاء الاصطناعي.

وفي الموجة الحالية من النماذج الكبيرة، تحرص شركات التكنولوجيا الكبرى على دمج الذكاء الاصطناعي في منتجاتها وخدماتها خوفا من التخلف عن الركب.

وفقاً لكايل لانغورثي، المدير التنفيذي في شركة ريفييرا بارتنرز، فإن الشركات "المتعطشة للمواهب" تصطف لاصطياد باحثي الذكاء الاصطناعي في شركة ميتا.

في فبراير، بعد إطلاق LLaMA الذي أشعل حماس المجتمع، أعلن Xiao Zha ذات مرة عن الخطوة الكبيرة التي اتخذتها الشركة بين عشية وضحاها: إنشاء فريق منتج كبير للتركيز على AIGC.

باختصار، يضع Xiao Zha تركيز Meta الأساسي في المستقبل على الذكاء الاصطناعي التوليدي في محاولة للحاق بالمنافسين مثل Google وMicrosoft وOpenAI.

كما تم وضع "metaverse" الذي كان All In في عام 2021 في مكان ثانوي.

بعد ذلك مباشرة، أصدرت Meta أحدث الأبحاث في مجال الذكاء الاصطناعي من وقت لآخر وفتحت مصادرها، بما في ذلك النموذج المرئي العام SAM "Split Everything"، ونماذج الذكاء الاصطناعي متعددة الوسائط ImageBind، وLlama2، وCode Llama، وما إلى ذلك.

بمجرد إصدار هذه الدراسات، أثارت استجابة كبيرة في مجتمع المصادر المفتوحة وحظيت بالثناء بالإجماع.

والآن، ومع فقدان الباحثين ذوي الخبرة، تواجه ميتا عقبة أخرى في اللحاق بمنافسيها.

إذًا، ما الذي حدث بالضبط ليجعل هؤلاء الباحثين الكبار يغادرون بغضب؟

معركة القوة الحاسوبية بين LLaMA وOPT

في عام 2013، بعد انضمام Yann LeCun إلى Meta، قام بتأسيس مختبر أبحاث الذكاء الاصطناعي Meta AI (FAIR سابقًا) عندما شغل منصب مدير أبحاث الذكاء الاصطناعي.

بالإضافة إلى مختبراتها الرئيسية في مينلو بارك، وكاليفورنيا، ونيويورك (حيث يوجد مقر LeCun)، تمتلك Meta AI أيضًا مكاتب في مونتريال (حيث يوجد مقر Pineau)، وباريس، ولندن، وسياتل.

إن إنشاء مختبر Meta AI مخصص بشكل أساسي لأبحاث الذكاء الاصطناعي، وتطبيق الذكاء الاصطناعي على سيناريوهات مختلفة مثل الترجمة والمسح بالرنين المغناطيسي.

ومع ذلك، بعد ظهور ChatGPT، أصبح المسؤولون التنفيذيون في الشركة أكثر حرصًا على دمج الذكاء الاصطناعي في المنتجات بشكل أعمق.

في الواقع، كانت Meta تعمل على تطوير LLM الخاصة بها قبل إصدار ChatGPT.

في مايو 2022، أعلن فريق Meta AI في أمريكا الشمالية عن النموذج الكبير OPT-175B وفتحه.

يدعي ميتا أن هذا النموذج يستهلك طاقة أقل من GPT-3، على الرغم من أن النموذجين يتعلمان نفس المقدار من الناحية الكمية أثناء التدريب.

وبعد بضعة أشهر، بدأ الفريق العمل على نموذج ثانٍ أكبر مصممًا للتنافس مع PaLM من Google.

وفي الوقت نفسه، بدأ فريق Meta AI آخر مقره في باريس العمل على نموذج لغة كبير منفصل، أو LLaMA.

قال أشخاص مطلعون على الأمر أن هذا النموذج أصغر من OPT. يعتقد فريق البحث أن النماذج الأصغر ستكون أكثر كفاءة في الاستدلال.

ثم جاءت المشكلة، فبدأت فرق المختبرين في أمريكا الشمالية وباريس معركة على موارد الطاقة الحاسوبية، مما أدى إلى اشتداد الخلافات بين الفرق الداخلية.

على وجه الخصوص، شعر فريق LLaMA بالإهمال، وكانت نماذجهم صغيرة، ولكنها تلقت موارد حاسوبية أقل بكثير من فريق OPT في أمريكا الشمالية.

وقالت جويل بينو، رئيسة "أبحاث الذكاء الاصطناعي الأساسية":

يتم اتخاذ القرارات المتعلقة بكيفية تخصيص موارد الحوسبة في Meta مرة واحدة شهريًا تقريبًا بواسطة مجموعة من القادة من مختلف أقسام العمل. يعتمد المبلغ الذي سيتم تخصيصه في النهاية ولمن على الأولويات التنظيمية وعلى مدى بعد المشروع عن الإصدار.

إذا كان هناك خلاف حول تخصيص موظفي Meta AI، فسيتم رفعه إلى الرئيس وهو مستوى Pineau للمعالجة.

في المقابلة، اعترف بينو بوجود بعض التوتر بين فريقي LLaMA وOPT حول توزيع قوة الحوسبة، مضيفًا: "نحن نحاول إيجاد طريقة للاستماع إلى صوت الجميع، حتى لو لم نتمكن من تلبية احتياجات الجميع".

بالنسبة لبعض الباحثين، يبدو الأمر وكأنه منافسة.

يتساءل بعض المديرين التنفيذيين في Meta AI أيضًا عن سبب عمل الفريقين في مشاريع مماثلة ولكنهم يتنافسون مع بعضهم البعض على موارد محدودة.

** فبراير التغيير الكبير **

وصلت التوترات بين الفريقين إلى ذروتها في فبراير من هذا العام.

في هذا الشهر فقط، ومن أجل اللحاق بالمنافسين، أصدرت Meta AI LLaMA كنموذج مفتوح المصدر لأول مرة، وترخيصه لأغراض البحث.

في الواقع، غادر أنطوان بورديس، المدير المشارك لشركة Meta AI ورئيس فرع باريس، ميتا قبل أسبوع من الإصدار، وكان سبب رحيله هو أن ساعات العمل كانت مرهقة كما هو الحال في كاليفورنيا.

الآن، انضم بوردس إلى شركة الذكاء الاصطناعي هيلسينج.

وقال الناس إن رحيله يزيد من عزل فريق LLaMA عن المديرين التنفيذيين في أمريكا الشمالية. بالإضافة إلى ذلك، أقر بينو بأن رحيل بورديس "خلق بعض عدم اليقين" بالنسبة للفريق.

لا يتعلق الأمر فقط بمعنويات البحث في فريق LLaMA، وفي الوقت نفسه، كان فريق OPT يواجه الاستنزاف خلال الأشهر القليلة الماضية.

يقال أن النموذج الأكبر الذي طوره فريق OPT قد تم التخلي عنه مباشرة بواسطة Meta. ليس من الصعب أن نفهم أن فقدان موظفي الأراضي الفلسطينية المحتلة يرتبط ارتباطًا مباشرًا بهذا القرار.

وفقًا لملف لينكد إن الخاص بمؤلف الدراسة، فإن نصف المؤلفين التسعة عشر لأوراق OPT قد غادروا ميتا.

عنوان الورقة:

قال بينو، رئيس "أبحاث الذكاء الاصطناعي الأساسي"، بلا حول ولا قوة: "عندما ترغب جميع الفرق في ترقية النموذج في هذا الوقت، عليك إما اختيار واحد منهم، أو السماح لهم بالتعاون".

إعادة تنظيم الفريق، تحديد المواقع غير واضح

وبينما كان كل هذا يحدث، كانت Meta AI غارقة أيضًا في التغييرات المتكررة للشركة.

منذ نوفمبر من العام الماضي، نفذ شياو تشا عدة عمليات تسريح للعمال على مستوى الشركة. من بينها، لم يتم إنقاذ Meta AI.

في فبراير من هذا العام، قرر قادة Meta AI جمع بعض أعضاء فريقي LLaMA وOPT المتنافسين لتأسيس فريق "Generative AI" رسميًا (بقيادة المدير التنفيذي السابق لشركة Apple أحمد الدحلة)، والذي تم نقله أيضًا من Meta AI A. عدد كبير من الناس.

في الواقع، يمكننا أن نرى العديد من مؤلفي LLaMA وOPT في ورقة Llama 2.

على سبيل المثال، في فريق OPT، انضم مويا تشين وتودور ميهايلوف وبونيت سينغ كورا إلى فريق "الذكاء الاصطناعي التوليدي".

في فريق LLaMA من الجيل الأول، انضم هوغو توفرون، وتيبو لافريل، وكزافييه مارتينيت، وماري آن لاشو، ونامان جويال، وأوريلين رودريغيز إلى فريق "الذكاء الاصطناعي التوليدي".

ومن المثير للاهتمام، في اعترافات Llama 2، أن ثلاثة من الفرق الأربعة المذكورة التي بدأت هذا البحث لأول مرة قد استقالت، ولم يبق هناك سوى Edouard Grave.

على الرغم من نجاح نموذج LLaMA مفتوح المصدر الشهير، إلا أن التوترات بين الباحثين لا تزال تتصاعد مع استمرار تغير موقف ميتا تجاه أبحاث الذكاء الاصطناعي.

تتمتع Meta AI تقليديًا بثقافة تصاعدية يقودها الباحثون، مما يسمح للفريق بالتركيز على مجال الذكاء الاصطناعي وتحقيق اختراقات فيه.

ولكن مع ميل شياو تشا أكثر فأكثر إلى دمج الذكاء الاصطناعي في تطبيقات ميتا، ضاقت تركيز ميتا إيه آي أيضًا - حيث تم حل الأبحاث التي لم تكن موجهة نحو المنتج، مثل طي البروتين.

في الوقت نفسه، فإن المشاريع الجديدة أيضًا "تقفز بشكل متكرر" بين فريق الذكاء الاصطناعي التوليدي وMeta AI.

على سبيل المثال، Llama 2، التي أصدرتها Meta في يوليو، وCode Llama، المتخصصة في إنشاء الأكواد، والتي صدرت في أغسطس، مسؤولتان على التوالي عن فريقين.

وفي هذا الصدد، قال بينو: "هذا المجال يتطور بسرعة كبيرة، وما زلنا نستكشف أي مشروع يجب أن يكون مسؤولاً عن Meta AI؟ أي مشروع يجب أن يكون مسؤولاً عن فريق الذكاء الاصطناعي التوليدي؟"

أمام المسرح، يكون النموذج مفتوح المصدر مشرقًا وجميلًا، ولكن خلف الكواليس، أدت موجة استقالات الباحثين في مجال الذكاء الاصطناعي، والنزاعات حول قوة الحوسبة، وإعادة تنظيم الفريق إلى جلب العديد من الشكوك حول جهود ميتا للحاق بمنافسيها في منظمة العفو الدولية.

مراجع:

شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • مشاركة
تعليق
0/400
لا توجد تعليقات
  • تثبيت