وفقا لتقارير وسائل الإعلام الأجنبية ، في يونيو من هذا العام ، جمعت شركة ميسترال الذكاء الاصطناعي الفرنسية الناشئة ، التي كان عمرها شهرا واحدا فقط ، 105 ملايين يورو في جولة تمويل أولية. في ذلك الوقت ، لم يكن لدى الشركة الناشئة ، التي أسسها موظف سابق في DeepMind وموظفان سابقان في Meta ، أي شيء لإصداره. عندما سمع الناس لأول مرة عن جمع ميسترال للتبرعات، أعربوا عن أسفهم لأن أصحاب رأس المال المغامر كانوا كرماء للغاية مع انفجار مساحة الذكاء الاصطناعي التوليدية.
كما اتضح فيما بعد ، كان لدى Mistral بالفعل الكثير من النقاط المضيئة التي أقنعت Lightspeed Ventures والملياردير الفرنسي Xavier Niel والرئيس التنفيذي السابق لشركة Google Eric Schmidt بالاستثمار فيها.
قبل أسبوع ، أصدرت ميسترال نموذجا من 7.3 مليار معلمة مصمم للتنافس مع Meta's Llama 2 ، وهو نموذج لغوي كبير يحتوي على 13 مليار معلمة. تدعي الشركة الفرنسية أنها أقوى نموذج لغوي في مجال نماذج اللغات الكبيرة اليوم.
النموذج الأساسي ، المسمى Mistral 7B ، هو نموذج محول مصمم للاستدلال السريع ومعالجة البيانات الأطول. يستخدم استخدام انتباه الاستعلام المجمع وانتباه النافذة المنزلقة لتحقيق ذلك. يجمع استخدام اهتمام الاستعلام المجمع بين الاستعلامات المتعددة وآلية الانتباه متعددة الرؤوس لتحقيق التوازن بين جودة الإخراج والسرعة. يزيد انتباه النافذة المنزلقة طول السياق بتغيير حجم النافذة. مع طول سياق يبلغ 8000 رمز مميز ، يتميز Mistral 7B بزمن انتقال منخفض وإنتاجية عالية وأداء عال مقارنة بالموديلات الأكبر.
تم دمج نموذج Mistral 7B الآن في أجهزة Vertex الذكاء الاصطناعي Notebooks من Google ، وهو تكامل يمنح عملاء Google Cloud نظرة ثاقبة على سير عمل شامل من البداية إلى النهاية ، مما يمكنهم من تجربة Mistral-7B ومتغيراته وضبطها ونشرها على أجهزة الكمبيوتر المحمولة Vertex الذكاء الاصطناعي.
يمكن لمستخدمي Mistral الذكاء الاصطناعي تحسين نماذجهم باستخدام vLLM ، وهو إطار خدمة فعال لنموذج اللغة الكبيرة. باستخدام دفاتر ملاحظات Vertex الذكاء الاصطناعي، يمكن للمستخدمين نشر صور vLLM التي تحتفظ بها Model Garden على نقاط نهاية Vertex الذكاء الاصطناعي للاستدلال، مما يضمن نشر النموذج بشكل مبسط.
ومن السمات الرئيسية لهذا التعاون سجل نماذج الذكاء الاصطناعي Vertex ، وهو مستودع مركزي يمكن المستخدمين من إدارة دورة حياة نماذج Mistral الذكاء الاصطناعي ونماذجها الدقيقة. يوفر السجل للمستخدمين عرضا شاملا لقدرات التنظيم والتتبع المحسنة لنماذجهم.
كما يتضح من عرض الشركة ، وضعت ميسترال نفسها بذكاء كلاعب محتمل مهم. وسيساعد أوروبا على أن تصبح "منافسا قويا" في بناء نماذج الذكاء الاصطناعي تأسيسية ولعب "دور مهم في القضايا الجيوسياسية".
في الولايات المتحدة ، يتم دعم الشركات الناشئة التي تركز على منتجات الذكاء الاصطناعي بشكل أساسي من قبل شركات كبيرة مثل Google و Microsoft. يسمي ميسترال هذا "النهج المغلق للتكنولوجيا" الذي يسمح للشركات الكبرى بجني المزيد من المال ، لكنه لا يشكل حقا مجتمعا مفتوحا.
على عكس نموذج GPT الخاص ب OpenAI ، حيث تظل تفاصيل الكود سرية ومتاحة فقط من خلال واجهات برمجة التطبيقات ، قامت الشركة التي تتخذ من باريس مقرا لها بفتح نموذجها الخاص على GitHub بموجب ترخيص Apache 2.0 ، مما يجعله مجانيا للجميع لاستخدامه.
تستهدف Mistral Lama من Meta ، بينما تدعي Mistral أن منتجها النموذجي الكبير أقوى من Llama 2.
نموذج ميسترال مقابل اللاما 2
وقال ميسترال في تقرير إن ميسترال 7B تغلب بسهولة على نماذج اللاما 2 البالغة 7 مليارات و 13 مليار معلمة في معايير متعددة.
في اختبارات فهم اللغة واسعة النطاق ومتعددة المهام التي تغطي الرياضيات والتاريخ والقانون وغيرها من المواد ، حقق نموذج ميسترال دقة بنسبة 60.1٪ ، في حين حقق نموذج اللاما 2 معدل دقة 44٪ و 55٪ ل 7 مليارات و 13 مليار معلمة ، على التوالي.
في منطق الحس السليم ومعايير فهم القراءة ، تفوق ميسترال أيضا على نموذج اللاما 2.
فقط من حيث الترميز ، يتخلف ميسترال عن ميتا. كان Mistral 7B دقيقا بنسبة 30.5٪ و 47.5٪ في معياري "الإنسان" و "MBPP" ، في حين كان وضع اللاما 2 البالغ 7 مليارات دقيقا بنسبة 31.1٪ و 52.5٪ على التوالي.
بالإضافة إلى الأداء ، تدعي ميسترال أنها تستخدم حسابات أقل من اللاما 2. في معيار MMLU ، كان إنتاج نموذج ميسترال أكثر من ثلاثة أضعاف إنتاج اللاما 2 على نفس المقياس. إذا ما قورنت ب ChatGPT ، وفقا لحسابات الوسيط ، فإن تكلفة استخدام الذكاء الاصطناعي Mistral أرخص بحوالي 187 مرة من GPT 4 وحوالي 9 مرات أرخص من طراز GPT 3.5.
كيفية تقييد النماذج الكبيرة؟ هذه مشكلة
ومع ذلك ، قال ميسترال أيضا أن بعض المستخدمين اشتكوا من أنه يفتقر إلى الحماية الأمنية التي تتمتع بها ChatGPT و Bard و Llama. سأل المستخدمون نموذج قيادة ميسترال عن كيفية صنع قنبلة أو إيذاء النفس ، وأعطت روبوتات المحادثة تعليمات مفصلة.
أعرب بول روتجر ، الباحث الأمني الذكاء الاصطناعي الذي عمل سابقا على إعداد الحماية ل GPT-4 قبل إصداره ، عن "صدمته" من افتقار Mistral 7B للأمن في تغريدة. "من النادر أن نرى نموذجا جديدا يستجيب حتى لأكثر التعليمات الخبيثة بهذه السهولة. أنا متحمس جدا لظهور نماذج كبيرة مفتوحة المصدر ، لكن هذا لا ينبغي أن يحدث! قال.
دفعت هذه الانتقادات ميسترال إلى ضبط النموذج وشرحه. "لقد أظهر نموذج Mistral 7B Instruct قدراته ، مما يسمح للناس برؤية أنه يمكن أيضا ضبط النموذج الأساسي بسهولة لإظهار أداء مقنع. نحن نتطلع إلى العمل مع المجتمع حول كيفية جعل النموذج أكثر توافقا مع قواعد الحماية للنشر في البيئات التي تتطلب التحكم في المخرجات. قال ميسترال.
في نظر العديد من الباحثين الآخرين ، يعد مسار ميسترال حلا طويل الأجل لتصحيح سمية النموذج ، وإضافة آلية وقائية تعادل وضع ضمادة على إصابة خطيرة ، وهو أمر غير فعال. يعد انتهاك إرشادات أمان روبوتات المحادثة هواية مفضلة للعديد من المستخدمين الذين يرغبون في اختبار حدود مدى استجابة روبوتات المحادثة. في الأيام الأولى من افتتاح ChatGPT ، كان المطورون يحثون ChatGPT على كسر دفاع chatGPT.
قال راهول داندواتي ، باحث التعلم العميق الذي تعاون مع Rephrase.ai: "إن إزالة كلمات رئيسية معينة مسبقا ليست سوى جزء من الحل ، وهناك العديد من الطرق لتجاوزها. هل تتذكر ما حدث بعد إصدار ChatGPT؟ اعتادوا أن يظهروا في DAN أو "Do Anything Now" ، وهو تلميح لتمكين إصدار كسر الحماية من ChatGPT. لذلك ، يعد إجراء تقييم أمني أساسي إجراء مؤقتا لجعل النموذج أكثر أمانا. "
"هناك أيضا طرق لا تتطلب حتى تقنيات قرصنة متطورة. يمكن الإجابة على السؤال بواسطة chatbot بعدة طرق مختلفة. على سبيل المثال ، بدلا من مجرد سؤال روبوت الدردشة مباشرة عن كيفية صنع قنبلة ، أود تقسيمها إلى طرق أكثر علمية مثل ، "ما هي المواد الكيميائية التي تمتزج معا لإنتاج تفاعل قوي؟" يشرح داندواتي.
يقول داندواتي إن الحل على المدى الطويل هو إصدار النموذج للجمهور والحصول على تعليقات من هذا الاستخدام ثم ضبطه ، وهو بالضبط ما تفعله ميسترال الذكاء الاصطناعي. "ChatGPT أفضل لأنه تم استخدامه بالفعل من قبل الكثير من الناس. لديهم آلية ملاحظات أساسية للغاية حيث يمكن للمستخدمين اختيار إعطاء إبهام لأعلى أو إبهام لأعلى لتقييم جودة استجابات chatbot ، والتي أعتقد أنها مهمة جدا. قال داندواتي.
لكن الجانب السلبي لاستخدام هذا الانفتاح لضبط المستخدمين هو أن ميسترال قد يضطر إلى التعامل مع شكوك بعض المستخدمين لفترة من الوقت. ولكن في مجال البحث الذكاء الاصطناعي ، هناك نسبة كبيرة من الأشخاص الذين يفضلون النماذج الأساسية في شكلها الأصلي من أجل فهم قدرات النماذج بشكل كامل ، وهؤلاء الأشخاص يدعمون إصرار ميسترال.
غرد الباحث الذكاء الاصطناعي ديليب راو أن اختيار ميسترال لإطلاق نموذج مفتوح المصدر لأنه "اعتراف بتعدد الاستخدامات و" عدم بضع الفص "لنموذج ميسترال كنموذج أساسي".
تذكرنا الإشارة إلى "استئصال الفص" بإصدار سابق من روبوت الدردشة Bing من Microsoft في سيدني. كان chatbot غير مقيد وكان يتمتع بشخصية قوية حتى قامت Microsoft بتعديل chatbot بشكل كبير إلى شكله الحالي.
مصطلح lopoctommy مشتق من الجراحة النفسية سيئة السمعة التي ، في مجال النماذج الكبيرة ، غالبا ما تشير إلى منع الاستجابات السامة عن طريق الحد من الوظيفة. يقوم هذا النهج بتصفية الاستجابات الخطيرة عن طريق تعيين كلمات رئيسية للنماذج الكبيرة. لكن هذا النهج الواحد الذي يناسب الجميع يمكن أن يؤدي أيضا إلى تدهور الأداء للنماذج الكبيرة ، مما يجعل من الصعب الإجابة على بعض الأسئلة العادية التي تنطوي على مفردات حساسة.
على الرغم من أن الشركة لم تصدر بيانا رسميا ، إلا أن هناك شائعات بأن OpenAI أجرى "استئصال الفص" على النموذج للتحكم في أجزائه الفوضوية. منذ ذلك الحين ، تساءل الناس عما ستصبح عليه روبوتات المحادثة إذا تركت تعمل بحرية.
قال داندواتي: "قد يؤثر إجراء بضع الفص على النموذج عليه من بعض النواحي. إذا تم منعه من الإجابة على الأسئلة بكلمات رئيسية معينة ، فقد لا يتمكن أيضا من الإجابة على الأسئلة الفنية التي قد يطرحها المستخدمون ، مثل ميكانيكا الصواريخ ، أو أي أسئلة علمية أخرى تثار حول الموضوعات التي توصف فيها الروبوتات بأنها "معرضة للخطر". (ترجمة/لو كي)
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
بالاعتماد على PPT لجمع 1 مليار ، أطلقت شركة الذكاء الاصطناعي الفرنسية الناشئة على Microsoft Google
** جمعها لو كه **
وفقا لتقارير وسائل الإعلام الأجنبية ، في يونيو من هذا العام ، جمعت شركة ميسترال الذكاء الاصطناعي الفرنسية الناشئة ، التي كان عمرها شهرا واحدا فقط ، 105 ملايين يورو في جولة تمويل أولية. في ذلك الوقت ، لم يكن لدى الشركة الناشئة ، التي أسسها موظف سابق في DeepMind وموظفان سابقان في Meta ، أي شيء لإصداره. عندما سمع الناس لأول مرة عن جمع ميسترال للتبرعات، أعربوا عن أسفهم لأن أصحاب رأس المال المغامر كانوا كرماء للغاية مع انفجار مساحة الذكاء الاصطناعي التوليدية.
قبل أسبوع ، أصدرت ميسترال نموذجا من 7.3 مليار معلمة مصمم للتنافس مع Meta's Llama 2 ، وهو نموذج لغوي كبير يحتوي على 13 مليار معلمة. تدعي الشركة الفرنسية أنها أقوى نموذج لغوي في مجال نماذج اللغات الكبيرة اليوم.
النموذج الأساسي ، المسمى Mistral 7B ، هو نموذج محول مصمم للاستدلال السريع ومعالجة البيانات الأطول. يستخدم استخدام انتباه الاستعلام المجمع وانتباه النافذة المنزلقة لتحقيق ذلك. يجمع استخدام اهتمام الاستعلام المجمع بين الاستعلامات المتعددة وآلية الانتباه متعددة الرؤوس لتحقيق التوازن بين جودة الإخراج والسرعة. يزيد انتباه النافذة المنزلقة طول السياق بتغيير حجم النافذة. مع طول سياق يبلغ 8000 رمز مميز ، يتميز Mistral 7B بزمن انتقال منخفض وإنتاجية عالية وأداء عال مقارنة بالموديلات الأكبر.
تم دمج نموذج Mistral 7B الآن في أجهزة Vertex الذكاء الاصطناعي Notebooks من Google ، وهو تكامل يمنح عملاء Google Cloud نظرة ثاقبة على سير عمل شامل من البداية إلى النهاية ، مما يمكنهم من تجربة Mistral-7B ومتغيراته وضبطها ونشرها على أجهزة الكمبيوتر المحمولة Vertex الذكاء الاصطناعي.
ومن السمات الرئيسية لهذا التعاون سجل نماذج الذكاء الاصطناعي Vertex ، وهو مستودع مركزي يمكن المستخدمين من إدارة دورة حياة نماذج Mistral الذكاء الاصطناعي ونماذجها الدقيقة. يوفر السجل للمستخدمين عرضا شاملا لقدرات التنظيم والتتبع المحسنة لنماذجهم.
كما يتضح من عرض الشركة ، وضعت ميسترال نفسها بذكاء كلاعب محتمل مهم. وسيساعد أوروبا على أن تصبح "منافسا قويا" في بناء نماذج الذكاء الاصطناعي تأسيسية ولعب "دور مهم في القضايا الجيوسياسية".
على عكس نموذج GPT الخاص ب OpenAI ، حيث تظل تفاصيل الكود سرية ومتاحة فقط من خلال واجهات برمجة التطبيقات ، قامت الشركة التي تتخذ من باريس مقرا لها بفتح نموذجها الخاص على GitHub بموجب ترخيص Apache 2.0 ، مما يجعله مجانيا للجميع لاستخدامه.
تستهدف Mistral Lama من Meta ، بينما تدعي Mistral أن منتجها النموذجي الكبير أقوى من Llama 2.
نموذج ميسترال مقابل اللاما 2
وقال ميسترال في تقرير إن ميسترال 7B تغلب بسهولة على نماذج اللاما 2 البالغة 7 مليارات و 13 مليار معلمة في معايير متعددة.
في اختبارات فهم اللغة واسعة النطاق ومتعددة المهام التي تغطي الرياضيات والتاريخ والقانون وغيرها من المواد ، حقق نموذج ميسترال دقة بنسبة 60.1٪ ، في حين حقق نموذج اللاما 2 معدل دقة 44٪ و 55٪ ل 7 مليارات و 13 مليار معلمة ، على التوالي.
في منطق الحس السليم ومعايير فهم القراءة ، تفوق ميسترال أيضا على نموذج اللاما 2.
فقط من حيث الترميز ، يتخلف ميسترال عن ميتا. كان Mistral 7B دقيقا بنسبة 30.5٪ و 47.5٪ في معياري "الإنسان" و "MBPP" ، في حين كان وضع اللاما 2 البالغ 7 مليارات دقيقا بنسبة 31.1٪ و 52.5٪ على التوالي.
كيفية تقييد النماذج الكبيرة؟ هذه مشكلة
ومع ذلك ، قال ميسترال أيضا أن بعض المستخدمين اشتكوا من أنه يفتقر إلى الحماية الأمنية التي تتمتع بها ChatGPT و Bard و Llama. سأل المستخدمون نموذج قيادة ميسترال عن كيفية صنع قنبلة أو إيذاء النفس ، وأعطت روبوتات المحادثة تعليمات مفصلة.
أعرب بول روتجر ، الباحث الأمني الذكاء الاصطناعي الذي عمل سابقا على إعداد الحماية ل GPT-4 قبل إصداره ، عن "صدمته" من افتقار Mistral 7B للأمن في تغريدة. "من النادر أن نرى نموذجا جديدا يستجيب حتى لأكثر التعليمات الخبيثة بهذه السهولة. أنا متحمس جدا لظهور نماذج كبيرة مفتوحة المصدر ، لكن هذا لا ينبغي أن يحدث! قال.
دفعت هذه الانتقادات ميسترال إلى ضبط النموذج وشرحه. "لقد أظهر نموذج Mistral 7B Instruct قدراته ، مما يسمح للناس برؤية أنه يمكن أيضا ضبط النموذج الأساسي بسهولة لإظهار أداء مقنع. نحن نتطلع إلى العمل مع المجتمع حول كيفية جعل النموذج أكثر توافقا مع قواعد الحماية للنشر في البيئات التي تتطلب التحكم في المخرجات. قال ميسترال.
في نظر العديد من الباحثين الآخرين ، يعد مسار ميسترال حلا طويل الأجل لتصحيح سمية النموذج ، وإضافة آلية وقائية تعادل وضع ضمادة على إصابة خطيرة ، وهو أمر غير فعال. يعد انتهاك إرشادات أمان روبوتات المحادثة هواية مفضلة للعديد من المستخدمين الذين يرغبون في اختبار حدود مدى استجابة روبوتات المحادثة. في الأيام الأولى من افتتاح ChatGPT ، كان المطورون يحثون ChatGPT على كسر دفاع chatGPT.
قال راهول داندواتي ، باحث التعلم العميق الذي تعاون مع Rephrase.ai: "إن إزالة كلمات رئيسية معينة مسبقا ليست سوى جزء من الحل ، وهناك العديد من الطرق لتجاوزها. هل تتذكر ما حدث بعد إصدار ChatGPT؟ اعتادوا أن يظهروا في DAN أو "Do Anything Now" ، وهو تلميح لتمكين إصدار كسر الحماية من ChatGPT. لذلك ، يعد إجراء تقييم أمني أساسي إجراء مؤقتا لجعل النموذج أكثر أمانا. "
يقول داندواتي إن الحل على المدى الطويل هو إصدار النموذج للجمهور والحصول على تعليقات من هذا الاستخدام ثم ضبطه ، وهو بالضبط ما تفعله ميسترال الذكاء الاصطناعي. "ChatGPT أفضل لأنه تم استخدامه بالفعل من قبل الكثير من الناس. لديهم آلية ملاحظات أساسية للغاية حيث يمكن للمستخدمين اختيار إعطاء إبهام لأعلى أو إبهام لأعلى لتقييم جودة استجابات chatbot ، والتي أعتقد أنها مهمة جدا. قال داندواتي.
لكن الجانب السلبي لاستخدام هذا الانفتاح لضبط المستخدمين هو أن ميسترال قد يضطر إلى التعامل مع شكوك بعض المستخدمين لفترة من الوقت. ولكن في مجال البحث الذكاء الاصطناعي ، هناك نسبة كبيرة من الأشخاص الذين يفضلون النماذج الأساسية في شكلها الأصلي من أجل فهم قدرات النماذج بشكل كامل ، وهؤلاء الأشخاص يدعمون إصرار ميسترال.
غرد الباحث الذكاء الاصطناعي ديليب راو أن اختيار ميسترال لإطلاق نموذج مفتوح المصدر لأنه "اعتراف بتعدد الاستخدامات و" عدم بضع الفص "لنموذج ميسترال كنموذج أساسي".
تذكرنا الإشارة إلى "استئصال الفص" بإصدار سابق من روبوت الدردشة Bing من Microsoft في سيدني. كان chatbot غير مقيد وكان يتمتع بشخصية قوية حتى قامت Microsoft بتعديل chatbot بشكل كبير إلى شكله الحالي.
مصطلح lopoctommy مشتق من الجراحة النفسية سيئة السمعة التي ، في مجال النماذج الكبيرة ، غالبا ما تشير إلى منع الاستجابات السامة عن طريق الحد من الوظيفة. يقوم هذا النهج بتصفية الاستجابات الخطيرة عن طريق تعيين كلمات رئيسية للنماذج الكبيرة. لكن هذا النهج الواحد الذي يناسب الجميع يمكن أن يؤدي أيضا إلى تدهور الأداء للنماذج الكبيرة ، مما يجعل من الصعب الإجابة على بعض الأسئلة العادية التي تنطوي على مفردات حساسة.
على الرغم من أن الشركة لم تصدر بيانا رسميا ، إلا أن هناك شائعات بأن OpenAI أجرى "استئصال الفص" على النموذج للتحكم في أجزائه الفوضوية. منذ ذلك الحين ، تساءل الناس عما ستصبح عليه روبوتات المحادثة إذا تركت تعمل بحرية.
قال داندواتي: "قد يؤثر إجراء بضع الفص على النموذج عليه من بعض النواحي. إذا تم منعه من الإجابة على الأسئلة بكلمات رئيسية معينة ، فقد لا يتمكن أيضا من الإجابة على الأسئلة الفنية التي قد يطرحها المستخدمون ، مثل ميكانيكا الصواريخ ، أو أي أسئلة علمية أخرى تثار حول الموضوعات التي توصف فيها الروبوتات بأنها "معرضة للخطر". (ترجمة/لو كي)