مصدر الصورة: تم إنشاؤه بواسطة الذكاء الاصطناعي غير محدود
تكلفة التدريب والتشغيل للنماذج الكبيرة مرتفعة للغاية ، وقد حاول OpenAI أيضا تقليل التكاليف ، لكنه فشل للأسف.
في أواخر العام الماضي ، عندما أصبح ChatGPT ضجة عالمية ، بدأ مهندسو OpenAI العمل على نموذج الذكاء الاصطناعي جديد ، يحمل الاسم الرمزي Arrakis. يهدف Arrakis إلى تمكين OpenAI من تشغيل روبوتات المحادثة بتكلفة أقل.
ولكن وفقا لأشخاص مطلعين على الأمر: في منتصف عام 2023 ، ألغت OpenAI إصدار Arrakis لأن النموذج لا يعمل بكفاءة كما توقعت الشركة.
هذا الفشل يعني أن OpenAI خسر وقتا ثمينا وكان بحاجة إلى تحويل الموارد لتطوير نماذج مختلفة.
بالنسبة للاستثمار المشترك، سيكون برنامج البحث والتطوير في Arrakis لا يقدر بثمن بالنسبة للشركتين لاستكمال مفاوضات الاستثمار وصفقات المنتجات بقيمة 10 مليارات دولار. وفقا لموظف في مايكروسوفت مطلع على الأمر، فإن فشل أراكيس خيب آمال بعض المديرين التنفيذيين في مايكروسوفت.
والأكثر من ذلك، أن فشل أراكيس هو نذير لمستقبل الذكاء الاصطناعي التي يمكن أن تكون محفوفة بالمزالق التي يصعب التنبؤ بها.
أي نوع من النماذج هو أراكيس؟ **
وفقا لأشخاص مطلعين على الأمر ، تأمل OpenAI أن يكون Arrakis نموذجا يتمتع بأداء مماثل وكفاءة تشغيل أعلى من GPT-4. النهج الرئيسي المستخدم في نموذج Arrakis هو الاستفادة من التناثر.
Sparsity هو مفهوم للتعلم الآلي يناقشه ويستخدمه مطورو الذكاء الاصطناعي الآخرون مثل Google علانية. وقال جيف دين، المدير التنفيذي لشركة جوجل: "ستصبح الحوسبة المتفرقة اتجاها مهما في المستقبل".
بدأت OpenAI البحث عن التباين في وقت مبكر ، وقدمت نواة الحوسبة المتفرقة في عام 2017. كان بإمكان Arrakis السماح لشركة OpenAI بالترويج لتقنيتها على نطاق أوسع لأن الشركة يمكنها استخدام عدد محدود من رقائق الخادم المخصصة لتشغيل برامجها.
حاليا ، هناك طريقة شائعة لزيادة التباين بمساعدة تقنية "الأنظمة الخبيرة الهجينة (MoE)". ومع ذلك ، قال أيون ستويكا ، أستاذ علوم الكمبيوتر في جامعة كاليفورنيا ، بيركلي ، "بشكل عام ، كلما زاد عدد نماذج الخبراء ، كان النموذج أقل وكفاءة ، ولكنه قد يؤدي إلى نتائج أقل دقة ناتجة عن النموذج".
في ربيع هذا العام تقريبا، بدأ باحثو OpenAI تدريب نماذج Arrakis، والتي تتضمن استخدام أجهزة حوسبة متقدمة لمساعدة النماذج على معالجة كميات كبيرة من البيانات. وفقا لأشخاص مطلعين على الأمر ، تتوقع الشركة أن يكون تدريب Arrakis أرخص بكثير من تدريب GPT-4. ومع ذلك ، سرعان ما أدرك فريق البحث أن النموذج لم يكن يعمل بشكل جيد بما يكفي لتحقيق المكاسب المتوقعة. بعد أن أمضى فريق البحث حوالي شهر في محاولة حل المشكلة ، قررت القيادة العليا ل OpenAI التوقف عن تدريب النموذج.
والخبر السار هو أن OpenAI يمكنه دمج عمله على Arrakis في نماذج أخرى ، مثل النموذج الكبير متعدد الوسائط القادم Gobi.
كان أداء Arrakis أقل من توقعات OpenAI لأن الشركة تحاول تحسين تناثر النموذج ، مما يعني أنه سيتم استخدام جزء فقط من النموذج لتوليد الاستجابات ، مما يقلل من تكاليف التشغيل ، حسبما قال شخصان مطلعان على الأمر. السبب في نجاح النموذج في الاختبارات المبكرة ولكن في وقت لاحق كان أداؤه ضعيفا غير معروف.
تجدر الإشارة إلى أن الأشخاص المطلعين على الأمر قالوا إن الاسم العام ل OpenAI الذي يعتبر ل Arrakis هو GPT-4 Turbo.
**ما مدى أهمية خفض التكاليف؟ **
بالنسبة ل OpenAI ، مع تزايد المخاوف بشأن تكلفة التكنولوجيا وانتشار البدائل مفتوحة المصدر ، فإن جعل نماذجها أرخص وأكثر كفاءة يمثل أولوية قصوى.
وفقا لأشخاص مطلعين على الأمر ، تستخدم Microsoft نموذج GPT الخاص ب OpenAI لتشغيل ميزات الذكاء الاصطناعي في تطبيقات Office 365 والخدمات الأخرى ، وكانت Microsoft تتوقع أن يقوم Arrakis بتحسين أداء هذه الميزات وخفض التكاليف.
في الوقت نفسه ، بدأت Microsoft في تطوير LLM الخاص بها ، وقد يكلف تشغيل LLM أقل من نموذج OpenAI.
على الرغم من أن هذه الانتكاسة لم تبطئ تطوير أعمال OpenAI هذا العام ، فمن المرجح أيضا أن تنخفض OpenAI على هذا المسار مع زيادة المنافسة في مجال LLM ، وخاصة البحث والتطوير المتسارع لعمالقة التكنولوجيا مثل Google و Microsoft.
الرابط الأصلي:
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
لقد تم إحباط تطوير نموذج جديد OpenAI ، هل التناثر هو المفتاح لتقليل تكلفة النماذج الكبيرة؟
المصدر الأصلي: قلب الآلة
تكلفة التدريب والتشغيل للنماذج الكبيرة مرتفعة للغاية ، وقد حاول OpenAI أيضا تقليل التكاليف ، لكنه فشل للأسف.
في أواخر العام الماضي ، عندما أصبح ChatGPT ضجة عالمية ، بدأ مهندسو OpenAI العمل على نموذج الذكاء الاصطناعي جديد ، يحمل الاسم الرمزي Arrakis. يهدف Arrakis إلى تمكين OpenAI من تشغيل روبوتات المحادثة بتكلفة أقل.
ولكن وفقا لأشخاص مطلعين على الأمر: في منتصف عام 2023 ، ألغت OpenAI إصدار Arrakis لأن النموذج لا يعمل بكفاءة كما توقعت الشركة.
بالنسبة للاستثمار المشترك، سيكون برنامج البحث والتطوير في Arrakis لا يقدر بثمن بالنسبة للشركتين لاستكمال مفاوضات الاستثمار وصفقات المنتجات بقيمة 10 مليارات دولار. وفقا لموظف في مايكروسوفت مطلع على الأمر، فإن فشل أراكيس خيب آمال بعض المديرين التنفيذيين في مايكروسوفت.
والأكثر من ذلك، أن فشل أراكيس هو نذير لمستقبل الذكاء الاصطناعي التي يمكن أن تكون محفوفة بالمزالق التي يصعب التنبؤ بها.
أي نوع من النماذج هو أراكيس؟ **
وفقا لأشخاص مطلعين على الأمر ، تأمل OpenAI أن يكون Arrakis نموذجا يتمتع بأداء مماثل وكفاءة تشغيل أعلى من GPT-4. النهج الرئيسي المستخدم في نموذج Arrakis هو الاستفادة من التناثر.
Sparsity هو مفهوم للتعلم الآلي يناقشه ويستخدمه مطورو الذكاء الاصطناعي الآخرون مثل Google علانية. وقال جيف دين، المدير التنفيذي لشركة جوجل: "ستصبح الحوسبة المتفرقة اتجاها مهما في المستقبل".
بدأت OpenAI البحث عن التباين في وقت مبكر ، وقدمت نواة الحوسبة المتفرقة في عام 2017. كان بإمكان Arrakis السماح لشركة OpenAI بالترويج لتقنيتها على نطاق أوسع لأن الشركة يمكنها استخدام عدد محدود من رقائق الخادم المخصصة لتشغيل برامجها.
حاليا ، هناك طريقة شائعة لزيادة التباين بمساعدة تقنية "الأنظمة الخبيرة الهجينة (MoE)". ومع ذلك ، قال أيون ستويكا ، أستاذ علوم الكمبيوتر في جامعة كاليفورنيا ، بيركلي ، "بشكل عام ، كلما زاد عدد نماذج الخبراء ، كان النموذج أقل وكفاءة ، ولكنه قد يؤدي إلى نتائج أقل دقة ناتجة عن النموذج".
في ربيع هذا العام تقريبا، بدأ باحثو OpenAI تدريب نماذج Arrakis، والتي تتضمن استخدام أجهزة حوسبة متقدمة لمساعدة النماذج على معالجة كميات كبيرة من البيانات. وفقا لأشخاص مطلعين على الأمر ، تتوقع الشركة أن يكون تدريب Arrakis أرخص بكثير من تدريب GPT-4. ومع ذلك ، سرعان ما أدرك فريق البحث أن النموذج لم يكن يعمل بشكل جيد بما يكفي لتحقيق المكاسب المتوقعة. بعد أن أمضى فريق البحث حوالي شهر في محاولة حل المشكلة ، قررت القيادة العليا ل OpenAI التوقف عن تدريب النموذج.
والخبر السار هو أن OpenAI يمكنه دمج عمله على Arrakis في نماذج أخرى ، مثل النموذج الكبير متعدد الوسائط القادم Gobi.
كان أداء Arrakis أقل من توقعات OpenAI لأن الشركة تحاول تحسين تناثر النموذج ، مما يعني أنه سيتم استخدام جزء فقط من النموذج لتوليد الاستجابات ، مما يقلل من تكاليف التشغيل ، حسبما قال شخصان مطلعان على الأمر. السبب في نجاح النموذج في الاختبارات المبكرة ولكن في وقت لاحق كان أداؤه ضعيفا غير معروف.
تجدر الإشارة إلى أن الأشخاص المطلعين على الأمر قالوا إن الاسم العام ل OpenAI الذي يعتبر ل Arrakis هو GPT-4 Turbo.
**ما مدى أهمية خفض التكاليف؟ **
بالنسبة ل OpenAI ، مع تزايد المخاوف بشأن تكلفة التكنولوجيا وانتشار البدائل مفتوحة المصدر ، فإن جعل نماذجها أرخص وأكثر كفاءة يمثل أولوية قصوى.
وفقا لأشخاص مطلعين على الأمر ، تستخدم Microsoft نموذج GPT الخاص ب OpenAI لتشغيل ميزات الذكاء الاصطناعي في تطبيقات Office 365 والخدمات الأخرى ، وكانت Microsoft تتوقع أن يقوم Arrakis بتحسين أداء هذه الميزات وخفض التكاليف.
في الوقت نفسه ، بدأت Microsoft في تطوير LLM الخاص بها ، وقد يكلف تشغيل LLM أقل من نموذج OpenAI.
على الرغم من أن هذه الانتكاسة لم تبطئ تطوير أعمال OpenAI هذا العام ، فمن المرجح أيضا أن تنخفض OpenAI على هذا المسار مع زيادة المنافسة في مجال LLM ، وخاصة البحث والتطوير المتسارع لعمالقة التكنولوجيا مثل Google و Microsoft.
الرابط الأصلي: