أمر واحد + 5 دولارات + 20 دقيقة، يمكنك تدريب نموذج احترافي صغير، _2نموذج للتعلم

أصدرت CMU وباحثون من جامعة Tsinghua بشكل مشترك إطار عمل 2Model، والذي يمكنه تدريب نموذج احترافي صغير بسرعة بناءً على مدخلات المستخدم. باستثمار 5 دولارات فقط لجمع البيانات و20 دقيقة من وقت التدريب، يمكنك الحصول على نموذج صغير يؤدي أداءً أفضل بنسبة 20% من متوسط ChatGPT، مع تقليل حجم معلمة النموذج بمقدار 700 مرة.

مصدر الصورة: تم إنشاؤها بواسطة Unbounded AI

تتيح نماذج اللغة واسعة النطاق (LLM) للمستخدمين إنشاء أنظمة قوية لمعالجة اللغة الطبيعية بمساعدة التلميحات والتعلم السياقي. ومع ذلك، من منظور آخر، يعاني أداء LLM في بعض مهام معالجة اللغة الطبيعية من بعض التراجعات: يتطلب نشر هذه النماذج قدرًا كبيرًا من موارد الحوسبة، وقد يؤدي التفاعل مع النماذج من خلال واجهات برمجة التطبيقات (API) إلى حدوث مشكلات محتملة تتعلق بالخصوصية.

واستجابة لهذه المشكلات، أطلق باحثون من جامعة كارنيجي ميلون (CMU) وجامعة تسينغهوا بشكل مشترك إطار عمل 2Model. الهدف من هذا الإطار هو الجمع بين أساليب توليد البيانات واسترجاعها المستندة إلى LLM للتغلب على التحديات المذكورة أعلاه. باستخدام إطار عمل 2Model، يحتاج المستخدمون فقط إلى تقديم نفس المطالبات مثل LLM لجمع البيانات تلقائيًا وتدريب النماذج المتخصصة الصغيرة المناسبة لمهام محددة بكفاءة.

أجرى الباحثون تجارب على ثلاث مهام فرعية لمعالجة اللغة الطبيعية. بأخذ عدد صغير من تلميحات العينات كمدخلات، لا يكلف جمع البيانات سوى 5 دولارات و20 دقيقة من التدريب، ويُظهر النموذج الذي تم إنشاؤه بواسطة إطار عمل 2Model تحسنًا في الأداء بنسبة 20٪ مقارنة بنموذج LLM الأكثر قوة gpt-3.5-turbo. وفي الوقت نفسه، تم تقليل حجم النموذج بما يصل إلى 700 مرة. كما تحقق الباحثون من تأثير هذه البيانات على أداء النموذج في سيناريوهات حقيقية، مما يسمح لمطوري النموذج بالتنبؤ بموثوقية النموذج قبل النشر. الإطار متاح بالفعل في شكل مفتوح المصدر:

* عنوان مستودع GitHub للإطار: *رابط فيديو توضيحي للإطار:

• روابط للأوراق ذات الصلة بالإطار:

خلفية

عادة ما يكون بناء نظام من الصفر لمهمة البرمجة اللغوية العصبية (NLP) أمرًا معقدًا للغاية. يحتاج منشئ النظام إلى تحديد نطاق المهمة بوضوح، والحصول على مجموعة بيانات محددة، واختيار بنية النموذج المناسبة، وإجراء التدريب على النموذج وتقييمه، ثم نشره للتطبيق العملي.

توفر نماذج اللغة واسعة النطاق (LLM) مثل GPT-3 حلاً أبسط لهذه العملية. يحتاج المستخدمون فقط إلى تقديم تعليمات المهمة وبعض الأمثلة، ويمكن لـ LLM إنشاء مخرجات نصية مقابلة. ومع ذلك، قد يكون إنشاء نص من التلميحات أمرًا مكثفًا من الناحية الحسابية، كما أن استخدام التلميحات أقل استقرارًا من النموذج المدرب خصيصًا. بالإضافة إلى ذلك، فإن قابلية استخدام LLM محدودة بالتكلفة والسرعة والخصوصية.

للتغلب على هذه المشاكل، قام الباحثون بتطوير إطار عمل 2Model. يجمع هذا الإطار بين تقنيات إنشاء البيانات واسترجاعها المستندة إلى LLM لمعالجة القيود المذكورة أعلاه. يقوم النظام أولا باستخراج المعلومات الأساسية منه، ثم يقوم بإنشاء واسترجاع بيانات التدريب، وأخيرا ينتج نموذجا متخصصا جاهزا للنشر.

يقوم إطار عمل 2Model بأتمتة الخطوات الأساسية التالية:

• مجموعة البيانات واسترجاع النماذج: جمع مجموعات البيانات ذات الصلة والنماذج المدربة مسبقًا.
• إنشاء مجموعة البيانات: استخدم LLM لإنشاء مجموعات بيانات ذات علامات زائفة.
• ضبط النموذج: ضبط النموذج عن طريق مزج البيانات المستردة والبيانات التي تم إنشاؤها.
• اختبار النموذج: اختبر النموذج على مجموعات بيانات الاختبار ومجموعات البيانات الحقيقية المقدمة من قبل المستخدمين.

بعد التقييم التجريبي لمهام مختلفة متعددة، تم تقليل تكلفة 2Model بشكل كبير، كما تم تقليل حجم النموذج بشكل كبير، لكن الأداء يتجاوز gpt-3.5-turbo. يمكن استخدام إطار عمل 2Model ليس فقط كأداة لبناء أنظمة معالجة اللغة الطبيعية بكفاءة، ولكن أيضًا كمنصة لاستكشاف تقنيات تدريب المجموعة النموذجية.

نطاق

الميزة الأساسية لإطار عمل 2Model هي درجة عالية من الأتمتة. وتغطي عمليتها روابط متعددة مثل جمع البيانات والتدريب النموذجي والتقييم والنشر، كما هو موضح في الشكل أعلاه. من بينها، يلعب نظام جمع البيانات الآلي دورًا رئيسيًا، فهو يحصل على البيانات المرتبطة ارتباطًا وثيقًا باحتياجات المستخدم من خلال استرجاع مجموعة البيانات وتوليد البيانات المستندة إلى LLM. بعد ذلك، يقوم النظام باسترداد النموذج المُدرب مسبقًا وضبطه على مجموعة البيانات المكتسبة. وأخيرًا، يقوم النظام بتقييم النموذج المُدرب في مجموعة الاختبار وإنشاء واجهة مستخدم ويب (UI) للتفاعل مع النموذج.

تشمل الميزات الرئيسية لإطار عمل 2Model ما يلي:

• برنامج التشغيل: الفكرة الأساسية لـ 2Model هي استخدامه كبرنامج تشغيل، ويمكن للمستخدمين وصف المهام المطلوبة مباشرة دون الخوض في تفاصيل التنفيذ المحددة للتعلم الآلي.
• جمع البيانات تلقائيًا: يستخدم الإطار تقنية استرجاع وتوليد مجموعة البيانات للحصول على بيانات تتوافق بشكل كبير مع مهام المستخدم، وبالتالي إنشاء مجموعات البيانات المطلوبة للتدريب.
• النماذج المدربة مسبقًا: يستخدم الإطار النماذج المدربة مسبقًا ويقوم بضبطها، مما يوفر الكثير من تكاليف التدريب والوقت.
• تقييم التأثير: يدعم 2Model اختبار النموذج وتقييمه على مجموعات البيانات الفعلية، مما يتيح التنبؤ الأولي وتقييم الأداء قبل نشر النموذج، وبالتالي تحسين موثوقية النموذج.

تجعل هذه الخصائص إطار عمل 2Model أداة قوية لإكمال عملية بناء أنظمة معالجة اللغة الطبيعية بكفاءة وتوفير وظائف متقدمة، مثل جمع البيانات تلقائيًا وتقييم النماذج وإنشاء واجهة المستخدم.

التجربة والنتائج

فيما يتعلق بالتصميم التجريبي، اختار الباحثون ثلاث مهام مختلفة لتقييم أداء نظام 2Model:

• ضمان الجودة في القراءة الآلية: استخدم SQuAD كمجموعة بيانات التقييم الفعلية.
• تحويل NL-to-Code الياباني (NL-to-Code الياباني): استخدم MCoNaLa كمجموعة بيانات التقييم الفعلية.
• تطبيع التعبير الزمني: استخدم مجموعة البيانات المؤقتة كمجموعة بيانات التقييم الفعلية.

بالإضافة إلى ذلك، اختار الباحثون أيضًا GPT-3.5-turbo كنموذج مرجعي للمقارنة. النتائج التجريبية تؤدي إلى الاستنتاجات التالية:

• في جميع المهام باستثناء مهمة إنشاء التعليمات البرمجية، يكون النموذج الذي تم إنشاؤه بواسطة نظام 2Model أفضل بكثير من النموذج الأساسي GPT-3.5-turbo، على الرغم من أن حجم معلمة النموذج الذي تم إنشاؤه أصغر بكثير من نموذج GPT-3.5-turbo.
• من خلال مزج مجموعة بيانات الاسترجاع ومجموعة البيانات التي تم إنشاؤها للتدريب، يمكنك تحقيق نتائج مماثلة للتدريب مباشرة باستخدام مجموعة البيانات الفعلية. وهذا يتحقق من أن إطار عمل 2Model يمكن أن يقلل بشكل كبير من تكلفة التعليقات التوضيحية اليدوية.
• يمكن لمجموعة بيانات الاختبار التي تم إنشاؤها بواسطة منشئ البيانات التمييز بشكل فعال بين أداء النماذج المختلفة في مجموعات البيانات الفعلية. ويشير هذا إلى أن البيانات التي تم إنشاؤها ذات جودة عالية ولها فعالية كافية في التدريب النموذجي.
• في مهمة التحويل من اللغة اليابانية إلى كود، لا يعمل نظام 2Model بشكل جيد مثل GPT-3.5-turbo.

وقد يرجع ذلك إلى أسباب مثل انخفاض جودة مجموعات البيانات التي تم إنشاؤها وعدم وجود نماذج مناسبة مدربة مسبقًا.

مجتمعًا، نجح نظام 2Model في إنشاء نماذج صغيرة عالية الجودة لمهام متعددة، مما يقلل بشكل كبير من الحاجة إلى التعليقات التوضيحية اليدوية للبيانات. ومع ذلك، لا تزال هناك حاجة إلى مزيد من التحسينات في بعض المهام.

لخص

يتيح إطار عمل 2Model الذي قدمه فريق البحث البناء التلقائي للنماذج الخاصة بالمهمة فقط من خلال إشارات اللغة الطبيعية. يقلل هذا الابتكار بشكل كبير من عتبة بناء نماذج مخصصة لمعالجة اللغة الطبيعية ويوسع نطاق تطبيق تقنية البرمجة اللغوية العصبية.

تظهر نتائج تجربة التحقق أن النموذج الذي تم إنشاؤه بواسطة إطار عمل 2Model أصغر بكثير من نموذج اللغة الكبير، ويتفوق على نماذج مثل GPT-3.5-turbo في مهام متعددة. وفي الوقت نفسه، أثبتت مجموعة بيانات التقييم التي تم إنشاؤها بواسطة هذا الإطار أيضًا فعاليتها في تقييم أداء النماذج المختلفة على مجموعات البيانات الحقيقية. وهذا يوفر قيمة كبيرة في توجيه النشر النهائي للنموذج.

يوفر إطار عمل 2Model نهجًا منخفض التكلفة وسهل الاستخدام للصناعات والمستخدمين للحصول على نماذج البرمجة اللغوية العصبية التي تلبي احتياجات محددة. وهذا له أهمية كبيرة في تعزيز التطبيق الواسع النطاق لتكنولوجيا البرمجة اللغوية العصبية. وسيستمر تخصيص العمل المستقبلي لزيادة تحسين أداء الإطار.