أطلقت Meta "قطعة أثرية" للذكاء الاصطناعي، كيف يمكن مقارنة نموذج الكود المفتوح المصدر والمجاني Code Llama بـ ChatGPT؟

المصدر الأصلي: مختبر AGI للابتكار

مصدر الصورة: تم إنشاؤها بواسطة Unbounded AI‌

أصدرت Meta مؤخرًا Code Llama، وهو نموذج لغة واسع النطاق يعتمد على Llama 2 للضبط الدقيق، والذي يمكنه إنشاء تعليمات برمجية باستخدام المطالبات النصية وهو مفتوح المصدر للبحث والاستخدام التجاري.

Code Llama عبارة عن LLM مفتوح ومتطور لمهام البرمجة التي لديها القدرة على جعل سير عمل المطور الحالي أسرع وأكثر كفاءة وتقليل حاجز الدخول لأولئك الذين يتعلمون البرمجة. يتمتع Code Llama بإمكانية استخدامه كأداة إنتاجية وتعليمية لمساعدة المبرمجين على كتابة برامج أكثر قوة وموثقة جيدًا.

كيف يعمل كود اللاما

في يوليو من هذا العام، أصدرت شركة Meta (فيسبوك سابقًا) Llama 2، وهو نموذج مفتوح المصدر مجاني ومتاح تجاريًا. الإصدار الأخير، Code Llama، هو إصدار مخصص من Llama2 خصيصًا للبرمجة، تم إنشاؤه من خلال تدريب Llama 2 الإضافي على مجموعة البيانات الخاصة بالرمز، وأخذ عينات أكثر من مجموعة البيانات نفسها لفترات زمنية أطول.

بشكل عام، يحتوي Code Llama على ميزات برمجة محسنة، مبنية على أعلى Llama 2. يمكنه إنشاء تعليمات برمجية ولغة طبيعية حول التعليمات البرمجية بناءً على إشارات التعليمات البرمجية واللغة الطبيعية (على سبيل المثال، "اكتب لي دالة تُخرج تسلسل فيبوناتشي.") ويمكن استخدامه أيضًا لإكمال التعليمات البرمجية وتصحيح الأخطاء.

يدعم Code Llama العديد من اللغات الأكثر شيوعًا المستخدمة اليوم، بما في ذلك Python وC++ وJava وPHP وTypeface (Java) وC# وBash.

يحتوي Code Llama حاليًا على ثلاثة إصدارات من المعلمات: 7 مليار معلمة، و13 مليار معلمة، و34 مليار معلمة.

يتم تدريب كل إصدار باستخدام 500B من الرموز المميزة والبيانات المتعلقة بالرمز. يتم أيضًا تدريب قاعدة المعلمات ونماذج التعليمات التي يبلغ عددها 7 مليارات و13 مليارًا باستخدام إمكانات التعبئة المتوسطة (FIM)، مما يسمح لها بتوصيل التعليمات البرمجية إلى التعليمات البرمجية الموجودة، مما يعني أنها يمكن أن تدعم مهام مثل إكمال التعليمات البرمجية خارج نطاق الخدمة. صندوق.

تلبي هذه النماذج الثلاثة متطلبات مختلفة للخدمة ووقت الاستجابة. على سبيل المثال، يمكن تشغيل 7 مليارات نموذج على وحدة معالجة رسومات واحدة. يُرجع النموذج 34 مليارًا أفضل النتائج ويقدم مساعدة أفضل في الترميز، لكن النموذجين الأصغر حجمًا 7 مليار و13 مليارًا أسرع وأكثر ملاءمة للمهام التي تتطلب زمن وصول منخفض، مثل إكمال التعليمات البرمجية في الوقت الفعلي.

يوفر نموذج Code Llama إنشاءًا مستقرًا يحتوي على ما يصل إلى 100000 رمز مميز للسياق. يتم تدريب جميع النماذج على تسلسلات مكونة من 16000 رمز مميز وتظهر تحسنًا في المدخلات التي تصل إلى 100000 رمزًا مميزًا.

بالإضافة إلى كونه شرطًا أساسيًا لإنشاء برامج أطول، فإن الحصول على تسلسلات إدخال أطول يمكن أن يفتح حالات استخدام جديدة ومثيرة لـ Code LLM. على سبيل المثال، يمكن للمستخدمين توفير نماذج ذات سياق أكبر من قاعدة التعليمات البرمجية الخاصة بهم لجعل الأجيال أكثر صلة بالموضوع. كما أنه يساعد في تصحيح الأخطاء في السيناريوهات في قواعد التعليمات البرمجية الأكبر حجمًا، حيث قد يكون من الصعب على المطورين استيعاب جميع التعليمات البرمجية المتعلقة بمشكلة معينة. عندما يواجه المطورون تصحيح أخطاء كميات كبيرة من التعليمات البرمجية، يمكنهم تمرير طول التعليمات البرمجية بالكامل إلى النموذج.

تعمل Meta أيضًا على تحسين إصدارين إضافيين من Code Llama: Code Llama - Python وCode Llama - Instruct.

• Code Llama - Python هو متغير لغة محدد من Code Llama، تم ضبطه بشكل أكبر على رمز 100B من كود Python.
• Code Llama - Instruct عبارة عن نسخة مضبوطة ومتوافقة من تعليمات Code Llama. تعديلات التعليمات تستمر في عملية التدريب، ولكن بأهداف مختلفة. يقبل النموذج "تعليمات اللغة الطبيعية" كمدخلات ومخرجات متوقعة. وهذا يتيح لها فهم ما يتوقعه الناس من الموجه بشكل أفضل. نوصي باستخدام إصدار Code Llama - Instruct عند استخدام Code Llama لإنشاء التعليمات البرمجية، نظرًا لأنه تم ضبط Code Llama - Instruct بدقة لإنشاء إجابات مفيدة وآمنة باللغة الطبيعية.

ولكن لا يُنصح باستخدام Code Llama أو Code Llama - Python لمهام اللغة الطبيعية العامة لأنه لم يتم تصميم أي من النموذجين لاتباع تعليمات اللغة الطبيعية. تم تصميم Code Llama للمهام الخاصة بالرمز، وهو غير مناسب كنموذج أساسي للمهام الأخرى.

كيف يعمل Code Llama؟

تعد برمجة Python البشرية وبرمجة Python الأساسية (MBPP) معيارين شائعين الاستخدام لإتقان البرمجة - يختبر الإنسان قدرة النموذج على إكمال التعليمات البرمجية من سلسلة مستندات، ويختبر MBPP قدرة النموذج على كتابة التعليمات البرمجية من الوصف. يُظهر اختبار Code Llama مقابل هذين المعيارين أن Code Llama يتفوق في الأداء على Llama مفتوح المصدر، الخاص بالكود، ويتفوق في الأداء على Llama 2 نفسها. على سبيل المثال، حصل Code Llama 34B على 53.7% على الإنسان و56.2% على MBPP، متجاوزًا ChatGPT ولكنه لا يزال أدنى من GPT-4 على الإنسان.

مصدر الرسم البياني: ميتا

*لقد تجاوز نموذج CodeLlama-34B المضبوط بدقة GPT-4؟ *

على الرغم من أن Code Llama لم يفز في الاختبار، إلا أن هذا ليس كل ما يتعلق بـ Code Llama، وهناك ميزة أخرى وهي الضبط الدقيق مرة أخرى. يمكن للمستخدمين ضبط Code Llama مفتوح المصدر مرة أخرى لإنشاء أفضل إصدار يلبي احتياجاتهم.

قامت Phind مؤخرًا بضبط CodeLlama-34B وCodeLlama-34B-Python استنادًا إلى مجموعة البيانات الخاصة بها، وحققت إصداراتها المضبوطة بدقة 67.6% و69.5% على Human، والتي تجاوزت GPT-4 التي أعلنت عنها OpenAI في مارس بنسبة 67% من المجموع.

روابط ذات علاقة:

مقارنة الاستخدام الفعلي ChatGPT مقابل Code Llama

في البداية، تم استخدام إصدار GPT-3.5 من ChatGPT وCode Llama المدعوم من منصة Perplexity في هذه المقارنة. سنطرح 8 أسئلة لمقارنة ما إذا كان الاثنان قد نجحا في إنشاء التعليمات البرمجية.

السؤال رقم 1:

"استخدام بايثون. إعطاء سلسلتين word1 وword2. دمج السلاسل عن طريق إضافة أحرف بترتيب متبادل، بدءًا من الكلمة 1. إذا كانت إحدى السلسلة أطول من الأخرى، قم بإلحاق أحرف إضافية بالسلاسل المدمجة. النهاية.

إرجاع السلسلة المدمجة.

مثال 1: • الإدخال: word1="abc"، word2="pqr" • الإخراج: "apbqcr"

🟢 ChatGPT: +1 للنجاح 🔵 رمز اللهب: 成功+1

السؤال 2:

"باستخدام بايثون. بالنظر إلى سلسلة s، ما عليك سوى عكس جميع حروف العلة في السلسلة وإعادتها.

حروف العلة هي "a" و"e" و"i" و"o" و"u"، والتي يمكن أن تتكرر عدة مرات بالأحرف الصغيرة والكبيرة.

مثال 1:

الإدخال: ق = "مرحبا" الإخراج: "القاعة"

🟢 ChatGPT: +1 للنجاح 🔵 رمز اللاما: فشل +0

السؤال 3:

"باستخدام بايثون. بالنظر إلى مصفوفة أرقام صحيحة، قم بنقل جميع الأصفار إلى نهايتها مع الحفاظ على الترتيب النسبي للعناصر غير الصفرية. لاحظ أنه يتعين عليك القيام بذلك في مكانه، دون عمل نسخة من المصفوفة.

مثال 1:

الإدخال: الأعداد = [0,1,0,3,12] الإخراج: [1,3,12,0,0]"

🟢 ChatGPT: +1 للنجاح 🔵 رمز اللاما: فشل +0

السؤال 4:

"باستخدام لغة بايثون. لديك حوض زهور طويل حيث يتم زرع بعض قطع الأراضي وبعضها الآخر لا. ومع ذلك، لا يمكن زراعة قطع الأراضي المجاورة بالزهور. بالنظر إلى مصفوفة أعداد صحيحة من 0 و1 لقاع الزهرة، حيث يعني 0 فارغًا و1 يعني غير فارغ، والعدد الصحيح n، يُرجع صحيحًا إذا كان من الممكن زراعة n زهور جديدة في حوض الزهرة دون انتهاك قاعدة الزهرة غير المتجاورة، وإلا العودة كاذبة.

مثال 1: الإدخال: قاع الزهرة = [1,0,0,0,1]، n = 1 الإخراج: صحيح مثال 2: الإدخال: فراش الزهرة = [1,0,0,0,1]، n = 2 الإخراج: كاذبة

🟢 ChatGPT: +1 للنجاح 🔵 رمز اللهب: 成功+1

السؤال 5:

"باستخدام بايثون. بالنظر إلى سلسلة إدخال، قم بعكس ترتيب الكلمات.

يتم تعريف الكلمة على أنها سلسلة من الأحرف غير ذات المسافات البيضاء. سيتم فصل الكلمات الموجودة في s بمسافة واحدة على الأقل.

إرجاع سلسلة من الكلمات المرتبطة بمسافات مفردة بترتيب عكسي.

لاحظ أن s قد تحتوي على مسافات بادئة أو لاحقة أو مسافات متعددة بين كلمتين. يجب أن تحتوي السلسلة التي تم إرجاعها على مسافة واحدة فقط لفصل الكلمات. لا تقم بتضمين أي مسافات إضافية.

مثال 1: الإدخال: s = "السماء زرقاء" الإخراج: "السماء الزرقاء""

🟢 ChatGPT: +1 للنجاح 🔵 رمز اللهب: 成功+1

السؤال 6:

"باستخدام بايثون. بالنظر إلى سلسلة s وعدد صحيح k، قم بإرجاع الحد الأقصى لعدد حروف العلة في أي سلسلة فرعية بطول k في s. حروف العلة في اللغة الإنجليزية هي "a" و"e" و"i" و"o" و"u".

مثال 1: الإدخال: s = "leetcode"، k = 3 الإخراج: 2 الشرح: "lee" و"eet" و"ode" تحتوي على حرفين متحركين.

🟢 ChatGPT: +1 للنجاح 🔵 رمز اللهب: 成功+1

السؤال 7:

"باستخدام بايثون. بالنظر إلى سلسلة تحتوي على العلامات النجمية *.

بعملية واحدة يمكنك:

اختر نجمة في الصورة.

إزالة أقرب حرف غير النجمة إلى يساره، وإزالة العلامة النجمية نفسها.

إرجاع السلسلة بعد إزالة جميع النجوم.

مثال 1: الإدخال: s = "leet**cod*e" الإخراج: "ليكو""

🟢 ChatGPT: +1 للنجاح 🔵 رمز اللاما: فشل +0

السؤال 8:

"باستخدام بايثون. بالنظر إلى مجموعة من درجات الحرارة التي تمثل درجات الحرارة اليومية، قم بإرجاع مجموعة من الإجابات حيث الإجابة [i] هو عدد الأيام بعد اليوم الذي يتعين عليك فيه انتظار درجات الحرارة الأكثر دفئًا. إذا لم يكن هناك يوم في المستقبل للقيام بذلك، فاحتفظ بالإجابة [i] == 0.

مثال 1: الإدخال: درجة الحرارة = [73,74,75,71,69,72,76,73] الإخراج: [1,1,4,2,1,1,0,0]"

🟢 دردشة جي بي تي: +1 🔵 كود الجمل: +1

النتائج النهائية:

🟢 الدردشةGPT: 8/8 🔵 كود لاما: 5/8

باختصار، لا يُظهر Code Llama مزايا واضحة مقارنة بـ ChatGPT في تأثير الاستخدام الفعلي، ولكن لا يمكن استخدام الاختبارات المذكورة أعلاه بالكامل كأساس للحكم. علاوة على ذلك، يعد Code Llama مفتوح المصدر أسهل من ChatGPT بالنسبة للمستخدمين لتخصيصه وفقًا لاحتياجاتهم، مما قد يجلب المزيد من الاحتمالات.

مراجع: