عدم المساواة في نموذج الذكاء الاصطناعي: تكلفة تدريب اللغة الصينية ضعف تكلفة اللغة الإنجليزية!

المصدر: Ifanr

المؤلف: Mo Chongyu

في الآونة الأخيرة ، أظهر مستخدم X (Twitter سابقًا)Dylan Patel دراسة من جامعة أكسفورد: من خلال دراسة لغة GPT-4 ومعظم LLMs الأخرى الشائعة ، وجدت الدراسة أن تكلفة استنتاج LLM (نموذج اللغة الكبير) مختلفة تمامًا. كبير.

من بينها ، مدخلات ومخرجات اللغة الإنجليزية أرخص بكثير من اللغات الأخرى.تكلفة اللغة الصينية المبسطة حوالي ضعف تكلفة اللغة الإنجليزية ، وتكلفة اللغة الإسبانية 1.5 ضعف تكلفة اللغة الإنجليزية ، وتكلفة اللغة البورمية تساوي 15 ضعف تكلفة اللغة الإنجليزية .

يمكن إرجاع المبدأ إلى ورقة بحثية نشرتها جامعة أكسفورد على arXiv في مايو من هذا العام.

المعجمية هي عملية تحويل نص اللغة الطبيعية إلى سلسلة من الرموز المميزة ، وهي الخطوة الأولى في معالجة نص نموذج اللغة. عند حساب تكلفة طاقة الحوسبة LLM ، كلما زاد عدد الرموز ، زادت تكلفة قوة الحوسبة.

مما لا شك فيه ، في ظل اتجاه تسويق الذكاء الاصطناعي التوليدي ، سيتم أيضًا زيادة تكلفة القدرة الحاسوبية على المستخدمين ، حيث تتم محاسبة العديد من خدمات الذكاء الاصطناعي الحالية وفقًا لعدد الكلمات التي يجب معالجتها.

تظهر الورقة أنه بعد تحليل 17 طريقة من طرق اللماتة ، وجد الباحثون أن طول نفس النص يتم تحويله إلى تسلسلات ليما بلغات مختلفة ، والطول عادل تمامًا.

على سبيل المثال ، وفقًا لرمز GPT3 المميز لـ OpenAI ، إذا قمت بترميز "حبك" ، فستكون هناك حاجة إلى رمزين فقط باللغة الإنجليزية ، في حين أن هناك حاجة إلى ثمانية رموز في اللغة الصينية المبسطة. على الرغم من أن النص الصيني المبسط يحتوي على 4 أحرف فقط بينما يحتوي النص الإنجليزي على 14 حرفًا.

من الصور التي كشفها مستخدم XDylan Patel ، يمكن أيضًا أن نرى بشكل حدسي أن الأمر يتطلب 17 رمزًا (رمزًا مميزًا) لـ LLM لمعالجة جملة من اللغة الإنجليزية ، و 198 رمزًا (رمزًا مميزًا) لـ LLM لمعالجة جملة من البورمية باستخدام نفس المعنى. هذا يعني أن معالجة البورمية ستكون أكثر تكلفة بـ 11 مرة من اللغة الإنجليزية.

هناك العديد من المواقف المشابهة ، حيث يوفر موقع Aleksandar Petrov على الويب العديد من الرموز والبيانات ذات الصلة ، وقد يرغب الأصدقاء المهتمون في النقر فوق "إدخال" لعرض الاختلافات بين اللغات.

هناك أيضًا صفحة مماثلة على موقع OpenAI الرسمي ، تشرح كيف تقوم واجهة برمجة التطبيقات بإزالة جزء من النص ، وتعرض العدد الإجمالي للرموز المميزة في النص. يذكر الموقع الرسمي أيضًا أن كلمة lemma تتوافق عادةً مع حوالي 4 أحرف في نص باللغة الإنجليزية ، و 100 lemmas تساوي حوالي 75 كلمة.

بفضل طول التسلسل المعجمي للغة الإنجليزية ، تعد اللغة الإنجليزية هي الفائز الأكبر في الفعالية من حيث التكلفة للتدريب المسبق على الذكاء الاصطناعي التوليدي ، مما يترك مستخدمي اللغة الآخرين خلفهم بعيدًا ، مما يؤدي بشكل غير مباشر إلى خلق موقف غير عادل.

من بين أشياء أخرى ، يمكن أن يؤدي هذا الاختلاف في طول تسلسل الرمز المميز إلى زمن انتقال غير عادل للمعالجة (تستغرق بعض اللغات وقتًا أطول لمعالجة نفس المحتوى) ونمذجة غير عادلة لتبعيات التسلسل الطويل (يمكن لبعض اللغات معالجة نص أقصر فقط).

ببساطة ، يحتاج مستخدمو لغات معينة إلى دفع تكاليف أعلى ، ويعانون من تأخيرات أكبر ، ويحصلون على أداء ضعيف ، مما يقلل من وصولهم العادل إلى فرص تكنولوجيا اللغة ، مما يؤدي بشكل غير مباشر إلى المستخدمين الناطقين باللغة الإنجليزية و AI تقسيم أشكال بين باقي استخدامات العالم للغة.

من تكلفة الإنتاج وحدها ، فإن تكلفة اللغة الصينية المبسطة هي ضعف تكلفة اللغة الإنجليزية. مع التطور المتعمق في مجال الذكاء الاصطناعي ، من الواضح أن اللغة الصينية المبسطة ، التي تكون دائمًا "على بعد خطوة واحدة" ، ليست ودية. في ظل توازن العوامل المتراكبة مثل التكلفة ، تحاول البلدان غير الناطقة باللغة الإنجليزية أيضًا تطوير نماذج لغتها الأم.

بأخذ الصين كمثال ، باعتبارها واحدة من أوائل الشركات العملاقة المحلية لاستكشاف الذكاء الاصطناعي ، في 20 مارس 2023 ، أطلقت Baidu رسميًا AI Wenxin Yiyan.

في وقت لاحق ، ظهرت مجموعات من النماذج كبيرة الحجم الممتازة ، مثل نموذج Tongyi Qianwen واسع النطاق لشركة Alibaba ونموذج Pangu واسع النطاق من Huawei ، واحدة تلو الأخرى.

من بينها ، يعد النموذج الكبير NLP في نموذج Pangu الكبير من Huawei هو أول نموذج صيني كبير في الصناعة يحتوي على 100 مليار معلمة ، والتي تحتوي على 110 مليار معلمة كثيفة ويتم تدريبها باستخدام 40 تيرابايت من البيانات الضخمة.

كما حذرت نائبة الأمين العام للأمم المتحدة ، أمينة محمد ، ذات مرة في الجمعية العامة للأمم المتحدة ، إذا لم يتصرف المجتمع الدولي بشكل حاسم ، فإن الفجوة الرقمية ستصبح "الوجه الجديد لعدم المساواة".

بنفس الطريقة ، مع التطور السريع للذكاء الاصطناعي التوليدي ، من المرجح أن تصبح فجوة الذكاء الاصطناعي جولة جديدة من "الوجوه الجديدة لعدم المساواة" التي تستحق الاهتمام.

لحسن الحظ ، فإن عمالقة التكنولوجيا المحليين الذين عادة ما يكونون "مقرفين" قد اتخذوا بالفعل إجراءات.