أصبح استخدام أدوات الذكاء الاصطناعي مثل ChatGPT أكثر شيوعًا. عند التفاعل مع الذكاء الاصطناعي، نعلم أن الاختلاف في كلمات مطالبة الإدخال سيكون له تأثير على نتائج المخرجات. ثم، إذا تم التعبير عن الكلمات السريعة التي لها نفس المعنى بلغات مختلفة، فهل هناك فرق كبير في النتائج؟ بالإضافة إلى ذلك، يرتبط إدخال وإخراج الكلمات السريعة بشكل مباشر بكمية الحساب وراء النموذج. وبالتالي، هل هناك اختلافات طبيعية أو "ظلم" بين اللغات المختلفة من حيث مخرجات الذكاء الاصطناعي واستهلاك التكلفة؟ كيف ينشأ هذا "الظلم"؟
من المفهوم أن الكلمة السريعة لا تتوافق فعليًا مع النص، بل مع رمز مميز. بعد تلقي الكلمات المدخلة من قبل المستخدم، سيقوم النموذج بتحويل الإدخال إلى قائمة الرموز المميزة للمعالجة والتنبؤ، وفي نفس الوقت تحويل الرموز المميزة المتوقعة إلى الكلمات التي نراها في الإخراج. أي أن الرمز المميز هو الوحدة الأساسية لنماذج اللغة لمعالجة وإنشاء النص أو التعليمات البرمجية. تجدر الإشارة إلى أن كل مصنع سيعلن عن سياق عدد الرموز المميزة التي يدعمها نموذجه، بدلاً من عدد الكلمات أو الأحرف الصينية المدعومة.
العوامل المؤثرة على حساب الرمز المميز
بادئ ذي بدء، لا يتوافق الرمز المميز مع كلمة إنجليزية أو حرف صيني، ولا توجد علاقة تحويل محددة بين الرمز المميز والكلمة. على سبيل المثال، وفقًا لأداة حساب الرموز المميزة التي أصدرتها OpenAI، تم تقسيم كلمة هامبرغر إلى ham وbur وger، بإجمالي 3 رموز مميزة. بالإضافة إلى ذلك، إذا كانت الكلمة نفسها لها بنيات مختلفة في جملتين، فسيتم تسجيلها كعدد مختلف من الرموز المميزة.
تعتمد كيفية حساب الرمز المميز بشكل أساسي على طريقة الترميز التي تستخدمها الشركة المصنعة. الترميز هو عملية تقسيم نص الإدخال والإخراج إلى رموز مميزة يمكن معالجتها بواسطة نموذج لغة. تساعد هذه العملية النموذج على التعامل مع اللغات والمفردات والتنسيقات المختلفة. خلف ChatGPT توجد طريقة ترميز تسمى "Byte-Pair Encoding" (BPE).
في الوقت الحاضر، يرتبط عدد الرموز المميزة التي تتحلل إليها الكلمة بنطقها وبنيتها في الجملة. يبدو أن الاختلافات الحسابية بين اللغات أكبر.
لنأخذ على سبيل المثال كلمة "همبرغر" الصينية المقابلة لكلمة "هامبرغر"، حيث يتم حساب هذه الأحرف الصينية الثلاثة على أنها 8 رموز، أي أنها مقسمة إلى 8 أجزاء.
المصدر: لقطة شاشة للموقع الرسمي لـ OpenAI
خذ فقرة أخرى لمقارنة "ظلم" الحسابات الرمزية باللغتين الصينية والإنجليزية.
فيما يلي جملة من موقع OpenAI الرسمي: يمكنك استخدام الأداة أدناه لفهم كيفية ترميز جزء من النص بواسطة واجهة برمجة التطبيقات، وإجمالي عدد الرموز المميزة في هذا الجزء من النص. تحتوي هذه الجملة على إجمالي 33 الرموز.
المصدر: لقطة شاشة للموقع الرسمي لـ OpenAI
اللغة الصينية المقابلة هي: يمكنك استخدام الأداة أدناه لفهم كيفية قيام واجهة برمجة التطبيقات (API) بترميز جزء من النص والعدد الإجمالي للرموز المميزة في جزء النص. المجموع 76 رمزا.
المصدر: لقطة شاشة للموقع الرسمي لـ OpenAI
تعتبر اللغتان الصينية والإنجليزية "غير عادلتين" بشكل طبيعي فيما يتعلق بالذكاء الاصطناعي
ويمكن ملاحظة أن عدد الرموز الصينية التي لها نفس المعنى أكثر من ضعف عدد الرموز الإنجليزية. قد يكون "الظلم" بين اللغة الصينية والإنجليزية في التدريب والاستدلال راجعا إلى حقيقة أن كلمة واحدة في اللغة الصينية يمكن أن تعبر عن معاني متعددة، كما أن تكوين اللغة مرن نسبيا. كما أن اللغة الصينية تتمتع بدلالات ثقافية عميقة ومعاني سياقية غنية، وهي للغاية يزيد بشكل كبير من غموض اللغة وصعوبة معالجتها؛ فالبنية النحوية للغة الإنجليزية بسيطة نسبيًا، مما يجعل معالجة اللغة الإنجليزية وفهمها أسهل من اللغة الصينية في بعض مهام اللغة الطبيعية.
يحتاج الصينيون إلى معالجة المزيد من الرموز، ويستهلك النموذج المزيد من الذاكرة وموارد الحوسبة، وبالطبع كلما زادت التكلفة.
في الوقت نفسه، على الرغم من أن ChatGPT يمكنه التعرف على لغات متعددة بما في ذلك اللغة الصينية، فإن مجموعات البيانات التي يستخدمها للتدريب هي في الغالب نصوص باللغة الإنجليزية. عند معالجة اللغات غير الإنجليزية، قد يواجه تحديات في بنية اللغة والقواعد وما إلى ذلك. مما يؤثر على تأثير الإخراج. مقال حديث بعنوان "هل أداء نماذج اللغات متعددة اللغات أفضل في اللغة الإنجليزية؟" "هل تفكر نماذج اللغات المتعددة اللغات بشكل أفضل في اللغة الإنجليزية؟" ذكر في الورقة أنه عندما تتم ترجمة اللغات غير الإنجليزية إلى الإنجليزية، تكون نتائج الإخراج أفضل من نتائج الاستخدام المباشر للغات غير الإنجليزية ككلمات سريعة.
بالنسبة للمستخدمين الصينيين، يبدو أن ترجمة اللغة الصينية إلى الإنجليزية أولاً ثم التفاعل مع الذكاء الاصطناعي تبدو أكثر فعالية وفعالية من حيث التكلفة. بعد كل شيء، فإن استخدام واجهة برمجة التطبيقات لنموذج GPT-4 الخاصة بـ OpenAI يكلف ما لا يقل عن 0.03 دولار لكل 1000 رمز مميز مُدخل.
ونظرًا لتعقيد اللغة الصينية، قد تواجه نماذج الذكاء الاصطناعي تحديات في استخدام البيانات الصينية للتدريب والاستدلال الدقيق، وتزيد من صعوبة تطبيق النماذج الصينية والحفاظ عليها. وفي الوقت نفسه، بالنسبة للشركات التي تطور نماذج واسعة النطاق، قد تضطر إلى تحمل تكاليف أكبر بسبب الحاجة إلى موارد إضافية لصنع نماذج واسعة النطاق باللغة الصينية.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
إن النماذج الصينية الكبيرة تكلف أموالاً أكثر من النماذج الإنجليزية. فهل يتم تحديد هذا في الواقع من خلال المبادئ الأساسية للذكاء الاصطناعي؟
المصدر: قوة تكنولوجيا المستقبل
المؤلف: لي شينشواي
أصبح استخدام أدوات الذكاء الاصطناعي مثل ChatGPT أكثر شيوعًا. عند التفاعل مع الذكاء الاصطناعي، نعلم أن الاختلاف في كلمات مطالبة الإدخال سيكون له تأثير على نتائج المخرجات. ثم، إذا تم التعبير عن الكلمات السريعة التي لها نفس المعنى بلغات مختلفة، فهل هناك فرق كبير في النتائج؟ بالإضافة إلى ذلك، يرتبط إدخال وإخراج الكلمات السريعة بشكل مباشر بكمية الحساب وراء النموذج. وبالتالي، هل هناك اختلافات طبيعية أو "ظلم" بين اللغات المختلفة من حيث مخرجات الذكاء الاصطناعي واستهلاك التكلفة؟ كيف ينشأ هذا "الظلم"؟
من المفهوم أن الكلمة السريعة لا تتوافق فعليًا مع النص، بل مع رمز مميز. بعد تلقي الكلمات المدخلة من قبل المستخدم، سيقوم النموذج بتحويل الإدخال إلى قائمة الرموز المميزة للمعالجة والتنبؤ، وفي نفس الوقت تحويل الرموز المميزة المتوقعة إلى الكلمات التي نراها في الإخراج. أي أن الرمز المميز هو الوحدة الأساسية لنماذج اللغة لمعالجة وإنشاء النص أو التعليمات البرمجية. تجدر الإشارة إلى أن كل مصنع سيعلن عن سياق عدد الرموز المميزة التي يدعمها نموذجه، بدلاً من عدد الكلمات أو الأحرف الصينية المدعومة.
العوامل المؤثرة على حساب الرمز المميز
بادئ ذي بدء، لا يتوافق الرمز المميز مع كلمة إنجليزية أو حرف صيني، ولا توجد علاقة تحويل محددة بين الرمز المميز والكلمة. على سبيل المثال، وفقًا لأداة حساب الرموز المميزة التي أصدرتها OpenAI، تم تقسيم كلمة هامبرغر إلى ham وbur وger، بإجمالي 3 رموز مميزة. بالإضافة إلى ذلك، إذا كانت الكلمة نفسها لها بنيات مختلفة في جملتين، فسيتم تسجيلها كعدد مختلف من الرموز المميزة.
تعتمد كيفية حساب الرمز المميز بشكل أساسي على طريقة الترميز التي تستخدمها الشركة المصنعة. الترميز هو عملية تقسيم نص الإدخال والإخراج إلى رموز مميزة يمكن معالجتها بواسطة نموذج لغة. تساعد هذه العملية النموذج على التعامل مع اللغات والمفردات والتنسيقات المختلفة. خلف ChatGPT توجد طريقة ترميز تسمى "Byte-Pair Encoding" (BPE).
في الوقت الحاضر، يرتبط عدد الرموز المميزة التي تتحلل إليها الكلمة بنطقها وبنيتها في الجملة. يبدو أن الاختلافات الحسابية بين اللغات أكبر.
لنأخذ على سبيل المثال كلمة "همبرغر" الصينية المقابلة لكلمة "هامبرغر"، حيث يتم حساب هذه الأحرف الصينية الثلاثة على أنها 8 رموز، أي أنها مقسمة إلى 8 أجزاء.
خذ فقرة أخرى لمقارنة "ظلم" الحسابات الرمزية باللغتين الصينية والإنجليزية.
فيما يلي جملة من موقع OpenAI الرسمي: يمكنك استخدام الأداة أدناه لفهم كيفية ترميز جزء من النص بواسطة واجهة برمجة التطبيقات، وإجمالي عدد الرموز المميزة في هذا الجزء من النص. تحتوي هذه الجملة على إجمالي 33 الرموز.
اللغة الصينية المقابلة هي: يمكنك استخدام الأداة أدناه لفهم كيفية قيام واجهة برمجة التطبيقات (API) بترميز جزء من النص والعدد الإجمالي للرموز المميزة في جزء النص. المجموع 76 رمزا.
تعتبر اللغتان الصينية والإنجليزية "غير عادلتين" بشكل طبيعي فيما يتعلق بالذكاء الاصطناعي
ويمكن ملاحظة أن عدد الرموز الصينية التي لها نفس المعنى أكثر من ضعف عدد الرموز الإنجليزية. قد يكون "الظلم" بين اللغة الصينية والإنجليزية في التدريب والاستدلال راجعا إلى حقيقة أن كلمة واحدة في اللغة الصينية يمكن أن تعبر عن معاني متعددة، كما أن تكوين اللغة مرن نسبيا. كما أن اللغة الصينية تتمتع بدلالات ثقافية عميقة ومعاني سياقية غنية، وهي للغاية يزيد بشكل كبير من غموض اللغة وصعوبة معالجتها؛ فالبنية النحوية للغة الإنجليزية بسيطة نسبيًا، مما يجعل معالجة اللغة الإنجليزية وفهمها أسهل من اللغة الصينية في بعض مهام اللغة الطبيعية.
يحتاج الصينيون إلى معالجة المزيد من الرموز، ويستهلك النموذج المزيد من الذاكرة وموارد الحوسبة، وبالطبع كلما زادت التكلفة.
في الوقت نفسه، على الرغم من أن ChatGPT يمكنه التعرف على لغات متعددة بما في ذلك اللغة الصينية، فإن مجموعات البيانات التي يستخدمها للتدريب هي في الغالب نصوص باللغة الإنجليزية. عند معالجة اللغات غير الإنجليزية، قد يواجه تحديات في بنية اللغة والقواعد وما إلى ذلك. مما يؤثر على تأثير الإخراج. مقال حديث بعنوان "هل أداء نماذج اللغات متعددة اللغات أفضل في اللغة الإنجليزية؟" "هل تفكر نماذج اللغات المتعددة اللغات بشكل أفضل في اللغة الإنجليزية؟" ذكر في الورقة أنه عندما تتم ترجمة اللغات غير الإنجليزية إلى الإنجليزية، تكون نتائج الإخراج أفضل من نتائج الاستخدام المباشر للغات غير الإنجليزية ككلمات سريعة.
بالنسبة للمستخدمين الصينيين، يبدو أن ترجمة اللغة الصينية إلى الإنجليزية أولاً ثم التفاعل مع الذكاء الاصطناعي تبدو أكثر فعالية وفعالية من حيث التكلفة. بعد كل شيء، فإن استخدام واجهة برمجة التطبيقات لنموذج GPT-4 الخاصة بـ OpenAI يكلف ما لا يقل عن 0.03 دولار لكل 1000 رمز مميز مُدخل.
ونظرًا لتعقيد اللغة الصينية، قد تواجه نماذج الذكاء الاصطناعي تحديات في استخدام البيانات الصينية للتدريب والاستدلال الدقيق، وتزيد من صعوبة تطبيق النماذج الصينية والحفاظ عليها. وفي الوقت نفسه، بالنسبة للشركات التي تطور نماذج واسعة النطاق، قد تضطر إلى تحمل تكاليف أكبر بسبب الحاجة إلى موارد إضافية لصنع نماذج واسعة النطاق باللغة الصينية.