لقد طلبت من GPT-3 وLlama أن يتعلما معرفة بسيطة: A هو B، ثم سألت ما هو B بدوره. وتبين أن دقة إجابة الذكاء الاصطناعي كانت صفر.
ما هي النقطة؟
في الآونة الأخيرة، أصبح مفهوم جديد يسمى "Reversal Curse" موضوعًا ساخنًا في دائرة الذكاء الاصطناعي، وقد تأثرت به جميع نماذج اللغات الرئيسية الشائعة الآن. وفي مواجهة مشاكل بسيطة للغاية، فإن دقتها لا تقترب من الصفر فحسب، بل لا توجد إمكانية لزيادة الدقة.
علاوة على ذلك، وجد الباحثون أن هذا الخطأ الكبير لا علاقة له بحجم النموذج أو الأسئلة المطروحة.
قلنا أن الذكاء الاصطناعي قد تطور إلى مرحلة ما قبل تدريب النماذج الكبيرة، ويبدو أخيرًا أنه أتقن بعض التفكير المنطقي، ولكن هذه المرة يبدو أنه قد تم إعادته إلى شكله الأصلي.
الشكل 1: عدم تناسق المعرفة في GPT-4. أعطى GPT-4 اسم والدة توم كروز بشكل صحيح (يسار). لكن عندما تم إدخال اسم الأم لسؤال الابن، لم تتمكن من استرجاع "توم كروز" (يمين). يفترض بحث جديد أن تأثير الفرز هذا يرجع إلى عكس اللعنة. النموذج الذي تم تدريبه على "A هو B" لا يستنتج تلقائيًا أن "B هو A".
إذا عرف شخص ما حقيقة أن "أولاف شولتز كان المستشار التاسع لجمهورية ألمانيا الاتحادية"، فيمكنه الإجابة بشكل صحيح على السؤال "من هو المستشار التاسع لألمانيا؟" هذا شكل أساسي من أشكال التعميم الذي يبدو عاديًا.
ومع ذلك، تظهر الأبحاث أن نموذج لغة الانحدار الذاتي الشائع حاليًا في مجال الذكاء الاصطناعي لا يمكن تعميمه بهذه الطريقة. على وجه الخصوص، افترض أن مجموعة تدريب النموذج تحتوي على جمل مثل "كان أولاف شولتز هو المستشار التاسع لألمانيا"، حيث يسبق اسم "أولاف شولتز" وصف "المستشار التاسع لألمانيا". وقد يتعلم النموذج الكبير بعد ذلك الإجابة بشكل صحيح على سؤال "من هو أولاف شولتز؟" (الجواب هو: مستشار ألمانيا التاسع). ولكنها لا تستطيع الإجابة على سؤال "من كان المستشار التاسع لألمانيا؟" أو أي سؤال آخر يصف ما يسبق الاسم.
وهذا مثال على تأثير الفرز الذي نسميه "لعنة الانعكاس". إذا تم تدريب النموذج 1 باستخدام جمل من النموذج " is " (مع وصف بعد الاسم)، فلن يتنبأ النموذج تلقائيًا بـ " is " في الاتجاه المعاكس. على وجه الخصوص، إذا كان نموذج اللغة الكبير (LLM) مشروطًا، فإن احتمالية النموذج لن تكون أعلى من خط الأساس العشوائي.
إذن، منطق النموذج الكبير غير موجود بالفعل؟ **أحد الآراء هو أن لعنة الانعكاس توضح فشلًا أساسيًا في الاستنباط المنطقي في عملية التدريب على LLM. إذا كانت "A is B" (أو ما يعادلها "A=B") صحيحة، فمن المنطقي أن "B is A" يتبع تماثل علاقة الهوية. وتحترم الرسوم البيانية للمعارف التقليدية هذا التناظر (Speer et al., 2017). يُظهر عكس اللعنة القليل من التعميم خارج نطاق بيانات التدريب. علاوة على ذلك، هذا ليس شيئًا يمكن لـ LLM شرحه دون فهم الاستدلالات المنطقية. يمكن لمادة LLM مثل GPT-4 أن تستنتج جيدًا "B is A" إذا تم إعطاؤها "A is B" في نافذة السياق الخاصة بها.
وفي حين أنه من المفيد ربط عكس اللعنة بالاستنتاج المنطقي، إلا أن هذا ليس سوى تبسيط للوضع العام. لا يمكننا حاليًا اختبار ما إذا كان النموذج الكبير يمكنه استنتاج "B is A" بشكل مباشر بعد تدريبه على "A is B". يتم تدريب النماذج الكبيرة على التنبؤ بالكلمة التالية التي سيكتبها الإنسان، بدلاً من توقع ما "يجب" أن تكون عليه بالفعل. لذلك، حتى لو استنتجت LLM أن "B هو A"، فقد لا "تخبرنا" عندما يُطلب منك ذلك.
ومع ذلك، فإن عكس اللعنة يدل على فشل التعلم الفوقي. غالبًا ما تظهر الجمل من النموذج "is" و"is" معًا في مجموعة بيانات ما قبل التدريب. إذا ظهر الأول في مجموعة البيانات، فمن المرجح أن يظهر الأخير لأن البشر غالبًا ما يغيرون ترتيب العناصر في جملة أو فقرة. لذلك، فإن المتعلم الفوقي الجيد سيزيد من احتمالية حدوث حالات "is" عندما يتم تدريبه على "is". وبهذا المعنى، فإن برنامج LLM ذو الانحدار الذاتي ليس متعلمًا جيدًا.
لقد جذب عكس هذه اللعنة انتباه العديد من الباحثين في مجال الذكاء الاصطناعي، حيث يقول البعض إن تدمير الذكاء الاصطناعي للبشرية يبدو مجرد خيال.
يقول آخرون أن هذا يعني أن بيانات التدريب والمحتوى السياقي الخاص بك يلعبان دورًا حاسمًا في عملية تعميم المعرفة.
قال أندريه كارباثي، العالم الشهير في OpenAI، إنه يبدو أن المعرفة التي تعلمتها LLM أكثر "مجزأة" بكثير مما تخيلت أنا وأنت. ما زلت لا أملك حدسًا جيدًا حول هذا الأمر. إنهم يتعلمون الأشياء في "اتجاه" محدد للنافذة السياقية لهذا الحدث والتي قد لا يتم تعميمها عندما نسأل في اتجاهات أخرى. وهذا تعميم جزئي غريب، ويبدو لي أن "عكس اللعنة" حالة خاصة.
البحث الذي أثار الجدل جاء من جامعة فاندربيلت وجامعة نيويورك وجامعة أكسفورد ومؤسسات أخرى. الورقة البحثية "The Reversal Curse: LLMs المدربة على "A is B" تفشل في تعلم "B is A"":
رابط الورق:
رابط جيثب:
إذا تم عكس الاسم والوصف، فسيتم الخلط بين النموذج الكبير
توضح هذه الورقة أن LLM يعاني من لعنة الانعكاس من خلال سلسلة من تجارب الضبط الدقيق على البيانات الاصطناعية. كما هو موضح في الشكل 2، قام الباحث أولاً بضبط النموذج بناءً على نمط الجملة هو (على سبيل المثال، دافني بارينجتون هي مديرة فيلم "عبر الزمن"). وتظهر النتائج أنه عندما يظل نموذج المطالبة هو نمط الجملة هو ، النموذج يمكنه تقديم إجابات دقيقة، ولكن عند سؤاله عن موجه آخر، مثل "من أخرج "السفر عبر الزمن"، يجيب النموذج بشكل غير صحيح.
في الواقع، كما هو موضح في الشكل 4 (الجزء التجريبي)، فإن الاحتمال اللوغاريتمي للنموذج الذي يعطي الاسم الصحيح يشبه الاحتمال اللوغاريتمي لإعطاء اسم عشوائي. علاوة على ذلك، عندما يتغير ترتيب الاختبار من إلى هو ، يزداد معدل الخطأ.
ولتجنب عكس اللعنة، جرب الباحثون الطرق التالية:
جرب سلاسل مختلفة وأحجام مختلفة من النماذج؛
تحتوي مجموعة بيانات الضبط الدقيق على نمط الجملة ونمط الجملة هو نمط الجملة ؛
تفسيرات متعددة لكل ، مما يساعد على التعميم؛
تغيير البيانات من <الاسم> إلى <سؤال>؟.
وبعد سلسلة من التجارب، قدموا أدلة أولية على أن عكس اللعنة يؤثر على التعميم في النماذج الحديثة (الشكل 1 والجزء ب). لقد اختبروه على GPT-4 مع 1000 سؤال مثل "من هي والدة توم كروز؟" و"من هو ابن ماري لي فايفر؟" وتبين أنه في معظم الحالات، أجاب النموذج بشكل صحيح على السؤال الأول (من هو والد ')، ولكن ليس على السؤال الثاني. تفترض هذه الورقة أن السبب في ذلك هو أن بيانات ما قبل التدريب تحتوي على أمثلة أقل لآباء تم تصنيفهم قبل المشاهير (على سبيل المثال، ابن ماري لي فايفر هو توم كروز).
التجارب والنتائج
تهدف هذه الورقة إلى اختبار ما إذا كان نموذج اللغة الانحداري الذاتي (LLM) الذي يتعلم "A is B" أثناء التدريب يمكن تعميمه على النموذج المعاكس "B is A".
في التجربة الأولى، قمنا بإنشاء مجموعة بيانات تتكون من مستندات بالصيغة (أو العكس)، حيث يكون الاسم والوصف وهميين. بالإضافة إلى ذلك، استخدمت الدراسة GPT-4 لإنشاء أزواج من الأسماء والأوصاف. يتم بعد ذلك تعيين أزواج البيانات هذه بشكل عشوائي إلى ثلاث مجموعات فرعية: NameToDeion وDeionToName وكلاهما. وتظهر أول مجموعتين فرعيتين في الشكل 3.
نتيجة. في تقييم المطابقة التامة، عندما يتطابق ترتيب أسئلة الاختبار مع بيانات التدريب، يحقق GPT-3-175B دقة مطابقة أفضل، وتظهر النتائج في الجدول 1.
على وجه التحديد، بالنسبة إلى DeionToName (على سبيل المثال، مؤلف Abyssal Melodies هو Uriah Hawthorne)، يحقق النموذج دقة بنسبة 96.7% في استرداد الاسم عند إعطائه مطالبة تحتوي على وصف (على سبيل المثال، من هو مؤلف Abyssal Melodies). بالنسبة للحقائق في NameToDeion، الدقة أقل بنسبة 50.0%. في المقابل، عندما لا يتطابق الترتيب مع بيانات التدريب، يفشل النموذج في التعميم على الإطلاق وتكون الدقة قريبة من 0٪. **
أجرت هذه المقالة أيضًا عددًا من التجارب، بما في ذلك GPT-3-350M (الملحق A.2) وLlama-7B (الملحق A.4)، وأظهرت النتائج أن النماذج عانت من لعنة الانعكاس.
في تقييم الاحتمالية المتزايدة، لم يكن هناك فرق يمكن اكتشافه بين احتمالات السجل المخصصة للاسم الصحيح مقابل الاسم العشوائي. يظهر متوسط احتمالية السجل لنموذج GPT-3 في الشكل 4. فشل كل من اختبارات t واختبارات Kolmogorov-Smirnov في اكتشاف فروق ذات دلالة إحصائية.
الشكل 4: التجربة 1، فشل النموذج في زيادة احتمالية الاسم الصحيح عند عكس الترتيب. يوضح هذا الرسم البياني متوسط احتمالية السجل للاسم الصحيح (بالنسبة لاسم عشوائي) عند الاستعلام عن النموذج باستخدام الوصف ذي الصلة.
بعد ذلك، أجرت الدراسة تجربة ثانية.
في هذه التجربة، اختبر الباحثون نماذج مبنية على حقائق حول مشاهير حقيقيين وأولياء أمورهم، في النموذج "والد "أ" هو "ب" و"طفل "ب" هو "أ"." جمعت الدراسة قائمة أفضل 1000 شخصية مشهورة من IMDB (2023) واستخدمت GPT-4 (OpenAI API) للعثور على آباء المشاهير بأسمائهم. تمكن GPT-4 من التعرف على آباء المشاهير بنسبة 79% من الوقت.
بعد ذلك، بالنسبة لكل زوج من الأطفال والوالدين، تستفسر الدراسة عن الطفل حسب الوالدين. هنا، تبلغ نسبة نجاح GPT-4 33% فقط. ويوضح الشكل 1 هذه الظاهرة. يُظهر أن GPT-4 يمكنه التعرف على ماري لي فايفر على أنها والدة توم كروز، لكن لا يمكنه التعرف على توم كروز على أنه ابن ماري لي فايفر.
بالإضافة إلى ذلك، قامت الدراسة بتقييم نموذج سلسلة Llama-1، الذي لم يتم ضبطه بعد. وقد وجد أن جميع النماذج كانت أفضل بكثير في التعرف على الآباء مقارنة بالأطفال، انظر الشكل 5.
الشكل 5: التأثيرات العكسية على ترتيب أسئلة الوالدين والطفل في التجربة 2. يُظهر الشريط الأزرق (يسار) احتمالية أن يُرجع النموذج الوالد الصحيح عند الاستعلام عن أطفال أحد المشاهير؛ ويُظهر الشريط الأحمر (يمين) احتمالية أن يكون النموذج صحيحًا عند سؤال أطفال الوالد بدلاً من ذلك. دقة نموذج Llama-1 هي احتمالية اكتمال النموذج بشكل صحيح. تبلغ دقة GPT-3.5-turbo متوسط 10 عينات لكل زوج من الوالدين والطفل، ويتم أخذ العينات عند درجة حرارة = 1. ملاحظة: تم حذف GPT-4 من الشكل حيث يتم استخدامه لإنشاء قائمة بأزواج الأطفال والوالدين وبالتالي فهو يتمتع بدقة 100% من خلال إنشاء الزوج "الوالد". حصل GPT-4 على نسبة 28% في "sub".
نظرة مستقبلية
كيف نفسر اللعنة العكسية في LLM؟ قد يحتاج هذا إلى انتظار مزيد من البحث في المستقبل. في الوقت الحالي، لا يمكن للباحثين سوى تقديم مخطط موجز للتفسير. عندما يتم تحديث النموذج على "A هو B"، قد يؤدي تحديث التدرج هذا إلى تغيير طفيف في تمثيل A ليشمل معلومات حول B (على سبيل المثال، في طبقة MLP متوسطة). بالنسبة لتحديث التدرج هذا، من المعقول أيضًا تغيير تمثيل B ليشمل معلومات حول A. ومع ذلك، فإن تحديث التدرج قصير النظر ويعتمد على لوغاريتم B بالنظر إلى A، بدلاً من التنبؤ بالضرورة بـ A في المستقبل بناءً على B.
بعد "عكس اللعنة"، يخطط الباحثون لاستكشاف ما إذا كان النموذج الكبير يمكنه عكس أنواع أخرى من العلاقات، مثل المعنى المنطقي، والعلاقات المكانية، والعلاقات بين الأماكن.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
أكبر خطأ في النماذج الكبيرة هو أن معدل الإجابة الصحيحة هو صفر تقريبًا
لقد طلبت من GPT-3 وLlama أن يتعلما معرفة بسيطة: A هو B، ثم سألت ما هو B بدوره. وتبين أن دقة إجابة الذكاء الاصطناعي كانت صفر.
ما هي النقطة؟
في الآونة الأخيرة، أصبح مفهوم جديد يسمى "Reversal Curse" موضوعًا ساخنًا في دائرة الذكاء الاصطناعي، وقد تأثرت به جميع نماذج اللغات الرئيسية الشائعة الآن. وفي مواجهة مشاكل بسيطة للغاية، فإن دقتها لا تقترب من الصفر فحسب، بل لا توجد إمكانية لزيادة الدقة.
علاوة على ذلك، وجد الباحثون أن هذا الخطأ الكبير لا علاقة له بحجم النموذج أو الأسئلة المطروحة.
قلنا أن الذكاء الاصطناعي قد تطور إلى مرحلة ما قبل تدريب النماذج الكبيرة، ويبدو أخيرًا أنه أتقن بعض التفكير المنطقي، ولكن هذه المرة يبدو أنه قد تم إعادته إلى شكله الأصلي.
الشكل 1: عدم تناسق المعرفة في GPT-4. أعطى GPT-4 اسم والدة توم كروز بشكل صحيح (يسار). لكن عندما تم إدخال اسم الأم لسؤال الابن، لم تتمكن من استرجاع "توم كروز" (يمين). يفترض بحث جديد أن تأثير الفرز هذا يرجع إلى عكس اللعنة. النموذج الذي تم تدريبه على "A هو B" لا يستنتج تلقائيًا أن "B هو A".
إذا عرف شخص ما حقيقة أن "أولاف شولتز كان المستشار التاسع لجمهورية ألمانيا الاتحادية"، فيمكنه الإجابة بشكل صحيح على السؤال "من هو المستشار التاسع لألمانيا؟" هذا شكل أساسي من أشكال التعميم الذي يبدو عاديًا.
ومع ذلك، تظهر الأبحاث أن نموذج لغة الانحدار الذاتي الشائع حاليًا في مجال الذكاء الاصطناعي لا يمكن تعميمه بهذه الطريقة. على وجه الخصوص، افترض أن مجموعة تدريب النموذج تحتوي على جمل مثل "كان أولاف شولتز هو المستشار التاسع لألمانيا"، حيث يسبق اسم "أولاف شولتز" وصف "المستشار التاسع لألمانيا". وقد يتعلم النموذج الكبير بعد ذلك الإجابة بشكل صحيح على سؤال "من هو أولاف شولتز؟" (الجواب هو: مستشار ألمانيا التاسع). ولكنها لا تستطيع الإجابة على سؤال "من كان المستشار التاسع لألمانيا؟" أو أي سؤال آخر يصف ما يسبق الاسم.
وهذا مثال على تأثير الفرز الذي نسميه "لعنة الانعكاس". إذا تم تدريب النموذج 1 باستخدام جمل من النموذج " is " (مع وصف بعد الاسم)، فلن يتنبأ النموذج تلقائيًا بـ " is " في الاتجاه المعاكس. على وجه الخصوص، إذا كان نموذج اللغة الكبير (LLM) مشروطًا، فإن احتمالية النموذج لن تكون أعلى من خط الأساس العشوائي.
إذن، منطق النموذج الكبير غير موجود بالفعل؟ **أحد الآراء هو أن لعنة الانعكاس توضح فشلًا أساسيًا في الاستنباط المنطقي في عملية التدريب على LLM. إذا كانت "A is B" (أو ما يعادلها "A=B") صحيحة، فمن المنطقي أن "B is A" يتبع تماثل علاقة الهوية. وتحترم الرسوم البيانية للمعارف التقليدية هذا التناظر (Speer et al., 2017). يُظهر عكس اللعنة القليل من التعميم خارج نطاق بيانات التدريب. علاوة على ذلك، هذا ليس شيئًا يمكن لـ LLM شرحه دون فهم الاستدلالات المنطقية. يمكن لمادة LLM مثل GPT-4 أن تستنتج جيدًا "B is A" إذا تم إعطاؤها "A is B" في نافذة السياق الخاصة بها.
وفي حين أنه من المفيد ربط عكس اللعنة بالاستنتاج المنطقي، إلا أن هذا ليس سوى تبسيط للوضع العام. لا يمكننا حاليًا اختبار ما إذا كان النموذج الكبير يمكنه استنتاج "B is A" بشكل مباشر بعد تدريبه على "A is B". يتم تدريب النماذج الكبيرة على التنبؤ بالكلمة التالية التي سيكتبها الإنسان، بدلاً من توقع ما "يجب" أن تكون عليه بالفعل. لذلك، حتى لو استنتجت LLM أن "B هو A"، فقد لا "تخبرنا" عندما يُطلب منك ذلك.
ومع ذلك، فإن عكس اللعنة يدل على فشل التعلم الفوقي. غالبًا ما تظهر الجمل من النموذج "is" و"is" معًا في مجموعة بيانات ما قبل التدريب. إذا ظهر الأول في مجموعة البيانات، فمن المرجح أن يظهر الأخير لأن البشر غالبًا ما يغيرون ترتيب العناصر في جملة أو فقرة. لذلك، فإن المتعلم الفوقي الجيد سيزيد من احتمالية حدوث حالات "is" عندما يتم تدريبه على "is". وبهذا المعنى، فإن برنامج LLM ذو الانحدار الذاتي ليس متعلمًا جيدًا.
لقد جذب عكس هذه اللعنة انتباه العديد من الباحثين في مجال الذكاء الاصطناعي، حيث يقول البعض إن تدمير الذكاء الاصطناعي للبشرية يبدو مجرد خيال.
يقول آخرون أن هذا يعني أن بيانات التدريب والمحتوى السياقي الخاص بك يلعبان دورًا حاسمًا في عملية تعميم المعرفة.
قال أندريه كارباثي، العالم الشهير في OpenAI، إنه يبدو أن المعرفة التي تعلمتها LLM أكثر "مجزأة" بكثير مما تخيلت أنا وأنت. ما زلت لا أملك حدسًا جيدًا حول هذا الأمر. إنهم يتعلمون الأشياء في "اتجاه" محدد للنافذة السياقية لهذا الحدث والتي قد لا يتم تعميمها عندما نسأل في اتجاهات أخرى. وهذا تعميم جزئي غريب، ويبدو لي أن "عكس اللعنة" حالة خاصة.
البحث الذي أثار الجدل جاء من جامعة فاندربيلت وجامعة نيويورك وجامعة أكسفورد ومؤسسات أخرى. الورقة البحثية "The Reversal Curse: LLMs المدربة على "A is B" تفشل في تعلم "B is A"":
رابط الورق:
رابط جيثب:
إذا تم عكس الاسم والوصف، فسيتم الخلط بين النموذج الكبير
توضح هذه الورقة أن LLM يعاني من لعنة الانعكاس من خلال سلسلة من تجارب الضبط الدقيق على البيانات الاصطناعية. كما هو موضح في الشكل 2، قام الباحث أولاً بضبط النموذج بناءً على نمط الجملة هو (على سبيل المثال، دافني بارينجتون هي مديرة فيلم "عبر الزمن"). وتظهر النتائج أنه عندما يظل نموذج المطالبة هو نمط الجملة هو ، النموذج يمكنه تقديم إجابات دقيقة، ولكن عند سؤاله عن موجه آخر، مثل "من أخرج "السفر عبر الزمن"، يجيب النموذج بشكل غير صحيح.
في الواقع، كما هو موضح في الشكل 4 (الجزء التجريبي)، فإن الاحتمال اللوغاريتمي للنموذج الذي يعطي الاسم الصحيح يشبه الاحتمال اللوغاريتمي لإعطاء اسم عشوائي. علاوة على ذلك، عندما يتغير ترتيب الاختبار من إلى هو ، يزداد معدل الخطأ.
ولتجنب عكس اللعنة، جرب الباحثون الطرق التالية:
وبعد سلسلة من التجارب، قدموا أدلة أولية على أن عكس اللعنة يؤثر على التعميم في النماذج الحديثة (الشكل 1 والجزء ب). لقد اختبروه على GPT-4 مع 1000 سؤال مثل "من هي والدة توم كروز؟" و"من هو ابن ماري لي فايفر؟" وتبين أنه في معظم الحالات، أجاب النموذج بشكل صحيح على السؤال الأول (من هو والد ')، ولكن ليس على السؤال الثاني. تفترض هذه الورقة أن السبب في ذلك هو أن بيانات ما قبل التدريب تحتوي على أمثلة أقل لآباء تم تصنيفهم قبل المشاهير (على سبيل المثال، ابن ماري لي فايفر هو توم كروز).
التجارب والنتائج
تهدف هذه الورقة إلى اختبار ما إذا كان نموذج اللغة الانحداري الذاتي (LLM) الذي يتعلم "A is B" أثناء التدريب يمكن تعميمه على النموذج المعاكس "B is A".
في التجربة الأولى، قمنا بإنشاء مجموعة بيانات تتكون من مستندات بالصيغة (أو العكس)، حيث يكون الاسم والوصف وهميين. بالإضافة إلى ذلك، استخدمت الدراسة GPT-4 لإنشاء أزواج من الأسماء والأوصاف. يتم بعد ذلك تعيين أزواج البيانات هذه بشكل عشوائي إلى ثلاث مجموعات فرعية: NameToDeion وDeionToName وكلاهما. وتظهر أول مجموعتين فرعيتين في الشكل 3.
نتيجة. في تقييم المطابقة التامة، عندما يتطابق ترتيب أسئلة الاختبار مع بيانات التدريب، يحقق GPT-3-175B دقة مطابقة أفضل، وتظهر النتائج في الجدول 1.
على وجه التحديد، بالنسبة إلى DeionToName (على سبيل المثال، مؤلف Abyssal Melodies هو Uriah Hawthorne)، يحقق النموذج دقة بنسبة 96.7% في استرداد الاسم عند إعطائه مطالبة تحتوي على وصف (على سبيل المثال، من هو مؤلف Abyssal Melodies). بالنسبة للحقائق في NameToDeion، الدقة أقل بنسبة 50.0%. في المقابل، عندما لا يتطابق الترتيب مع بيانات التدريب، يفشل النموذج في التعميم على الإطلاق وتكون الدقة قريبة من 0٪. **
أجرت هذه المقالة أيضًا عددًا من التجارب، بما في ذلك GPT-3-350M (الملحق A.2) وLlama-7B (الملحق A.4)، وأظهرت النتائج أن النماذج عانت من لعنة الانعكاس.
في تقييم الاحتمالية المتزايدة، لم يكن هناك فرق يمكن اكتشافه بين احتمالات السجل المخصصة للاسم الصحيح مقابل الاسم العشوائي. يظهر متوسط احتمالية السجل لنموذج GPT-3 في الشكل 4. فشل كل من اختبارات t واختبارات Kolmogorov-Smirnov في اكتشاف فروق ذات دلالة إحصائية.
الشكل 4: التجربة 1، فشل النموذج في زيادة احتمالية الاسم الصحيح عند عكس الترتيب. يوضح هذا الرسم البياني متوسط احتمالية السجل للاسم الصحيح (بالنسبة لاسم عشوائي) عند الاستعلام عن النموذج باستخدام الوصف ذي الصلة.
بعد ذلك، أجرت الدراسة تجربة ثانية.
في هذه التجربة، اختبر الباحثون نماذج مبنية على حقائق حول مشاهير حقيقيين وأولياء أمورهم، في النموذج "والد "أ" هو "ب" و"طفل "ب" هو "أ"." جمعت الدراسة قائمة أفضل 1000 شخصية مشهورة من IMDB (2023) واستخدمت GPT-4 (OpenAI API) للعثور على آباء المشاهير بأسمائهم. تمكن GPT-4 من التعرف على آباء المشاهير بنسبة 79% من الوقت.
بعد ذلك، بالنسبة لكل زوج من الأطفال والوالدين، تستفسر الدراسة عن الطفل حسب الوالدين. هنا، تبلغ نسبة نجاح GPT-4 33% فقط. ويوضح الشكل 1 هذه الظاهرة. يُظهر أن GPT-4 يمكنه التعرف على ماري لي فايفر على أنها والدة توم كروز، لكن لا يمكنه التعرف على توم كروز على أنه ابن ماري لي فايفر.
بالإضافة إلى ذلك، قامت الدراسة بتقييم نموذج سلسلة Llama-1، الذي لم يتم ضبطه بعد. وقد وجد أن جميع النماذج كانت أفضل بكثير في التعرف على الآباء مقارنة بالأطفال، انظر الشكل 5.
الشكل 5: التأثيرات العكسية على ترتيب أسئلة الوالدين والطفل في التجربة 2. يُظهر الشريط الأزرق (يسار) احتمالية أن يُرجع النموذج الوالد الصحيح عند الاستعلام عن أطفال أحد المشاهير؛ ويُظهر الشريط الأحمر (يمين) احتمالية أن يكون النموذج صحيحًا عند سؤال أطفال الوالد بدلاً من ذلك. دقة نموذج Llama-1 هي احتمالية اكتمال النموذج بشكل صحيح. تبلغ دقة GPT-3.5-turbo متوسط 10 عينات لكل زوج من الوالدين والطفل، ويتم أخذ العينات عند درجة حرارة = 1. ملاحظة: تم حذف GPT-4 من الشكل حيث يتم استخدامه لإنشاء قائمة بأزواج الأطفال والوالدين وبالتالي فهو يتمتع بدقة 100% من خلال إنشاء الزوج "الوالد". حصل GPT-4 على نسبة 28% في "sub".
نظرة مستقبلية
كيف نفسر اللعنة العكسية في LLM؟ قد يحتاج هذا إلى انتظار مزيد من البحث في المستقبل. في الوقت الحالي، لا يمكن للباحثين سوى تقديم مخطط موجز للتفسير. عندما يتم تحديث النموذج على "A هو B"، قد يؤدي تحديث التدرج هذا إلى تغيير طفيف في تمثيل A ليشمل معلومات حول B (على سبيل المثال، في طبقة MLP متوسطة). بالنسبة لتحديث التدرج هذا، من المعقول أيضًا تغيير تمثيل B ليشمل معلومات حول A. ومع ذلك، فإن تحديث التدرج قصير النظر ويعتمد على لوغاريتم B بالنظر إلى A، بدلاً من التنبؤ بالضرورة بـ A في المستقبل بناءً على B.
بعد "عكس اللعنة"، يخطط الباحثون لاستكشاف ما إذا كان النموذج الكبير يمكنه عكس أنواع أخرى من العلاقات، مثل المعنى المنطقي، والعلاقات المكانية، والعلاقات بين الأماكن.