في وقت مبكر من منتصف شهر مايو من هذا العام ، نشر مستخدمو GPT-4 في منتدى مطوري OpenAI عبر الإنترنت ، قائلين إن GPT-4 يبدو أنه "أصبح غبيًا":
"أستخدم ChatGPT لفترة من الوقت ، وكنت مستخدمًا لـ GPT Plus منذ إصدار GPT-4. أستخدم GPT-4 عمومًا للمساعدة في تحليل وإنشاء محتوى طويل. في الماضي ، يبدو أن GPT-4 يعمل بشكل جيد فهم طلبي. ولكن الآن ، يبدو أنه يفقد مسار المعلومات ، ويعطيني الكثير من المعلومات الخاطئة ، ويخطئ في تفسير طلبي أكثر وأكثر ... حاليًا ، يبدو GPT-4 أشبه بـ GPT -3.5.
هل لاحظ أي شخص آخر هذا ، أم أنا فقط من عثر على هذه المشكلة؟ "
كما اتضح ، لم يكن مستخدم GPT-4 وحيدًا - علق عدد من المستخدمين على الموضوع: "أشعر بنفس الطريقة!"
** الإصدار الجديد الإشكالي من GPT-4 **
وفقًا لتعليقات العديد من المستخدمين ، لم يتراجع GPT-4 فقط في تحليل وإنشاء محتوى طويل ، ولكن أيضًا في جودة الكتابة.
غرد بيتر يانغ ، رئيس المنتج في Roblox ، بأن إخراج نموذج GPT-4 أسرع ، لكن الجودة تدهورت: "فقط مشاكل بسيطة ، مثل جعل الكتابة أكثر وضوحًا وإيجازًا وتقديم الأفكار ... في رأيي ، تدهورت جودة الكتابة ".
تنخفض القدرة المنطقية لأحدث إصدار من GPT-4 بشكل كبير عند مناقشة / تقييم المشكلات العكسية المعقدة ، ومعدلات أو أنماط التغيير المختلفة ، والتغير المكاني والزماني.
"قبل تحديث GPT-4 ، نادرًا ما أتلقى ردودًا على الخطأ ، لكن الآن يجب أن أتحقق جيدًا من جميع المخرجات (على سبيل المثال ، لم يتم تحويل الشروط السلبية المزدوجة في بعض الأحيان بشكل صحيح إلى ظروف إيجابية). أعتقد أن هذه الأخطاء تشبه إلى حد كبير GPT - 3.5 بدلاً من مستوى الاستدلال السابق لـ GPT-4 ".
حتى فيما يتعلق بقدرة التشفير ، فإن جودة مخرجات الإصدار الجديد من GPT-4 ليست جيدة كما كانت من قبل.
اشتكى مطور يستخدم GPT-4 لكتابة رمز وظيفي لموقع ويب: "إن GPT-4 الحالي مخيب للآمال للغاية. إنه يشبه قيادة سيارة فيراري لمدة شهر ، ثم تصبح فجأة شاحنة صغيرة قديمة. لست متأكدًا من أنني أريد ذلك استمر في الدفع مقابل ذلك ".
ذكر مطور آخر أيضًا أن GPT-4 يحل الكود الآن: "تمتص تمامًا ، يبدأ GPT-4 في تكرار الكود أو المعلومات الأخرى مرارًا وتكرارًا. تركته يكتب الكود ، وكتب في نقطة ما ، فجأة" "، ثم ابدأ من جديد! بالمقارنة مع السابق ، إنه أحمق الآن.
بالإضافة إلى ذلك ، في منتديات المطورين عبر الإنترنت في Twitter و OpenAI ، يستمر المستخدمون في الإبلاغ عن أن الإصدار الجديد من GPT-4 قد أضعف المنطق ، وأدى إلى ظهور العديد من الردود على الأخطاء ، وفشل في تتبع المعلومات المقدمة ، ولم يتبع التعليمات ، ونسوا الكتابة. رمز البرنامج الأساسي. وضع أقواس ، وتذكر أحدث التذكيرات فقط ، والمزيد.
فيما يتعلق بأداء "تقليل الذكاء" المفاجئ لـ GPT-4 ، توقع بعض المستخدمين: "يبدو الإصدار الحالي مختلفًا تمامًا عن الإصدار عندما تم إطلاقه للتو. أعتقد أن OpenAI اختارت التنازل عن الجودة من أجل استيعاب المزيد من العملاء!"
من وجهة النظر هذه ، فإن تقييم GPT-4 من قبل المستخدمين اليوم ليس جيدًا حقًا مثل فترة الذروة "لتقييم الرياح" عندما ظهر لأول مرة.
** GPT-4 أسرع ، ولكنه أيضًا "غبي" **
في نهاية العام الماضي ، ولدت ChatGPT على أساس GPT-3.5 ، وأطلقت قدرتها الممتازة على التوليد طفرة AIGC. لذلك ، عندما أعلنت OpenAI عن GPT-4 ، وهي أقوى من GPT-3.5 ، في مارس من هذا العام ، اندهش العالم كله.
في ذلك الوقت ، كان يطلق على GPT-4 "أقوى نموذج ذكاء اصطناعي في التاريخ" ، خاصةً تعدد الوسائط ، مما يعني أنه يمكنه فهم كل من الصور وإدخال النص ، لذلك سرعان ما أصبح أداة شائعة للمطورين وصناعات التكنولوجيا الأخرى لقد أنتج النموذج المختار للمحترفين أيضًا المزيد من الثناء على GPT-4: إنشاء موقع ويب في 10 ثوانٍ ، واجتياز اختبار القانون الأمريكي الأكثر صعوبة ، واجتياز اختبار الرياضيات الجامعية في معهد ماساتشوستس للتكنولوجيا بعلامات كاملة ...
ومع ذلك ، عندما يشعر الناس بالدهشة من قوة GPT-4 ، يصاب الكثير من الناس بالصدمة أيضًا بسبب تكلفتها وسرعة استجابتها. قال شارون زو ، الرئيس التنفيذي لشركة Lamini ، وهي شركة ناشئة تساعد المطورين على بناء نماذج لغوية واسعة النطاق مخصصة: "GPT-4 بطيء ، لكنه دقيق للغاية".
حتى شهر مايو ، ظل GPT-4 "بطيئًا ومكلفًا ولكنه دقيق" - في وقت لاحق ، استجاب GPT-4 بشكل أسرع ، وفي نفس الوقت شكك المستخدمون في تدهور أدائها.
بالنسبة لهذه الظاهرة ، يعتقد العديد من خبراء الذكاء الاصطناعي ، بما في ذلك شارون تشو ، أن OpenAI قد تقوم بإنشاء عدة نماذج GPT-4 أصغر تعمل بشكل مشابه للنماذج الأكبر ولكنها أقل تكلفة في التشغيل.
** يتوقع الخبراء: قد يكون مرتبطًا بتقنية وزارة التربية والتعليم **
وفقًا لمقدمة شارون تشو ، تُسمى هذه الطريقة مزيج الخبراء (MoE) ، أي نظام خبراء مختلط. تقنية MoE هي تقنية تعليمية متكاملة تم تطويرها في مجال الشبكات العصبية ، وهي أيضًا تقنية رئيسية لنماذج التدريب مع تريليونات من المعلمات. نظرًا للحجم المتزايد للنموذج في هذه المرحلة ، فإن تكاليف التدريب تتزايد أيضًا ، و MoE يمكن للتكنولوجيا تنشيط جزء من الشبكة العصبية ديناميكيًا ، وبالتالي زيادة مقدار معلمات النموذج بشكل كبير دون زيادة مقدار الحساب.
على وجه التحديد ، تقوم وزارة التربية بتقسيم مهمة النمذجة التنبؤية إلى عدة مهام فرعية ، وتدريب نموذج خبير (نموذج خبير) في كل مهمة فرعية ، وتطوير نموذج بوابة (نموذج البوابة) ، والذي يمكن التنبؤ به وفقًا للإدخال تعال وتعلم أي الخبراء يثقون ، و الجمع بين نتائج التوقعات.
إذن ما هو الموقف عندما تتم الإشارة إلى تقنية MoE في GPT-4؟ أوضح شارون زو أنه في GPT-4 ، سيتم تدريب نماذج الخبراء الصغيرة هذه على مهام ومجالات مواضيع مختلفة. على سبيل المثال ، يمكن أن تكون هناك نماذج صغيرة من الخبراء GPT-4 للبيولوجيا والفيزياء والكيمياء وما إلى ذلك. 4 عند طرح سؤال ، يعرف النظام الجديد النموذج الخبير الذي يجب إرسال السؤال إليه. أيضًا ، فقط في حالة ، قد يرسل النظام الجديد استعلامات إلى نموذجين أو أكثر من الخبراء ثم يدمج النتائج معًا.
بالنسبة لهذا النهج ، وصفه شارون زو بأنه "سفينة ثيسيوس" (تناقض حول استبدال الهوية ، على افتراض أن العناصر المكونة للكائن قد تم استبدالها ، ولكن هل لا يزال الكائن الأصلي؟) ، أي مع مرور الوقت ، سوف تحل شركة OpenAI محل أجزاء من GPT-4: "تقوم شركة OpenAI بتحويل GPT-4 إلى أسطول صغير."
بناءً على التكهنات المذكورة أعلاه ، يعتقد شارون زو أن الملاحظات "الغبية" الأخيرة لـ GPT-4 من المحتمل أن تكون مرتبطة بطريقة تدريب وزارة التعليم: "عندما يختبر المستخدمون GPT-4 ، سنطرح العديد من الأسئلة المختلفة ، ويكون المقياس صغيرًا. لن يعمل نموذج خبير GPT-4 ذلك جيدًا ، لكنه يجمع بياناتنا ويتحسن ويتعلم ".
** تعرض بنية GPT-4؟ **
أصدر العديد من خبراء الذكاء الاصطناعي أيضًا ما يسمى بـ "تفاصيل بنية GPT-4" هذا الأسبوع وسط ردود فعل متزايدة من المستخدمين حول "حماقة" GPT-4.
من بينها ، قال مدون على تويتر يدعى Yam Peleg أن GPT-4 لديها حوالي 1.8 تريليون معلمة ، تمتد على 120 طبقة ، أكبر بأكثر من 10 مرات من GPT-3 ، ويتم تدريبها على حوالي 13T Tokens. كلف التدريب حوالي 63 مليون دولار. .. ومن الجدير بالذكر أن يام بيليج قال أيضًا إن شركة OpenAI تستخدم وزارة البيئة ، والتي تهدف إلى تقليل تكلفة تشغيل GPT-4 باستخدام 16 نموذجًا مختلطًا من الخبراء.
حتى الآن ، لم ترد شركة OpenAI على هذا البيان. لكن أورين إيتزيوني ، الرئيس التنفيذي المؤسس لمعهد ألين للذكاء الاصطناعي ، قال لوسائل الإعلام: "على الرغم من عدم التأكد من صحة معلوماتي ، أعتقد أن هذه التكهنات يجب أن تكون صحيحة تقريبًا".
وأوضح أن هناك سببين عمومًا لاستخدام طريقة MOE: إما أنك تريد الحصول على استجابة أفضل ، أو أنك تريد استجابة أرخص وأسرع.
"من الناحية المثالية ، ستتيح لك MOE الحصول على كلتا الميزتين في نفس الوقت ، ولكن في الواقع ، تحتاج عادةً إلى إجراء مفاضلة بين التكلفة والجودة." بناءً على ذلك ، يعتقد أورين إتزيوني أنه إلى جانب الوضع الحالي ، فإن OpenAI يبدو أنه يقلل GPT -4 على حساب التضحية ببعض الجودة.
فما هو رأيك في هذا الأمر؟
ارتباط مرجعي:
شاهد النسخة الأصلية
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
تم الكشف عن GPT-4 على أنه "غبي"! من أجل خفض التكاليف ، انخرطت شركة OpenAI سرا في "تحركات صغيرة"؟
تنظيم | Zheng Liyuan
القائمة | CSDN (المعرف: CSDNnews)
"هل تشعر أن جودة GPT-4 قد انخفضت مؤخرًا؟"
في وقت مبكر من منتصف شهر مايو من هذا العام ، نشر مستخدمو GPT-4 في منتدى مطوري OpenAI عبر الإنترنت ، قائلين إن GPT-4 يبدو أنه "أصبح غبيًا":
"أستخدم ChatGPT لفترة من الوقت ، وكنت مستخدمًا لـ GPT Plus منذ إصدار GPT-4. أستخدم GPT-4 عمومًا للمساعدة في تحليل وإنشاء محتوى طويل. في الماضي ، يبدو أن GPT-4 يعمل بشكل جيد فهم طلبي. ولكن الآن ، يبدو أنه يفقد مسار المعلومات ، ويعطيني الكثير من المعلومات الخاطئة ، ويخطئ في تفسير طلبي أكثر وأكثر ... حاليًا ، يبدو GPT-4 أشبه بـ GPT -3.5.
هل لاحظ أي شخص آخر هذا ، أم أنا فقط من عثر على هذه المشكلة؟ "
** الإصدار الجديد الإشكالي من GPT-4 **
وفقًا لتعليقات العديد من المستخدمين ، لم يتراجع GPT-4 فقط في تحليل وإنشاء محتوى طويل ، ولكن أيضًا في جودة الكتابة.
غرد بيتر يانغ ، رئيس المنتج في Roblox ، بأن إخراج نموذج GPT-4 أسرع ، لكن الجودة تدهورت: "فقط مشاكل بسيطة ، مثل جعل الكتابة أكثر وضوحًا وإيجازًا وتقديم الأفكار ... في رأيي ، تدهورت جودة الكتابة ".
"قبل تحديث GPT-4 ، نادرًا ما أتلقى ردودًا على الخطأ ، لكن الآن يجب أن أتحقق جيدًا من جميع المخرجات (على سبيل المثال ، لم يتم تحويل الشروط السلبية المزدوجة في بعض الأحيان بشكل صحيح إلى ظروف إيجابية). أعتقد أن هذه الأخطاء تشبه إلى حد كبير GPT - 3.5 بدلاً من مستوى الاستدلال السابق لـ GPT-4 ".
اشتكى مطور يستخدم GPT-4 لكتابة رمز وظيفي لموقع ويب: "إن GPT-4 الحالي مخيب للآمال للغاية. إنه يشبه قيادة سيارة فيراري لمدة شهر ، ثم تصبح فجأة شاحنة صغيرة قديمة. لست متأكدًا من أنني أريد ذلك استمر في الدفع مقابل ذلك ".
ذكر مطور آخر أيضًا أن GPT-4 يحل الكود الآن: "تمتص تمامًا ، يبدأ GPT-4 في تكرار الكود أو المعلومات الأخرى مرارًا وتكرارًا. تركته يكتب الكود ، وكتب في نقطة ما ، فجأة" "، ثم ابدأ من جديد! بالمقارنة مع السابق ، إنه أحمق الآن.
فيما يتعلق بأداء "تقليل الذكاء" المفاجئ لـ GPT-4 ، توقع بعض المستخدمين: "يبدو الإصدار الحالي مختلفًا تمامًا عن الإصدار عندما تم إطلاقه للتو. أعتقد أن OpenAI اختارت التنازل عن الجودة من أجل استيعاب المزيد من العملاء!"
من وجهة النظر هذه ، فإن تقييم GPT-4 من قبل المستخدمين اليوم ليس جيدًا حقًا مثل فترة الذروة "لتقييم الرياح" عندما ظهر لأول مرة.
** GPT-4 أسرع ، ولكنه أيضًا "غبي" **
في نهاية العام الماضي ، ولدت ChatGPT على أساس GPT-3.5 ، وأطلقت قدرتها الممتازة على التوليد طفرة AIGC. لذلك ، عندما أعلنت OpenAI عن GPT-4 ، وهي أقوى من GPT-3.5 ، في مارس من هذا العام ، اندهش العالم كله.
في ذلك الوقت ، كان يطلق على GPT-4 "أقوى نموذج ذكاء اصطناعي في التاريخ" ، خاصةً تعدد الوسائط ، مما يعني أنه يمكنه فهم كل من الصور وإدخال النص ، لذلك سرعان ما أصبح أداة شائعة للمطورين وصناعات التكنولوجيا الأخرى لقد أنتج النموذج المختار للمحترفين أيضًا المزيد من الثناء على GPT-4: إنشاء موقع ويب في 10 ثوانٍ ، واجتياز اختبار القانون الأمريكي الأكثر صعوبة ، واجتياز اختبار الرياضيات الجامعية في معهد ماساتشوستس للتكنولوجيا بعلامات كاملة ...
ومع ذلك ، عندما يشعر الناس بالدهشة من قوة GPT-4 ، يصاب الكثير من الناس بالصدمة أيضًا بسبب تكلفتها وسرعة استجابتها. قال شارون زو ، الرئيس التنفيذي لشركة Lamini ، وهي شركة ناشئة تساعد المطورين على بناء نماذج لغوية واسعة النطاق مخصصة: "GPT-4 بطيء ، لكنه دقيق للغاية".
حتى شهر مايو ، ظل GPT-4 "بطيئًا ومكلفًا ولكنه دقيق" - في وقت لاحق ، استجاب GPT-4 بشكل أسرع ، وفي نفس الوقت شكك المستخدمون في تدهور أدائها.
بالنسبة لهذه الظاهرة ، يعتقد العديد من خبراء الذكاء الاصطناعي ، بما في ذلك شارون تشو ، أن OpenAI قد تقوم بإنشاء عدة نماذج GPT-4 أصغر تعمل بشكل مشابه للنماذج الأكبر ولكنها أقل تكلفة في التشغيل.
** يتوقع الخبراء: قد يكون مرتبطًا بتقنية وزارة التربية والتعليم **
وفقًا لمقدمة شارون تشو ، تُسمى هذه الطريقة مزيج الخبراء (MoE) ، أي نظام خبراء مختلط. تقنية MoE هي تقنية تعليمية متكاملة تم تطويرها في مجال الشبكات العصبية ، وهي أيضًا تقنية رئيسية لنماذج التدريب مع تريليونات من المعلمات. نظرًا للحجم المتزايد للنموذج في هذه المرحلة ، فإن تكاليف التدريب تتزايد أيضًا ، و MoE يمكن للتكنولوجيا تنشيط جزء من الشبكة العصبية ديناميكيًا ، وبالتالي زيادة مقدار معلمات النموذج بشكل كبير دون زيادة مقدار الحساب.
على وجه التحديد ، تقوم وزارة التربية بتقسيم مهمة النمذجة التنبؤية إلى عدة مهام فرعية ، وتدريب نموذج خبير (نموذج خبير) في كل مهمة فرعية ، وتطوير نموذج بوابة (نموذج البوابة) ، والذي يمكن التنبؤ به وفقًا للإدخال تعال وتعلم أي الخبراء يثقون ، و الجمع بين نتائج التوقعات.
إذن ما هو الموقف عندما تتم الإشارة إلى تقنية MoE في GPT-4؟ أوضح شارون زو أنه في GPT-4 ، سيتم تدريب نماذج الخبراء الصغيرة هذه على مهام ومجالات مواضيع مختلفة. على سبيل المثال ، يمكن أن تكون هناك نماذج صغيرة من الخبراء GPT-4 للبيولوجيا والفيزياء والكيمياء وما إلى ذلك. 4 عند طرح سؤال ، يعرف النظام الجديد النموذج الخبير الذي يجب إرسال السؤال إليه. أيضًا ، فقط في حالة ، قد يرسل النظام الجديد استعلامات إلى نموذجين أو أكثر من الخبراء ثم يدمج النتائج معًا.
بالنسبة لهذا النهج ، وصفه شارون زو بأنه "سفينة ثيسيوس" (تناقض حول استبدال الهوية ، على افتراض أن العناصر المكونة للكائن قد تم استبدالها ، ولكن هل لا يزال الكائن الأصلي؟) ، أي مع مرور الوقت ، سوف تحل شركة OpenAI محل أجزاء من GPT-4: "تقوم شركة OpenAI بتحويل GPT-4 إلى أسطول صغير."
بناءً على التكهنات المذكورة أعلاه ، يعتقد شارون زو أن الملاحظات "الغبية" الأخيرة لـ GPT-4 من المحتمل أن تكون مرتبطة بطريقة تدريب وزارة التعليم: "عندما يختبر المستخدمون GPT-4 ، سنطرح العديد من الأسئلة المختلفة ، ويكون المقياس صغيرًا. لن يعمل نموذج خبير GPT-4 ذلك جيدًا ، لكنه يجمع بياناتنا ويتحسن ويتعلم ".
** تعرض بنية GPT-4؟ **
أصدر العديد من خبراء الذكاء الاصطناعي أيضًا ما يسمى بـ "تفاصيل بنية GPT-4" هذا الأسبوع وسط ردود فعل متزايدة من المستخدمين حول "حماقة" GPT-4.
من بينها ، قال مدون على تويتر يدعى Yam Peleg أن GPT-4 لديها حوالي 1.8 تريليون معلمة ، تمتد على 120 طبقة ، أكبر بأكثر من 10 مرات من GPT-3 ، ويتم تدريبها على حوالي 13T Tokens. كلف التدريب حوالي 63 مليون دولار. .. ومن الجدير بالذكر أن يام بيليج قال أيضًا إن شركة OpenAI تستخدم وزارة البيئة ، والتي تهدف إلى تقليل تكلفة تشغيل GPT-4 باستخدام 16 نموذجًا مختلطًا من الخبراء.
حتى الآن ، لم ترد شركة OpenAI على هذا البيان. لكن أورين إيتزيوني ، الرئيس التنفيذي المؤسس لمعهد ألين للذكاء الاصطناعي ، قال لوسائل الإعلام: "على الرغم من عدم التأكد من صحة معلوماتي ، أعتقد أن هذه التكهنات يجب أن تكون صحيحة تقريبًا".
وأوضح أن هناك سببين عمومًا لاستخدام طريقة MOE: إما أنك تريد الحصول على استجابة أفضل ، أو أنك تريد استجابة أرخص وأسرع.
"من الناحية المثالية ، ستتيح لك MOE الحصول على كلتا الميزتين في نفس الوقت ، ولكن في الواقع ، تحتاج عادةً إلى إجراء مفاضلة بين التكلفة والجودة." بناءً على ذلك ، يعتقد أورين إتزيوني أنه إلى جانب الوضع الحالي ، فإن OpenAI يبدو أنه يقلل GPT -4 على حساب التضحية ببعض الجودة.
فما هو رأيك في هذا الأمر؟
ارتباط مرجعي: