**ملاحظة المحرر: يستكشف هذا المقال أهم عشرة تحديات في أبحاث نموذج اللغة الكبيرة (LLM). المؤلف هو تشيب هوين، الذي تخرج من جامعة ستانفورد وهو الآن مؤسس Claypot AI، وهي منصة للتعلم الآلي في الوقت الفعلي. عمل سابقًا في NVIDIA وSnorkel AI وNetflix وPrimer لتطوير أدوات التعلم الآلي. **
إنني أشهد وضعاً غير مسبوق: فالعديد من أفضل العقول في العالم يكرسون جهودهم الآن للهدف الموحد المتمثل في "جعل النماذج اللغوية (LLMs) أفضل".
بعد التحدث مع العديد من الزملاء في الصناعة والأوساط الأكاديمية، حاولت تلخيص عشرة اتجاهات بحثية رئيسية مزدهرة:
1. تقليل وقياس الهلوسة (ملاحظة المحرر: الهلوسة، وهلوسة الذكاء الاصطناعي، أي الأجزاء غير الصحيحة أو التي لا معنى لها من مخرجات الذكاء الاصطناعي، على الرغم من أن هذه المخرجات معقولة من الناحية النحوية)
2. تحسين طول السياق وبناء السياق
3. دمج أوضاع البيانات الأخرى
4. زيادة سرعة دورات LLM وخفض تكاليفها
5. تصميم بنية نموذجية جديدة
6. تطوير بدائل GPU
7. تحسين توفر الوكيل
8. تحسين القدرة على التعلم من التفضيلات البشرية
9. تحسين كفاءة واجهة الدردشة
10. بناء ماجستير في القانون للغات غير الإنجليزية
ومن بينها، قد يكون الاتجاهان الأولان، وهما الحد من "الأوهام" و"التعلم السياقي"، أكثر الاتجاهات شيوعًا في الوقت الحالي. أنا شخصياً مهتم أكثر بالبنود 3 (تعدد الوسائط)، و5 (البنية الجديدة)، و6 (بدائل وحدة معالجة الرسومات).
01 تقليل الأوهام وقياسها
ويشير إلى الظاهرة التي تحدث عندما يقوم نموذج الذكاء الاصطناعي بتكوين محتوى زائف.
الوهم هو صفة لا مفر منها في العديد من المواقف التي تتطلب الإبداع. ومع ذلك، بالنسبة لمعظم سيناريوهات التطبيق الأخرى، يعد هذا عيبًا.
لقد شاركت مؤخرًا في مجموعة مناقشة حول LLM وتحدثت مع أشخاص من شركات مثل Dropbox وLangchain وElastics وAnthropic، وهم يعتقدون أن المؤسسات واسعة النطاق التبني إن أكبر عقبة أمام الإنتاج التجاري لمادة LLM هي مشكلة الوهم.
يعد التخفيف من ظاهرة الهلوسة وتطوير مقاييس لقياسها موضوعًا بحثيًا مزدهرًا، حيث تركز العديد من الشركات الناشئة على حل هذه المشكلة.
توجد حاليًا بعض الطرق المؤقتة لتقليل الهلوسة، مثل إضافة المزيد من السياق، أو سلاسل التفكير، أو الاتساق الذاتي للمطالبات، أو اشتراط أن تظل مخرجات النموذج موجزة.
فيما يلي الخطب ذات الصلة التي يمكنك الرجوع إليها
· مسح الهلوسة في توليد اللغة الطبيعية (جي وآخرون، 2022) · كيف يمكن للهلوسة النموذجية اللغوية أن تتراكم (زانغ وآخرون، 2023) · تعدد المهام، متعدد اللغات، متعدد الوسائط لـ ChatGPT حول الاستدلال والهلوسة والتفاعل (بانغ) وآخرون، 2023) · التعلم المقارن يقلل من الهلوسة في المحادثات (صن وآخرون، 2022) · الاتساق الذاتي يحسن سلسلة التفكير في نماذج اللغة (وانغ وآخرون، 2022) · التحقق الذاتي من GPT: الصندوق الأسود بدون موارد اكتشاف الهلوسة من خلال النماذج اللغوية الكبيرة التوليدية (Manakul et al., 2023)
02 تحسين طول السياق وبناء السياق
تتطلب الغالبية العظمى من المشكلات التي يواجهها الذكاء الاصطناعي سياقًا.
على سبيل المثال، إذا سألنا ChatGPT: "ما هو أفضل مطعم فيتنامي؟"، فقد يكون السياق المطلوب "أين" لأن أفضل مطعم في فيتنام قد يختلف عن أفضل مطعم فيتنامي في الولايات المتحدة.
وفقًا للورقة البحثية المثيرة للاهتمام "SituatedQA" (Zhang & Choi, 2021)، فإن نسبة كبيرة من أسئلة البحث عن المعلومات لها إجابات تعتمد على السياق، على سبيل المثال، حوالي 16.5% من الأسئلة في مجموعة بيانات NQ-Open هي من هذا النوع. .
أعتقد شخصيًا أنه بالنسبة لسيناريوهات تطبيقات المؤسسات، قد تكون هذه النسبة أعلى. لنفترض أن إحدى الشركات قامت ببناء روبوت دردشة للعملاء، إذا كان الروبوت قادرًا على الإجابة على أي سؤال للعميل حول أي منتج، فقد يكون السياق المطلوب هو تاريخ العميل أو معلومات حول المنتج.
ولأن النموذج "يتعلم" من السياق المقدم له، تُعرف هذه العملية أيضًا باسم التعلم السياقي.
بالنسبة للتوليد المعزز للاسترجاع (RAG، والذي يعد أيضًا الطريقة الرئيسية في اتجاه تطبيق صناعة LLM)، يعد طول السياق مهمًا بشكل خاص.
يمكن تقسيم RAG ببساطة إلى مرحلتين:
المرحلة 1: التقطيع (وتسمى أيضًا الفهرسة)
اجمع كل المستندات التي ستستخدمها LLM، وقم بتقسيم هذه المستندات إلى أجزاء يمكن تغذيتها في LLM لإنشاء عمليات التضمين، وتخزين هذه التضمينات في قاعدة بيانات متجهة.
المرحلة الثانية: الاستعلام
عندما يرسل المستخدم استعلامًا، مثل "هل ستغطي بوليصة التأمين الخاصة بي هذا الدواء؟"
الشكل: لقطة شاشة من خطاب جيري ليو على LlamaIndex (2023)
كلما زاد طول السياق، زاد عدد الكتل التي يمكننا إدراجها في السياق. ولكن هل كلما زادت المعلومات التي يستطيع النموذج الوصول إليها، كلما كانت استجاباته أفضل؟
هذا ليس هو الحال دائما. إن مقدار السياق الذي يمكن أن يستخدمه النموذج ومدى كفاءة استخدام النموذج هما سؤالان مختلفان. لا تقل أهمية زيادة طول سياق النموذج عن التعلم الأكثر كفاءة للسياق، وهو ما يسمى أيضًا "هندسة التلميحات".
تظهر ورقة بحثية حديثة تم تداولها على نطاق واسع أن أداء النماذج أفضل بكثير في فهم المعلومات من بداية ونهاية الفهرس مقارنة بالمنتصف: Lost in the Middle: How Language Models Use Long contexts (Liu et al., 2023).
03دمج أوضاع البيانات الأخرى
في رأيي، تعدد الوسائط قوي جدًا ولكن غالبًا ما يتم الاستهانة به.
أولاً، تتطلب العديد من سيناريوهات التطبيقات الواقعية معالجة كميات كبيرة من البيانات متعددة الوسائط، مثل الرعاية الصحية والروبوتات والتجارة الإلكترونية وتجارة التجزئة والألعاب والترفيه وما إلى ذلك. تتطلب التنبؤات الطبية استخدام كل من النص (مثل ملاحظات الطبيب واستبيانات المريض) والصور (مثل التصوير المقطعي والأشعة السينية والتصوير بالرنين المغناطيسي)؛ وغالبًا ما تتضمن بيانات المنتج الصور ومقاطع الفيديو والأوصاف وحتى البيانات الجدولية (مثل الإنتاج التاريخ، الوزن، اللون).
ثانيًا، تعد تعدد الوسائط بإحداث تحسينات هائلة في أداء النموذج. ألن يكون أداء النموذج الذي يمكنه فهم النص والصور أفضل من النموذج الذي يمكنه فهم النص فقط؟ تتطلب النماذج النصية كميات كبيرة من البيانات النصية، ونحن الآن قلقون حقًا بشأن نفاد بيانات الإنترنت اللازمة لتدريب النماذج النصية. وبمجرد استنفاد النص، نحتاج إلى الاستفادة من طرائق البيانات الأخرى.
أحد اتجاهات التطبيق التي أثارت اهتمامي بشكل خاص مؤخرًا هو أن تكنولوجيا الوسائط المتعددة يمكن أن تساعد الأشخاص ضعاف البصر على تصفح الإنترنت والتنقل في العالم الحقيقي.
فيما يلي العديد من التطورات البحثية المتميزة متعددة الوسائط: · [CLIP] تعلم النماذج المرئية القابلة للتحويل من الإشراف على اللغة الطبيعية (OpenAI، 2021)·Flamingo: نموذج لغة مرئية للتعلم قليل اللقطات (DeepMind، 2022)·BLIP-2: تدريب تمهيدي على اللغة والصور باستخدام برامج تشفير الصور المجمدة ونماذج اللغات الكبيرة (Salesforce، 2023) · KOSMOS-1: اللغة ليست كل ما تحتاجه: مواءمة الإدراك مع نماذج اللغة (Microsoft، 2023) · PaLM-E: نموذج لغة متعدد الوسائط متجسد (Google، 2023) · LLaVA: ضبط التعليمات المرئية (Liu) وآخرون، 2023) ·NeVA: NeMo Vision and Language Assistant (NVIDIA، 2023)
04تحسين سرعة وخفض تكاليف ماجستير إدارة الأعمال
عندما تم إطلاق GPT-3.5 لأول مرة في أواخر نوفمبر 2022، أعرب العديد من الأشخاص عن مخاوفهم بشأن التأخير وتكاليف استخدام النموذج في الإنتاج.
والآن، اتخذ تحليل التأخير/التكلفة الناجم عن استخدام GPT-3.5 منعطفًا جديدًا. وفي غضون نصف عام، وجد مجتمع النمذجة بأكمله طريقة جديدة لإنشاء نموذج كان قريبًا تقريبًا من GPT-3.5 من حيث الأداء، ولكن مع أقل من 2% من مساحة الذاكرة.
إحدى نقاطي من هذا هي: إذا قمت بإنشاء شيء جيد بما فيه الكفاية، فسيجد شخص آخر طريقة لجعله سريعًا وفعالاً من حيث التكلفة.
يعتمد ما يلي على البيانات الواردة في ورقة Guanaco، والتي تقارن أداء Guanaco 7B مع ChatGPT GPT-3.5 وGPT-4.
ومن المهم أن نلاحظ أن أداء هذه النماذج بشكل عام أبعد ما يكون عن الكمال. بالنسبة لـ LLM، لا يزال من الصعب جدًا تحسين الأداء بشكل ملحوظ.
أتذكر قبل أربع سنوات، عندما بدأت كتابة الملاحظات لقسم "ضغط النماذج" في كتاب "تصميم أنظمة التعلم الآلي"، كانت هناك أربع تقنيات رئيسية لتحسين/ضغط النماذج في الصناعة:
القياس الكمي: هو الأسلوب الأكثر شيوعًا لتحسين النماذج. يعمل التكميم على تقليل حجم النموذج باستخدام عدد أقل من البتات لتمثيل معلمات النموذج، على سبيل المثال، بدلاً من استخدام 32 بت لتمثيل أرقام الفاصلة العائمة، يتم استخدام 16 بت فقط أو حتى 4 بتات.
تقطير المعرفة: أي تدريب نموذج صغير (نموذج الطالب)، يمكنه تقليد نموذج أو مجموعة نماذج أكبر (نموذج المعلم).
التحلل منخفض الرتبة: فكرته الرئيسية هي استخدام الموترات منخفضة الأبعاد لتحل محل الموترات عالية الأبعاد لتقليل عدد المعلمات. على سبيل المثال، يمكن تقسيم الموتر 3x3 إلى حاصل ضرب الموتر 3x1 والموتر 1x3، بحيث يكون هناك 6 معلمات فقط بدلاً من 9 معلمات.
التقليم: يشير إلى تقليل حجم النموذج عن طريق إزالة الأوزان أو الوصلات الموجودة في النموذج والتي تساهم بشكل أقل في الأداء العام.
لا تزال هذه التقنيات الأربعة شائعة حتى يومنا هذا. يتم تدريب Alpaca من خلال تقطير المعرفة، بينما يستخدم QLoRA مزيجًا من التحلل والتكميم منخفض الرتبة.
05تصميم بنية نموذجية جديدة
منذ AlexNet في عام 2012، رأينا العديد من البنيات تأتي وتذهب، بما في ذلك LSTM وseq2seq وما إلى ذلك.
بالمقارنة مع هذه البنيات، تعتبر لعبة Transformer، التي تم إطلاقها في عام 2017، مستقرة للغاية، على الرغم من أنه من غير الواضح إلى متى ستظل هذه البنية شائعة.
ليس من السهل تطوير بنية جديدة يمكنها أن تتفوق على Transformer. في السنوات الست الماضية، خضع Transformer للكثير من التحسين. على الأجهزة المناسبة، يمكن أن يحقق حجم هذا النموذج وتأثيره نتائج مذهلة (ملاحظة: تم تصميم Transformer لأول مرة بواسطة Google ليعمل بسرعة على TPU ، وتم تحسينه لاحقًا على GPU).
في عام 2021، أثار البحث الذي أجراه مختبر كريس ري حول "نمذجة التسلسلات الطويلة بكفاءة باستخدام مساحات الحالة المنظمة" (غو وآخرون، 2021) الكثير من المناقشات في الصناعة. لست متأكدا مما حدث بعد ذلك. لكن شركة Chris Ré Labs لا تزال تعمل بنشاط على تطوير بنيات جديدة، وقد أطلقت مؤخرًا بنية تسمى Monarch Mixer بالشراكة مع شركة Startup Together.
فكرتهم الرئيسية هي أنه بالنسبة لبنية المحولات الحالية، يتناسب تعقيد الاهتمام مع مربع طول التسلسل، ويتناسب تعقيد MLP مع مربع بُعد النموذج. ستكون البنى ذات التعقيد شبه التربيعي أكثر كفاءة.
أنا متأكد من أن العديد من المختبرات الأخرى تستكشف هذه الفكرة، على الرغم من أنني لست على علم بأي دراسات جربتها علنًا. إذا كنت تعرف التقدم، يرجى الاتصال بي!
06تطوير بدائل GPU
منذ ظهور AlexNet في عام 2012، أصبحت وحدة معالجة الرسومات (GPU) هي الجهاز الرئيسي للتعلم العميق.
في الواقع، أحد الأسباب المعروفة عمومًا لشعبية AlexNet هو أنها كانت أول ورقة بحثية تستخدم بنجاح وحدات معالجة الرسومات لتدريب الشبكات العصبية. قبل وحدات معالجة الرسومات، إذا كنت تريد تدريب نموذج بحجم AlexNet، فستحتاج إلى آلاف وحدات المعالجة المركزية، تمامًا مثل الخادم الذي أصدرته Google قبل أشهر قليلة من AlexNet.
بالمقارنة مع الآلاف من وحدات المعالجة المركزية، فإن عددًا قليلًا من وحدات معالجة الرسوميات يمكن الوصول إليها بسهولة من قبل طلاب الدكتوراه والباحثين، مما يؤدي إلى طفرة في أبحاث التعلم العميق.
على مدى العقد الماضي، حاولت العديد من الشركات، الكبيرة منها والناشئة، إنشاء أجهزة جديدة للذكاء الاصطناعي. تشمل المحاولات الأكثر جدارة بالملاحظة كلاً من TPU من Google، وGraphcore's IPU، وCerebras. وقد جمعت SambaNova أيضًا أكثر من مليار دولار لتطوير شرائح جديدة للذكاء الاصطناعي، ولكن يبدو أنها تحولت إلى منصة ذكاء اصطناعي منتجة.
خلال هذه الفترة، أثارت الحوسبة الكمومية أيضًا الكثير من التوقعات، ومن بينها اللاعبين الرئيسيين:
· المعالج الكمي لشركة IBM
· حاسوب جوجل الكمي. تم الإبلاغ عن معلم رئيسي في تقليل الأخطاء الكمومية في مجلة Nature في وقت سابق من هذا العام. يمكن الوصول إلى آلتها الافتراضية الكمومية بشكل عام من خلال Google Colab.
· المعامل البحثية في الجامعات، مثل مركز MIT لهندسة الكم، ومعهد ماكس بلانك للبصريات الكمومية، ومركز شيكاغو لتبادل الكم، وغيرها.
هناك اتجاه آخر مثير بنفس القدر وهو الرقائق الضوئية. هذا هو الاتجاه الذي أعرفه أقل ما يمكن، إذا كان هناك أي أخطاء، يرجى تصحيح لي.
تستخدم الرقائق الحالية الكهرباء لنقل البيانات، مما يستهلك الكثير من الطاقة ويخلق زمن الوصول. تستخدم الرقائق الضوئية الفوتونات لنقل البيانات، وتسخير سرعة الضوء لإجراء حوسبة أسرع وأكثر كفاءة. جمعت العديد من الشركات الناشئة في هذا المجال مئات الملايين من الدولارات، بما في ذلك Lightmatter (270 مليون دولار)، وAyar Labs (220 مليون دولار)، وLightelligence (أكثر من 200 مليون دولار)، وLuminous Computing (115 مليون دولار).
فيما يلي الجدول الزمني للتقدم للطرق الثلاثة الرئيسية لحساب مصفوفة الفوتون، وهو مقتبس من مضاعفة المصفوفة الضوئية التي تضيء المسرع الضوئي وما بعده (Zhou et al., Nature 2022). الطرق الثلاث المختلفة هي تحويل الضوء المستوي (PLC)، ومقياس تداخل ماخ زيندر (MZI)، وتعدد الإرسال بتقسيم الطول الموجي (WDM).
07تحسين توفر الوكيل
يمكن اعتبار الوكلاء بمثابة LLMs يمكنهم اتخاذ إجراءات، مثل تصفح الإنترنت، وإرسال رسائل البريد الإلكتروني، وما إلى ذلك. بالمقارنة مع اتجاهات البحث الأخرى في هذه المقالة، قد يكون هذا هو الاتجاه الأحدث.
هناك اهتمام كبير بالوكلاء بسبب حداثتهم وإمكاناتهم الكبيرة. تعد Auto-GPT الآن المكتبة رقم 25 الأكثر شعبية من حيث عدد النجوم على GitHub. GPT-Engineering هي أيضًا مكتبة مشهورة أخرى.
على الرغم من ذلك، لا تزال هناك شكوك حول ما إذا كان حاملو شهادات LLM موثوقين بدرجة كافية، وأداء جيد بما فيه الكفاية، ولديهم قدرات تشغيلية معينة.
يوجد الآن اتجاه تطبيقي مثير للاهتمام، وهو استخدام وكلاء للبحث الاجتماعي. أظهرت تجربة ستانفورد أن مجموعة صغيرة من الوكلاء التوليديين أنتجوا سلوكًا اجتماعيًا ناشئًا: بدءًا من فكرة واحدة حددها المستخدم، وهي أن أحد الوكلاء أراد استضافة حفلة عيد الحب، وقام عدد من الوكلاء الآخرين بنشرها بشكل مستقل على مدار اليومين التاليين. دعوات إلى الحفلات، وتكوين صداقات جديدة، ودعوة بعضكم البعض إلى الحفلات... (وكلاء التوليد: محاكاة تفاعلية للسلوك البشري، بارك وآخرون، 2023).
ربما تكون الشركة الناشئة الأكثر جدارة بالملاحظة في هذا المجال هي Adept، التي أسسها اثنان من المؤلفين المشاركين في Transformer (على الرغم من أن كلاهما غادرا منذ ذلك الحين) ونائب رئيس OpenAI السابق، والتي جمعت ما يقرب من 500 مليون دولار حتى الآن. في العام الماضي، أظهروا كيف يمكن لوكيلهم تصفح الإنترنت وإضافة حسابات جديدة على Salesforce. وإنني أتطلع إلى رؤية العرض التوضيحي الجديد الخاص بهم 🙂 .
08 تحسين القدرة على التعلم من التفضيلات البشرية
يعد RLHF (التعلم المعزز من التفضيلات البشرية) أمرًا رائعًا، ولكنه ممل بعض الشيء.
لست مندهشًا من أن الناس سيجدون طرقًا أفضل لتدريب حاملي شهادة الماجستير في القانون. هناك العديد من الأسئلة المفتوحة بخصوص RLHF، مثل:
· كيف يمكن تمثيل تفضيلات الإنسان رياضياً؟
في الوقت الحالي، يتم تحديد التفضيلات البشرية من خلال المقارنة: يحدد المعلق البشري ما إذا كانت الإجابة "أ" أفضل من الإجابة "ب". ومع ذلك، فإنه لا يأخذ في الاعتبار المدى المحدد الذي تكون فيه الإجابة (أ) أفضل أو أسوأ من الإجابة (ب).
· ما هي التفضيلات البشرية؟
يقيس الأنثروبي جودة الاستجابات النموذجية من خلال ثلاثة أبعاد: مفيدة وصادقة وغير ضارة. ورقة مرجعية: الذكاء الاصطناعي الدستوري: عدم الضرر الناتج عن تعليقات الذكاء الاصطناعي (باي وآخرون، 2022).
يحاول DeepMind توليد الإجابات التي من شأنها أن ترضي معظم الناس على أفضل وجه. ورقة مرجعية: تحسين نماذج اللغة لإيجاد اتفاق بين البشر ذوي التفضيلات المتنوعة (باكر وآخرون، 2022).
وأيضًا، هل نريد ذكاءً اصطناعيًا يمكنه اتخاذ موقف، أم ذكاءً اصطناعيًا عامًا يتجنب الحديث عن أي موضوع يحتمل أن يكون مثيرًا للجدل؟
· من هي التفضيلات "الإنسانية"، مع مراعاة الاختلافات في الثقافة والدين والميول السياسية وما إلى ذلك؟
هناك العديد من التحديات في الحصول على بيانات التدريب التي تمثل بشكل كاف جميع المستخدمين المحتملين.
على سبيل المثال، لا تحتوي بيانات InstructGPT الخاصة بـ OpenAI على معلقين يزيد عمرهم عن 65 عامًا. أصحاب العلامات هم بشكل رئيسي من الفلبينيين والبنغلاديشيين. ورقة مرجعية: InstructGPT: تدريب النماذج اللغوية على اتباع التعليمات مع التعليقات البشرية (Ouyang et al., 2022).
على الرغم من أن النوايا الأصلية للجهود التي قادها مجتمع الذكاء الاصطناعي في السنوات الأخيرة كانت مثيرة للإعجاب، إلا أن تحيز البيانات لا يزال قائما. على سبيل المثال، في مجموعة بيانات OpenAssistant، أفاد 201 من أصل 222 مشاركًا (90.5%) أنهم ذكور. نشر جيريمي هوارد سلسلة من التغريدات حول هذه القضية على تويتر.
09تحسين كفاءة واجهة الدردشة
منذ تقديم ChatGPT، كان هناك نقاش مستمر حول ما إذا كانت الدردشة مناسبة لمجموعة واسعة من المهام. على سبيل المثال:
· اللغة الطبيعية هي واجهة المستخدم البطيئة (Austin Z. Henley, 2023)
·لماذا لا تمثل Chatbots المستقبل (أميليا واتنبيرجر، 2023)
· ما هي أنواع الأسئلة التي تتطلب المحادثة للإجابة عليها؟ دراسة حالة لأسئلة AskReddit (هوانغ وآخرون، 2023)
· يمكن أن تصبح واجهات دردشة الذكاء الاصطناعي واجهة المستخدم الأساسية لقراءة الوثائق (توم جونسون، 2023)
· التفاعل مع ماجستير إدارة الأعمال من خلال الحد الأدنى من الدردشة (يوجين يان، 2023)
ومع ذلك، هذه ليست مناقشة جديدة. في العديد من البلدان، وخاصة في آسيا، تم استخدام الدردشة كواجهة للتطبيقات الفائقة لمدة عقد تقريبًا. ناقش دان جروفر هذه الظاهرة في عام 2014.
أصبح هذا النوع من المناقشات ساخنًا مرة أخرى في عام 2016، حيث رأى العديد من الأشخاص أن أنواع التطبيقات الحالية عفا عليها الزمن وأن روبوتات الدردشة هي المستقبل. على سبيل المثال الدراسات التالية:
· في الدردشة كواجهة (أليستير كرول، 2016)
·هل يعتبر اتجاه Chatbot بمثابة سوء فهم كبير؟ (ويل نايت، 2016)
· لن تحل الروبوتات محل التطبيقات. ستحل التطبيقات الأفضل محل التطبيقات (Dan Grover, 2016)
أنا شخصياً أحب واجهة الدردشة للأسباب التالية:
واجهة الدردشة هي واجهة يستطيع الجميع (حتى الأشخاص الذين ليست لديهم خبرة سابقة في استخدام أجهزة الكمبيوتر أو الإنترنت) تعلم كيفية استخدامها بسرعة.
عندما كنت أتطوع في أحد الأحياء ذات الدخل المنخفض في كينيا في أوائل عام 2010، فوجئت بمدى ارتياح الجميع هناك للتعامل المصرفي عبر الرسائل النصية على هواتفهم. حتى لو لم يكن أحد في هذا المجتمع لديه جهاز كمبيوتر.
من السهل الوصول إلى واجهة الدردشة بشكل عام. يمكننا أيضًا استخدام الكلام بدلاً من النص إذا كانت أيدينا مشغولة بأشياء أخرى.
واجهة الدردشة أيضًا واجهة قوية جدًا، فهي تستجيب لأي طلب يقدمه المستخدم، حتى لو كانت بعض الردود ليست جيدة جدًا.
ومع ذلك، أعتقد أن هناك بعض المجالات التي يمكن تحسين واجهة الدردشة فيها:
· رسائل متعددة في جولة واحدة
في الوقت الحالي، نفترض إلى حد كبير أن هناك رسالة واحدة فقط في كل مرة. ولكن عندما نرسل أنا وأصدقائي رسالة نصية، فغالبًا ما يتطلب الأمر رسائل متعددة لإكمال الدردشة لأنني أحتاج إلى إدراج بيانات مختلفة (مثل الصور والمواقع والروابط)، أو نسيت شيئًا من رسالة سابقة، أو لا أريد أن أتناسب كل شيء في فقرة واحدة كبيرة.
· المدخلات المتعددة الوسائط
في مجال التطبيقات متعددة الوسائط، يتم إنفاق معظم الجهود على بناء نماذج أفضل وبدرجة أقل على بناء واجهات أفضل. خذ برنامج الدردشة NeVA من NVIDIA كمثال. أنا لست خبيرًا في تجربة المستخدم، ولكن أعتقد أنه قد يكون هناك مجال للتحسين هنا.
ملحوظة: آسف، فريق NeVA، لتسميتك. ومع ذلك، عملك رائع!
الشكل: واجهة NVIDIA’s NeVA
· دمج الذكاء الاصطناعي التوليدي في سير العمل
يغطي لينوس لي هذا جيدًا في حديثه "واجهة الذكاء الاصطناعي التوليدية خارج الدردشات". على سبيل المثال، إذا كنت تريد طرح سؤال حول عمود مخطط تعمل عليه، فيجب أن تكون قادرًا فقط على الإشارة إلى هذا العمود وطرح السؤال.
· تحرير وحذف الرسائل
كيف يؤدي تحرير أو إزالة مدخلات المستخدم إلى تغيير تدفق المحادثة مع برنامج الدردشة الآلي؟
10 برامج ماجستير في القانون للغات غير الإنجليزية
نحن نعلم أن أداء طلاب ماجستير اللغة الإنجليزية الحاليين ضعيف في العديد من اللغات الأخرى، سواء من حيث الأداء أو زمن الوصول أو السرعة.
فيما يلي الدراسات ذات الصلة التي يمكنك الرجوع إليها:
·ChatGPT ما وراء اللغة الإنجليزية: نحو توحيد شامل لنماذج اللغات الكبيرة في التعلم متعدد اللغات (Lai et al., 2023)
·لم يتم إنشاء (رمزية) جميع اللغات على قدم المساواة (Yennie يونيو، 2023)
أخبرني بعض القراء أنهم لا يعتقدون أنني يجب أن أتبع هذا الاتجاه لسببين.
هذا سؤال "لوجستي" أكثر منه سؤال بحثي. نحن نعرف بالفعل كيفية القيام بذلك. يحتاج شخص ما فقط إلى بذل المال والجهد.
هذا ليس صحيحا تماما. تعتبر معظم اللغات لغات منخفضة الموارد، حيث تحتوي على بيانات عالية الجودة أقل بكثير من الإنجليزية أو الصينية، على سبيل المثال، وقد تتطلب تقنيات مختلفة لتدريب نماذج لغوية كبيرة.
فيما يلي الدراسات ذات الصلة التي يمكنك الرجوع إليها:
· اللغات منخفضة الموارد: مراجعة للعمل السابق والتحديات المستقبلية (Magueresse et al., 2020)
·JW300: مجموعة موازية واسعة النطاق للغات منخفضة الموارد (Agic et al., 2019)
ويعتقد أولئك الأكثر تشاؤمًا أنه في المستقبل، ستختفي العديد من اللغات وسيكون الإنترنت عالمين يتكونان من لغتين: الإنجليزية والصينية. طريقة التفكير هذه ليست جديدة. هل يتذكر أحد الاسبرانتو؟
لا يزال تأثير أدوات الذكاء الاصطناعي، مثل الترجمة الآلية وروبوتات الدردشة، على تعلم اللغة غير واضح. هل ستساعد الناس على تعلم لغات جديدة بشكل أسرع، أم أنها ستلغي الحاجة إلى تعلم لغات جديدة تمامًا؟
ختاماً
من بين التحديات العشرة المذكورة أعلاه، بعضها في الواقع أكثر صعوبة من غيرها.
على سبيل المثال، أعتقد أن البند 10، بناء ماجستير في القانون للغات غير الإنجليزية، يشير بشكل مباشر إلى الوقت والموارد الكافية.
البند 1، الحد من الهلوسة، سيكون أكثر صعوبة لأن الهلوسة هي مجرد ماجستير في القانون يقوم بمهمته الاحتمالية.
البند 4، الذي يجعل LLMs أسرع وأرخص، لن يصل أبدًا إلى حالة الحل الكامل. لقد تم إحراز الكثير من التقدم في هذا المجال، وهناك المزيد في المستقبل، لكننا لن نتوقف أبدًا عن التحسن.
يمثل العنصران 5 و6، البنية الجديدة والأجهزة الجديدة، تحديًا كبيرًا ولا مفر منه. نظرًا للعلاقة التكافلية بين الهندسة المعمارية والأجهزة، تحتاج البنى الجديدة إلى تحسينها لتتناسب مع الأجهزة الشائعة، وتحتاج الأجهزة إلى دعم البنى المشتركة. قد يتم تسويتها من قبل نفس الشركة.
يمكن حل بعض هذه المشكلات بأكثر من مجرد المعرفة التقنية. على سبيل المثال، البند 8، تحسين التعلم من التفضيلات البشرية، قد يكون قضية استراتيجية أكثر من كونها قضية فنية.
البند 9، تحسين كفاءة واجهة الدردشة، هو أكثر من مجرد مشكلة تتعلق بتجربة المستخدم. نحن بحاجة إلى المزيد من الأشخاص ذوي الخلفيات غير التقنية للعمل معًا لحل هذه المشكلات.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
أفضل المواهب في نماذج اللغات الكبرى تهتم فقط بهذه التحديات العشرة
المصدر: سباق أرنب السيليكون
المؤلف: لين جو المحرر: مان مانتشو
**ملاحظة المحرر: يستكشف هذا المقال أهم عشرة تحديات في أبحاث نموذج اللغة الكبيرة (LLM). المؤلف هو تشيب هوين، الذي تخرج من جامعة ستانفورد وهو الآن مؤسس Claypot AI، وهي منصة للتعلم الآلي في الوقت الفعلي. عمل سابقًا في NVIDIA وSnorkel AI وNetflix وPrimer لتطوير أدوات التعلم الآلي. **
إنني أشهد وضعاً غير مسبوق: فالعديد من أفضل العقول في العالم يكرسون جهودهم الآن للهدف الموحد المتمثل في "جعل النماذج اللغوية (LLMs) أفضل".
بعد التحدث مع العديد من الزملاء في الصناعة والأوساط الأكاديمية، حاولت تلخيص عشرة اتجاهات بحثية رئيسية مزدهرة:
1. تقليل وقياس الهلوسة (ملاحظة المحرر: الهلوسة، وهلوسة الذكاء الاصطناعي، أي الأجزاء غير الصحيحة أو التي لا معنى لها من مخرجات الذكاء الاصطناعي، على الرغم من أن هذه المخرجات معقولة من الناحية النحوية)
2. تحسين طول السياق وبناء السياق
3. دمج أوضاع البيانات الأخرى
4. زيادة سرعة دورات LLM وخفض تكاليفها
5. تصميم بنية نموذجية جديدة
6. تطوير بدائل GPU
7. تحسين توفر الوكيل
8. تحسين القدرة على التعلم من التفضيلات البشرية
9. تحسين كفاءة واجهة الدردشة
10. بناء ماجستير في القانون للغات غير الإنجليزية
ومن بينها، قد يكون الاتجاهان الأولان، وهما الحد من "الأوهام" و"التعلم السياقي"، أكثر الاتجاهات شيوعًا في الوقت الحالي. أنا شخصياً مهتم أكثر بالبنود 3 (تعدد الوسائط)، و5 (البنية الجديدة)، و6 (بدائل وحدة معالجة الرسومات).
01 تقليل الأوهام وقياسها
ويشير إلى الظاهرة التي تحدث عندما يقوم نموذج الذكاء الاصطناعي بتكوين محتوى زائف.
الوهم هو صفة لا مفر منها في العديد من المواقف التي تتطلب الإبداع. ومع ذلك، بالنسبة لمعظم سيناريوهات التطبيق الأخرى، يعد هذا عيبًا.
لقد شاركت مؤخرًا في مجموعة مناقشة حول LLM وتحدثت مع أشخاص من شركات مثل Dropbox وLangchain وElastics وAnthropic، وهم يعتقدون أن المؤسسات واسعة النطاق التبني إن أكبر عقبة أمام الإنتاج التجاري لمادة LLM هي مشكلة الوهم.
يعد التخفيف من ظاهرة الهلوسة وتطوير مقاييس لقياسها موضوعًا بحثيًا مزدهرًا، حيث تركز العديد من الشركات الناشئة على حل هذه المشكلة.
توجد حاليًا بعض الطرق المؤقتة لتقليل الهلوسة، مثل إضافة المزيد من السياق، أو سلاسل التفكير، أو الاتساق الذاتي للمطالبات، أو اشتراط أن تظل مخرجات النموذج موجزة.
فيما يلي الخطب ذات الصلة التي يمكنك الرجوع إليها
· مسح الهلوسة في توليد اللغة الطبيعية (جي وآخرون، 2022) · كيف يمكن للهلوسة النموذجية اللغوية أن تتراكم (زانغ وآخرون، 2023) · تعدد المهام، متعدد اللغات، متعدد الوسائط لـ ChatGPT حول الاستدلال والهلوسة والتفاعل (بانغ) وآخرون، 2023) · التعلم المقارن يقلل من الهلوسة في المحادثات (صن وآخرون، 2022) · الاتساق الذاتي يحسن سلسلة التفكير في نماذج اللغة (وانغ وآخرون، 2022) · التحقق الذاتي من GPT: الصندوق الأسود بدون موارد اكتشاف الهلوسة من خلال النماذج اللغوية الكبيرة التوليدية (Manakul et al., 2023)
02 تحسين طول السياق وبناء السياق
تتطلب الغالبية العظمى من المشكلات التي يواجهها الذكاء الاصطناعي سياقًا.
على سبيل المثال، إذا سألنا ChatGPT: "ما هو أفضل مطعم فيتنامي؟"، فقد يكون السياق المطلوب "أين" لأن أفضل مطعم في فيتنام قد يختلف عن أفضل مطعم فيتنامي في الولايات المتحدة.
وفقًا للورقة البحثية المثيرة للاهتمام "SituatedQA" (Zhang & Choi, 2021)، فإن نسبة كبيرة من أسئلة البحث عن المعلومات لها إجابات تعتمد على السياق، على سبيل المثال، حوالي 16.5% من الأسئلة في مجموعة بيانات NQ-Open هي من هذا النوع. .
أعتقد شخصيًا أنه بالنسبة لسيناريوهات تطبيقات المؤسسات، قد تكون هذه النسبة أعلى. لنفترض أن إحدى الشركات قامت ببناء روبوت دردشة للعملاء، إذا كان الروبوت قادرًا على الإجابة على أي سؤال للعميل حول أي منتج، فقد يكون السياق المطلوب هو تاريخ العميل أو معلومات حول المنتج.
ولأن النموذج "يتعلم" من السياق المقدم له، تُعرف هذه العملية أيضًا باسم التعلم السياقي.
يمكن تقسيم RAG ببساطة إلى مرحلتين:
المرحلة 1: التقطيع (وتسمى أيضًا الفهرسة)
اجمع كل المستندات التي ستستخدمها LLM، وقم بتقسيم هذه المستندات إلى أجزاء يمكن تغذيتها في LLM لإنشاء عمليات التضمين، وتخزين هذه التضمينات في قاعدة بيانات متجهة.
المرحلة الثانية: الاستعلام
عندما يرسل المستخدم استعلامًا، مثل "هل ستغطي بوليصة التأمين الخاصة بي هذا الدواء؟"
كلما زاد طول السياق، زاد عدد الكتل التي يمكننا إدراجها في السياق. ولكن هل كلما زادت المعلومات التي يستطيع النموذج الوصول إليها، كلما كانت استجاباته أفضل؟
هذا ليس هو الحال دائما. إن مقدار السياق الذي يمكن أن يستخدمه النموذج ومدى كفاءة استخدام النموذج هما سؤالان مختلفان. لا تقل أهمية زيادة طول سياق النموذج عن التعلم الأكثر كفاءة للسياق، وهو ما يسمى أيضًا "هندسة التلميحات".
تظهر ورقة بحثية حديثة تم تداولها على نطاق واسع أن أداء النماذج أفضل بكثير في فهم المعلومات من بداية ونهاية الفهرس مقارنة بالمنتصف: Lost in the Middle: How Language Models Use Long contexts (Liu et al., 2023).
03دمج أوضاع البيانات الأخرى
في رأيي، تعدد الوسائط قوي جدًا ولكن غالبًا ما يتم الاستهانة به.
أولاً، تتطلب العديد من سيناريوهات التطبيقات الواقعية معالجة كميات كبيرة من البيانات متعددة الوسائط، مثل الرعاية الصحية والروبوتات والتجارة الإلكترونية وتجارة التجزئة والألعاب والترفيه وما إلى ذلك. تتطلب التنبؤات الطبية استخدام كل من النص (مثل ملاحظات الطبيب واستبيانات المريض) والصور (مثل التصوير المقطعي والأشعة السينية والتصوير بالرنين المغناطيسي)؛ وغالبًا ما تتضمن بيانات المنتج الصور ومقاطع الفيديو والأوصاف وحتى البيانات الجدولية (مثل الإنتاج التاريخ، الوزن، اللون).
ثانيًا، تعد تعدد الوسائط بإحداث تحسينات هائلة في أداء النموذج. ألن يكون أداء النموذج الذي يمكنه فهم النص والصور أفضل من النموذج الذي يمكنه فهم النص فقط؟ تتطلب النماذج النصية كميات كبيرة من البيانات النصية، ونحن الآن قلقون حقًا بشأن نفاد بيانات الإنترنت اللازمة لتدريب النماذج النصية. وبمجرد استنفاد النص، نحتاج إلى الاستفادة من طرائق البيانات الأخرى.
فيما يلي العديد من التطورات البحثية المتميزة متعددة الوسائط: · [CLIP] تعلم النماذج المرئية القابلة للتحويل من الإشراف على اللغة الطبيعية (OpenAI، 2021)·Flamingo: نموذج لغة مرئية للتعلم قليل اللقطات (DeepMind، 2022)·BLIP-2: تدريب تمهيدي على اللغة والصور باستخدام برامج تشفير الصور المجمدة ونماذج اللغات الكبيرة (Salesforce، 2023) · KOSMOS-1: اللغة ليست كل ما تحتاجه: مواءمة الإدراك مع نماذج اللغة (Microsoft، 2023) · PaLM-E: نموذج لغة متعدد الوسائط متجسد (Google، 2023) · LLaVA: ضبط التعليمات المرئية (Liu) وآخرون، 2023) ·NeVA: NeMo Vision and Language Assistant (NVIDIA، 2023)
04تحسين سرعة وخفض تكاليف ماجستير إدارة الأعمال
عندما تم إطلاق GPT-3.5 لأول مرة في أواخر نوفمبر 2022، أعرب العديد من الأشخاص عن مخاوفهم بشأن التأخير وتكاليف استخدام النموذج في الإنتاج.
والآن، اتخذ تحليل التأخير/التكلفة الناجم عن استخدام GPT-3.5 منعطفًا جديدًا. وفي غضون نصف عام، وجد مجتمع النمذجة بأكمله طريقة جديدة لإنشاء نموذج كان قريبًا تقريبًا من GPT-3.5 من حيث الأداء، ولكن مع أقل من 2% من مساحة الذاكرة.
إحدى نقاطي من هذا هي: إذا قمت بإنشاء شيء جيد بما فيه الكفاية، فسيجد شخص آخر طريقة لجعله سريعًا وفعالاً من حيث التكلفة.
ومن المهم أن نلاحظ أن أداء هذه النماذج بشكل عام أبعد ما يكون عن الكمال. بالنسبة لـ LLM، لا يزال من الصعب جدًا تحسين الأداء بشكل ملحوظ.
أتذكر قبل أربع سنوات، عندما بدأت كتابة الملاحظات لقسم "ضغط النماذج" في كتاب "تصميم أنظمة التعلم الآلي"، كانت هناك أربع تقنيات رئيسية لتحسين/ضغط النماذج في الصناعة:
القياس الكمي: هو الأسلوب الأكثر شيوعًا لتحسين النماذج. يعمل التكميم على تقليل حجم النموذج باستخدام عدد أقل من البتات لتمثيل معلمات النموذج، على سبيل المثال، بدلاً من استخدام 32 بت لتمثيل أرقام الفاصلة العائمة، يتم استخدام 16 بت فقط أو حتى 4 بتات.
تقطير المعرفة: أي تدريب نموذج صغير (نموذج الطالب)، يمكنه تقليد نموذج أو مجموعة نماذج أكبر (نموذج المعلم).
التحلل منخفض الرتبة: فكرته الرئيسية هي استخدام الموترات منخفضة الأبعاد لتحل محل الموترات عالية الأبعاد لتقليل عدد المعلمات. على سبيل المثال، يمكن تقسيم الموتر 3x3 إلى حاصل ضرب الموتر 3x1 والموتر 1x3، بحيث يكون هناك 6 معلمات فقط بدلاً من 9 معلمات.
التقليم: يشير إلى تقليل حجم النموذج عن طريق إزالة الأوزان أو الوصلات الموجودة في النموذج والتي تساهم بشكل أقل في الأداء العام.
لا تزال هذه التقنيات الأربعة شائعة حتى يومنا هذا. يتم تدريب Alpaca من خلال تقطير المعرفة، بينما يستخدم QLoRA مزيجًا من التحلل والتكميم منخفض الرتبة.
05تصميم بنية نموذجية جديدة
منذ AlexNet في عام 2012، رأينا العديد من البنيات تأتي وتذهب، بما في ذلك LSTM وseq2seq وما إلى ذلك.
بالمقارنة مع هذه البنيات، تعتبر لعبة Transformer، التي تم إطلاقها في عام 2017، مستقرة للغاية، على الرغم من أنه من غير الواضح إلى متى ستظل هذه البنية شائعة.
ليس من السهل تطوير بنية جديدة يمكنها أن تتفوق على Transformer. في السنوات الست الماضية، خضع Transformer للكثير من التحسين. على الأجهزة المناسبة، يمكن أن يحقق حجم هذا النموذج وتأثيره نتائج مذهلة (ملاحظة: تم تصميم Transformer لأول مرة بواسطة Google ليعمل بسرعة على TPU ، وتم تحسينه لاحقًا على GPU).
في عام 2021، أثار البحث الذي أجراه مختبر كريس ري حول "نمذجة التسلسلات الطويلة بكفاءة باستخدام مساحات الحالة المنظمة" (غو وآخرون، 2021) الكثير من المناقشات في الصناعة. لست متأكدا مما حدث بعد ذلك. لكن شركة Chris Ré Labs لا تزال تعمل بنشاط على تطوير بنيات جديدة، وقد أطلقت مؤخرًا بنية تسمى Monarch Mixer بالشراكة مع شركة Startup Together.
فكرتهم الرئيسية هي أنه بالنسبة لبنية المحولات الحالية، يتناسب تعقيد الاهتمام مع مربع طول التسلسل، ويتناسب تعقيد MLP مع مربع بُعد النموذج. ستكون البنى ذات التعقيد شبه التربيعي أكثر كفاءة.
06تطوير بدائل GPU
منذ ظهور AlexNet في عام 2012، أصبحت وحدة معالجة الرسومات (GPU) هي الجهاز الرئيسي للتعلم العميق.
في الواقع، أحد الأسباب المعروفة عمومًا لشعبية AlexNet هو أنها كانت أول ورقة بحثية تستخدم بنجاح وحدات معالجة الرسومات لتدريب الشبكات العصبية. قبل وحدات معالجة الرسومات، إذا كنت تريد تدريب نموذج بحجم AlexNet، فستحتاج إلى آلاف وحدات المعالجة المركزية، تمامًا مثل الخادم الذي أصدرته Google قبل أشهر قليلة من AlexNet.
بالمقارنة مع الآلاف من وحدات المعالجة المركزية، فإن عددًا قليلًا من وحدات معالجة الرسوميات يمكن الوصول إليها بسهولة من قبل طلاب الدكتوراه والباحثين، مما يؤدي إلى طفرة في أبحاث التعلم العميق.
على مدى العقد الماضي، حاولت العديد من الشركات، الكبيرة منها والناشئة، إنشاء أجهزة جديدة للذكاء الاصطناعي. تشمل المحاولات الأكثر جدارة بالملاحظة كلاً من TPU من Google، وGraphcore's IPU، وCerebras. وقد جمعت SambaNova أيضًا أكثر من مليار دولار لتطوير شرائح جديدة للذكاء الاصطناعي، ولكن يبدو أنها تحولت إلى منصة ذكاء اصطناعي منتجة.
خلال هذه الفترة، أثارت الحوسبة الكمومية أيضًا الكثير من التوقعات، ومن بينها اللاعبين الرئيسيين:
· المعالج الكمي لشركة IBM
· حاسوب جوجل الكمي. تم الإبلاغ عن معلم رئيسي في تقليل الأخطاء الكمومية في مجلة Nature في وقت سابق من هذا العام. يمكن الوصول إلى آلتها الافتراضية الكمومية بشكل عام من خلال Google Colab.
· المعامل البحثية في الجامعات، مثل مركز MIT لهندسة الكم، ومعهد ماكس بلانك للبصريات الكمومية، ومركز شيكاغو لتبادل الكم، وغيرها.
هناك اتجاه آخر مثير بنفس القدر وهو الرقائق الضوئية. هذا هو الاتجاه الذي أعرفه أقل ما يمكن، إذا كان هناك أي أخطاء، يرجى تصحيح لي.
تستخدم الرقائق الحالية الكهرباء لنقل البيانات، مما يستهلك الكثير من الطاقة ويخلق زمن الوصول. تستخدم الرقائق الضوئية الفوتونات لنقل البيانات، وتسخير سرعة الضوء لإجراء حوسبة أسرع وأكثر كفاءة. جمعت العديد من الشركات الناشئة في هذا المجال مئات الملايين من الدولارات، بما في ذلك Lightmatter (270 مليون دولار)، وAyar Labs (220 مليون دولار)، وLightelligence (أكثر من 200 مليون دولار)، وLuminous Computing (115 مليون دولار).
فيما يلي الجدول الزمني للتقدم للطرق الثلاثة الرئيسية لحساب مصفوفة الفوتون، وهو مقتبس من مضاعفة المصفوفة الضوئية التي تضيء المسرع الضوئي وما بعده (Zhou et al., Nature 2022). الطرق الثلاث المختلفة هي تحويل الضوء المستوي (PLC)، ومقياس تداخل ماخ زيندر (MZI)، وتعدد الإرسال بتقسيم الطول الموجي (WDM).
07تحسين توفر الوكيل
يمكن اعتبار الوكلاء بمثابة LLMs يمكنهم اتخاذ إجراءات، مثل تصفح الإنترنت، وإرسال رسائل البريد الإلكتروني، وما إلى ذلك. بالمقارنة مع اتجاهات البحث الأخرى في هذه المقالة، قد يكون هذا هو الاتجاه الأحدث.
هناك اهتمام كبير بالوكلاء بسبب حداثتهم وإمكاناتهم الكبيرة. تعد Auto-GPT الآن المكتبة رقم 25 الأكثر شعبية من حيث عدد النجوم على GitHub. GPT-Engineering هي أيضًا مكتبة مشهورة أخرى.
على الرغم من ذلك، لا تزال هناك شكوك حول ما إذا كان حاملو شهادات LLM موثوقين بدرجة كافية، وأداء جيد بما فيه الكفاية، ولديهم قدرات تشغيلية معينة.
يوجد الآن اتجاه تطبيقي مثير للاهتمام، وهو استخدام وكلاء للبحث الاجتماعي. أظهرت تجربة ستانفورد أن مجموعة صغيرة من الوكلاء التوليديين أنتجوا سلوكًا اجتماعيًا ناشئًا: بدءًا من فكرة واحدة حددها المستخدم، وهي أن أحد الوكلاء أراد استضافة حفلة عيد الحب، وقام عدد من الوكلاء الآخرين بنشرها بشكل مستقل على مدار اليومين التاليين. دعوات إلى الحفلات، وتكوين صداقات جديدة، ودعوة بعضكم البعض إلى الحفلات... (وكلاء التوليد: محاكاة تفاعلية للسلوك البشري، بارك وآخرون، 2023).
ربما تكون الشركة الناشئة الأكثر جدارة بالملاحظة في هذا المجال هي Adept، التي أسسها اثنان من المؤلفين المشاركين في Transformer (على الرغم من أن كلاهما غادرا منذ ذلك الحين) ونائب رئيس OpenAI السابق، والتي جمعت ما يقرب من 500 مليون دولار حتى الآن. في العام الماضي، أظهروا كيف يمكن لوكيلهم تصفح الإنترنت وإضافة حسابات جديدة على Salesforce. وإنني أتطلع إلى رؤية العرض التوضيحي الجديد الخاص بهم 🙂 .
08 تحسين القدرة على التعلم من التفضيلات البشرية
يعد RLHF (التعلم المعزز من التفضيلات البشرية) أمرًا رائعًا، ولكنه ممل بعض الشيء.
لست مندهشًا من أن الناس سيجدون طرقًا أفضل لتدريب حاملي شهادة الماجستير في القانون. هناك العديد من الأسئلة المفتوحة بخصوص RLHF، مثل:
· كيف يمكن تمثيل تفضيلات الإنسان رياضياً؟
في الوقت الحالي، يتم تحديد التفضيلات البشرية من خلال المقارنة: يحدد المعلق البشري ما إذا كانت الإجابة "أ" أفضل من الإجابة "ب". ومع ذلك، فإنه لا يأخذ في الاعتبار المدى المحدد الذي تكون فيه الإجابة (أ) أفضل أو أسوأ من الإجابة (ب).
· ما هي التفضيلات البشرية؟
يقيس الأنثروبي جودة الاستجابات النموذجية من خلال ثلاثة أبعاد: مفيدة وصادقة وغير ضارة. ورقة مرجعية: الذكاء الاصطناعي الدستوري: عدم الضرر الناتج عن تعليقات الذكاء الاصطناعي (باي وآخرون، 2022).
يحاول DeepMind توليد الإجابات التي من شأنها أن ترضي معظم الناس على أفضل وجه. ورقة مرجعية: تحسين نماذج اللغة لإيجاد اتفاق بين البشر ذوي التفضيلات المتنوعة (باكر وآخرون، 2022).
وأيضًا، هل نريد ذكاءً اصطناعيًا يمكنه اتخاذ موقف، أم ذكاءً اصطناعيًا عامًا يتجنب الحديث عن أي موضوع يحتمل أن يكون مثيرًا للجدل؟
· من هي التفضيلات "الإنسانية"، مع مراعاة الاختلافات في الثقافة والدين والميول السياسية وما إلى ذلك؟
هناك العديد من التحديات في الحصول على بيانات التدريب التي تمثل بشكل كاف جميع المستخدمين المحتملين.
على سبيل المثال، لا تحتوي بيانات InstructGPT الخاصة بـ OpenAI على معلقين يزيد عمرهم عن 65 عامًا. أصحاب العلامات هم بشكل رئيسي من الفلبينيين والبنغلاديشيين. ورقة مرجعية: InstructGPT: تدريب النماذج اللغوية على اتباع التعليمات مع التعليقات البشرية (Ouyang et al., 2022).
09تحسين كفاءة واجهة الدردشة
منذ تقديم ChatGPT، كان هناك نقاش مستمر حول ما إذا كانت الدردشة مناسبة لمجموعة واسعة من المهام. على سبيل المثال:
· اللغة الطبيعية هي واجهة المستخدم البطيئة (Austin Z. Henley, 2023)
·لماذا لا تمثل Chatbots المستقبل (أميليا واتنبيرجر، 2023)
· ما هي أنواع الأسئلة التي تتطلب المحادثة للإجابة عليها؟ دراسة حالة لأسئلة AskReddit (هوانغ وآخرون، 2023)
· يمكن أن تصبح واجهات دردشة الذكاء الاصطناعي واجهة المستخدم الأساسية لقراءة الوثائق (توم جونسون، 2023)
· التفاعل مع ماجستير إدارة الأعمال من خلال الحد الأدنى من الدردشة (يوجين يان، 2023)
ومع ذلك، هذه ليست مناقشة جديدة. في العديد من البلدان، وخاصة في آسيا، تم استخدام الدردشة كواجهة للتطبيقات الفائقة لمدة عقد تقريبًا. ناقش دان جروفر هذه الظاهرة في عام 2014.
· في الدردشة كواجهة (أليستير كرول، 2016)
·هل يعتبر اتجاه Chatbot بمثابة سوء فهم كبير؟ (ويل نايت، 2016)
· لن تحل الروبوتات محل التطبيقات. ستحل التطبيقات الأفضل محل التطبيقات (Dan Grover, 2016)
أنا شخصياً أحب واجهة الدردشة للأسباب التالية:
واجهة الدردشة هي واجهة يستطيع الجميع (حتى الأشخاص الذين ليست لديهم خبرة سابقة في استخدام أجهزة الكمبيوتر أو الإنترنت) تعلم كيفية استخدامها بسرعة.
عندما كنت أتطوع في أحد الأحياء ذات الدخل المنخفض في كينيا في أوائل عام 2010، فوجئت بمدى ارتياح الجميع هناك للتعامل المصرفي عبر الرسائل النصية على هواتفهم. حتى لو لم يكن أحد في هذا المجتمع لديه جهاز كمبيوتر.
من السهل الوصول إلى واجهة الدردشة بشكل عام. يمكننا أيضًا استخدام الكلام بدلاً من النص إذا كانت أيدينا مشغولة بأشياء أخرى.
واجهة الدردشة أيضًا واجهة قوية جدًا، فهي تستجيب لأي طلب يقدمه المستخدم، حتى لو كانت بعض الردود ليست جيدة جدًا.
ومع ذلك، أعتقد أن هناك بعض المجالات التي يمكن تحسين واجهة الدردشة فيها:
· رسائل متعددة في جولة واحدة
في الوقت الحالي، نفترض إلى حد كبير أن هناك رسالة واحدة فقط في كل مرة. ولكن عندما نرسل أنا وأصدقائي رسالة نصية، فغالبًا ما يتطلب الأمر رسائل متعددة لإكمال الدردشة لأنني أحتاج إلى إدراج بيانات مختلفة (مثل الصور والمواقع والروابط)، أو نسيت شيئًا من رسالة سابقة، أو لا أريد أن أتناسب كل شيء في فقرة واحدة كبيرة.
· المدخلات المتعددة الوسائط
في مجال التطبيقات متعددة الوسائط، يتم إنفاق معظم الجهود على بناء نماذج أفضل وبدرجة أقل على بناء واجهات أفضل. خذ برنامج الدردشة NeVA من NVIDIA كمثال. أنا لست خبيرًا في تجربة المستخدم، ولكن أعتقد أنه قد يكون هناك مجال للتحسين هنا.
ملحوظة: آسف، فريق NeVA، لتسميتك. ومع ذلك، عملك رائع!
· دمج الذكاء الاصطناعي التوليدي في سير العمل
يغطي لينوس لي هذا جيدًا في حديثه "واجهة الذكاء الاصطناعي التوليدية خارج الدردشات". على سبيل المثال، إذا كنت تريد طرح سؤال حول عمود مخطط تعمل عليه، فيجب أن تكون قادرًا فقط على الإشارة إلى هذا العمود وطرح السؤال.
· تحرير وحذف الرسائل
كيف يؤدي تحرير أو إزالة مدخلات المستخدم إلى تغيير تدفق المحادثة مع برنامج الدردشة الآلي؟
10 برامج ماجستير في القانون للغات غير الإنجليزية
نحن نعلم أن أداء طلاب ماجستير اللغة الإنجليزية الحاليين ضعيف في العديد من اللغات الأخرى، سواء من حيث الأداء أو زمن الوصول أو السرعة.
فيما يلي الدراسات ذات الصلة التي يمكنك الرجوع إليها:
·ChatGPT ما وراء اللغة الإنجليزية: نحو توحيد شامل لنماذج اللغات الكبيرة في التعلم متعدد اللغات (Lai et al., 2023)
·لم يتم إنشاء (رمزية) جميع اللغات على قدم المساواة (Yennie يونيو، 2023)
هذا سؤال "لوجستي" أكثر منه سؤال بحثي. نحن نعرف بالفعل كيفية القيام بذلك. يحتاج شخص ما فقط إلى بذل المال والجهد.
هذا ليس صحيحا تماما. تعتبر معظم اللغات لغات منخفضة الموارد، حيث تحتوي على بيانات عالية الجودة أقل بكثير من الإنجليزية أو الصينية، على سبيل المثال، وقد تتطلب تقنيات مختلفة لتدريب نماذج لغوية كبيرة.
فيما يلي الدراسات ذات الصلة التي يمكنك الرجوع إليها:
· اللغات منخفضة الموارد: مراجعة للعمل السابق والتحديات المستقبلية (Magueresse et al., 2020)
·JW300: مجموعة موازية واسعة النطاق للغات منخفضة الموارد (Agic et al., 2019)
ويعتقد أولئك الأكثر تشاؤمًا أنه في المستقبل، ستختفي العديد من اللغات وسيكون الإنترنت عالمين يتكونان من لغتين: الإنجليزية والصينية. طريقة التفكير هذه ليست جديدة. هل يتذكر أحد الاسبرانتو؟
لا يزال تأثير أدوات الذكاء الاصطناعي، مثل الترجمة الآلية وروبوتات الدردشة، على تعلم اللغة غير واضح. هل ستساعد الناس على تعلم لغات جديدة بشكل أسرع، أم أنها ستلغي الحاجة إلى تعلم لغات جديدة تمامًا؟
ختاماً
من بين التحديات العشرة المذكورة أعلاه، بعضها في الواقع أكثر صعوبة من غيرها.
على سبيل المثال، أعتقد أن البند 10، بناء ماجستير في القانون للغات غير الإنجليزية، يشير بشكل مباشر إلى الوقت والموارد الكافية.
البند 1، الحد من الهلوسة، سيكون أكثر صعوبة لأن الهلوسة هي مجرد ماجستير في القانون يقوم بمهمته الاحتمالية.
البند 4، الذي يجعل LLMs أسرع وأرخص، لن يصل أبدًا إلى حالة الحل الكامل. لقد تم إحراز الكثير من التقدم في هذا المجال، وهناك المزيد في المستقبل، لكننا لن نتوقف أبدًا عن التحسن.
يمثل العنصران 5 و6، البنية الجديدة والأجهزة الجديدة، تحديًا كبيرًا ولا مفر منه. نظرًا للعلاقة التكافلية بين الهندسة المعمارية والأجهزة، تحتاج البنى الجديدة إلى تحسينها لتتناسب مع الأجهزة الشائعة، وتحتاج الأجهزة إلى دعم البنى المشتركة. قد يتم تسويتها من قبل نفس الشركة.
يمكن حل بعض هذه المشكلات بأكثر من مجرد المعرفة التقنية. على سبيل المثال، البند 8، تحسين التعلم من التفضيلات البشرية، قد يكون قضية استراتيجية أكثر من كونها قضية فنية.
البند 9، تحسين كفاءة واجهة الدردشة، هو أكثر من مجرد مشكلة تتعلق بتجربة المستخدم. نحن بحاجة إلى المزيد من الأشخاص ذوي الخلفيات غير التقنية للعمل معًا لحل هذه المشكلات.