تفترض العديد من نماذج الذكاء الاصطناعي أن البشر واثقون دائمًا من قراراتهم. وهذا يمكن أن يكون له عواقب مؤسفة.
بالنسبة للكثيرين منا، توفر التكنولوجيا وسيلة لحل حالة عدم اليقين. إذا لم نتمكن من تذكر حقيقة ما أو لم نفهم شيئًا ما، فيمكننا ببساطة البحث عنها والحصول على الإجابة. في أي عام انتهى مؤتمر باريس للسلام؟ جوجل ذلك … 1920. كم ميلا هو تشغيل 10K؟ 6.2 ميل. من يلعب دور البطولة إلى جانب بريندان فريزر الحائز على جائزة الأوسكار في فيلمه الروائي الأول The Encino Man؟ شون أستين وباولي شور.
ومن المثير للاهتمام أن العكس يحدث بشكل متزايد، حيث تعتمد أجهزة الكمبيوتر على البشر للتحقق من عملها. تعتمد أنظمة الذكاء الاصطناعي "الإنسان في الحلقة" على التدخل البشري للتأكد من أن الذكاء الاصطناعي لا يخطئ في قراءة المعلومات ويقوم بتنبؤات غير دقيقة. غالبًا ما يكون هذا الموقف أكثر أهمية من أبرز أحداث الفيلم.
على سبيل المثال، سينظر أخصائي الأشعة في تشخيص الأشعة السينية الخاص بالذكاء الاصطناعي لتحديد ما إذا كان قد أخطأ في كسر أو آفة. ويمكن للبشر بعد ذلك تصحيح أي أخطاء والتأكد من حصول المريض على العلاج المناسب. إنها شراكة رائعة، ولكن هناك مشكلة صغيرة: نادرًا ما يكون البشر متأكدين بنسبة 100% من استنتاجاتهم.
وقد يرى نفس أخصائي الأشعة مساحة من أنسجة العظام بلون مختلف على الأشعة السينية ويتساءل: "هل هذه آفة أم عدم انتظام في الأشعة السينية نفسها؟ وإذا كانت آفة، فما هو السبب، و هل هي حميدة أم خبيثة؟" حتى الخبراء المدربين تدريباً عالياً - وربما الخبراء بشكل خاص - غالباً ما يدمجون هذا النوع من عدم اليقين في ملاحظاتهم وقراراتهم. إذا كانوا يعتقدون أن هناك فرصة بنسبة 10% لوجود تشخيص آخر، فيمكنهم مناقشة الأمر مع المريض والتخطيط وفقًا لذلك.
على الرغم من أن هذا يبدو طبيعيًا بالنسبة لنا، إلا أن أنظمة الاسترجاع بين الإنسان والآلة لا تفكر بهذه الطريقة. إنهم ينظرون إلى التدخل البشري على أنه ثنائي: إما أن يعرف البشر ما يعرفونه، أو لا يعرفونه. وهذا بدوره قد يحد من قدرة أنظمة الذكاء الاصطناعي على تقليل مخاطر الخطأ البشري في الشراكات.
فهل من الممكن لهذه الأنظمة أن تفهم بشكل أفضل الفروق الدقيقة في عملية صنع القرار البشري، وبالتالي تحسين قدراتها وأدائنا؟ قام فريق من الباحثين من جامعة كامبريدج باختبار هذا السؤال في ورقة بحثية جديدة.
**هل أنت متأكد؟ **
في الاختبار الأول، استخدم الباحثون النماذج القائمة على المفاهيم - نماذج التعلم الآلي التي تعمل على تحسين التنبؤات من خلال ردود الفعل البشرية - على مجموعتين من البيانات. مجموعة البيانات الأولى، تسمى "CheXpert"، تصنف الأشعة السينية للصدر. وهناك مجموعة بيانات أخرى، تسمى UMNIST، تجمع الأرقام في عينات الكتابة اليدوية. مثل معظم النماذج القائمة على المفاهيم، لم يتم تدريب أي من النموذجين مسبقًا على عدم اليقين، لذلك أراد الباحثون أن يروا كيف سيتعاملون مع عدم اليقين.
وقالت كاثرين كولينز، المؤلفة الرئيسية للدراسة وطالبة دراسات عليا في الهندسة بجامعة كامبريدج: "يعمل العديد من المطورين بجد لمعالجة عدم اليقين في النماذج، ولكن هناك عمل أقل يعالج عدم اليقين من منظور إنساني". انظر ماذا يحدث عندما يعبر الناس عن عدم اليقين، وهو أمر مهم بشكل خاص في البيئات الحرجة للسلامة."
الجواب هو: ليس بشكل جيد جداً. ووجد الباحثون أن أداء النموذج انخفض حتى عندما كان عدم اليقين في عمليات المحاكاة منخفضًا، واستمر في الانخفاض مع زيادة عدم اليقين. يشير هذا إلى أن هذه النماذج، على الرغم من دقتها عند تعرضها لتدخل حتمي بالكامل، "لا تعمم على الإعدادات التي يكون فيها مستخدمو التدخل غير متأكدين من طبيعة مفاهيم معينة".
في الاختبار التالي، استخدم الباحثون مجموعة بيانات لتصنيف صور الطيور وقدموا مشاركين بشريين حقيقيين. طُلب من المشاركين تحديد سمات محددة للطيور في الصور. هل الطائر متعدد الألوان أم صلب أم مرقط أم مخطط؟ هل ذيله على شكل شوكة أم دائرة أم مروحة أم مربع؟ إلخ.
ومع ذلك، لا تمثل الصور دائمًا الطيور بشكل أفضل. قد يكون الطائر الموجود في الصورة صورة ظلية على خلفية مشرقة، أو قد يكون ريش ذيله محجوبًا بأغصان الأشجار. لذلك أعطى الباحثون المشاركين من البشر القدرة على استخدام "الملصقات الناعمة" - وهي مفاهيم ليست إما/أو، ولكنها بدلاً من ذلك تسمح للبشر بتسمية مستويات الثقة بين 0 و100 (0 يعني لا أعرف و100 مؤكد تمامًا). .
على سبيل المثال، إذا وجد الأشخاص أنه من المعقول جدًا أن يكون شكل جناح الطائر عريضًا، فيمكنهم تحريك شريط التمرير إلى 80. ولكن إذا لم يكونوا متأكدين مما إذا كانت الأجنحة مستديرة أم مدببة، فيمكنهم تحريك شريط التمرير بشكل أقل (مثل 20 و10 على التوالي).
وجد الباحثون أنه عندما يتم استبدال الآلات بالبشر، يتدهور الأداء. ومع ذلك، فقد وجدوا أيضًا أن تدريب النموذج على عدم اليقين يمكن أن يخفف من بعض الأخطاء التي ارتكبها المشاركون البشريون. ومع ذلك، هذه النماذج ليست مثالية. في بعض الأحيان، يساعد عدم اليقين البشري، وفي أحيان أخرى، يضر بأداء النموذج.
وقال ماثيو باركر، المؤلف المشارك للدراسة: "نحن بحاجة إلى أدوات أفضل لإعادة معايرة هذه النماذج بحيث يكون لدى الأشخاص الذين يستخدمونها القدرة على التحدث عندما يكونون غير متأكدين". "في بعض النواحي، يثير هذا العمل أسئلة أكثر مما يجيب، ولكن على الرغم من أن البشر يمكن أن يرتكبوا أخطاء عندما يتعلق الأمر بعدم اليقين، يمكننا تحسين مصداقية أنظمة الاسترجاع بين الإنسان والآلة من خلال أخذ السلوك البشري في الاعتبار درجة وموثوقيته".
وانضم أيضًا باحثون من جامعة برينستون ومعهد آلان تورينج وGoogle DeepMind إلى فريق كامبريدج في البحث. وقد قدموا ورقتهم البحثية في مؤتمر AAI/ACM لعام 2023 حول الذكاء الاصطناعي والأخلاق والمجتمع في مونتريال. يتم نشر الورقة حاليًا كطبعة أولية على arXiv.
نحو مستقبل غامض
ويأمل الباحثون أن تساعد ورقتهم البحثية يومًا ما في تطوير أنظمة الاسترجاع بين الإنسان والآلة التي تأخذ عدم اليقين في الاعتبار، وبالتالي تقليل مخاطر أخطاء الذكاء البشري والاصطناعي. ومع ذلك، فإن هذه الدراسة هي مجرد خطوة أولى نحو هذا الهدف.
ويكشف أيضًا عن العديد من التحديات للبحث المستقبلي. تشمل هذه التحديات: كيفية تطوير نماذج الذكاء الاصطناعي واستراتيجيات التدخل التي تأخذ في الاعتبار أخطاء التنبؤ البشري المعروفة (مثل تحيز الثقة المفرطة)؛ وإنشاء واجهات تساعد البشر على قياس عدم اليقين لديهم؛ وتدريب نماذج الذكاء الاصطناعي على التعامل مع أنواع مختلفة من عدم اليقين، مثل كالفرق بين التشكيك في معرفتك وكيف ستحدث التأثيرات العشوائية.
وإذا أمكن معالجة هذه القضايا، فإن عدم اليقين البشري من الممكن أن يدعم بشكل أفضل الجزء "البشري" من "الحلقة بين الإنسان والآلة"، وبالتالي المساعدة في تحسين أداء هذه النماذج.
وأضاف كولينز: "كما قال بعض زملائنا، فإن عدم اليقين هو شكل من أشكال الشفافية، وهذا مهم حقًا". "نحن بحاجة إلى معرفة متى نثق في النماذج، ومتى نثق في الأشخاص، ولماذا. في بعض التطبيقات، نركز على الاحتمالية بدلاً من الاحتمالية."
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
البحث: هل سيكون عدم اليقين في عملية صنع القرار البشري هو المفتاح لتحسين الذكاء الاصطناعي؟
كتبه كيفن ديكنسون
المصدر: الفكر الحر
بالنسبة للكثيرين منا، توفر التكنولوجيا وسيلة لحل حالة عدم اليقين. إذا لم نتمكن من تذكر حقيقة ما أو لم نفهم شيئًا ما، فيمكننا ببساطة البحث عنها والحصول على الإجابة. في أي عام انتهى مؤتمر باريس للسلام؟ جوجل ذلك … 1920. كم ميلا هو تشغيل 10K؟ 6.2 ميل. من يلعب دور البطولة إلى جانب بريندان فريزر الحائز على جائزة الأوسكار في فيلمه الروائي الأول The Encino Man؟ شون أستين وباولي شور.
ومن المثير للاهتمام أن العكس يحدث بشكل متزايد، حيث تعتمد أجهزة الكمبيوتر على البشر للتحقق من عملها. تعتمد أنظمة الذكاء الاصطناعي "الإنسان في الحلقة" على التدخل البشري للتأكد من أن الذكاء الاصطناعي لا يخطئ في قراءة المعلومات ويقوم بتنبؤات غير دقيقة. غالبًا ما يكون هذا الموقف أكثر أهمية من أبرز أحداث الفيلم.
على سبيل المثال، سينظر أخصائي الأشعة في تشخيص الأشعة السينية الخاص بالذكاء الاصطناعي لتحديد ما إذا كان قد أخطأ في كسر أو آفة. ويمكن للبشر بعد ذلك تصحيح أي أخطاء والتأكد من حصول المريض على العلاج المناسب. إنها شراكة رائعة، ولكن هناك مشكلة صغيرة: نادرًا ما يكون البشر متأكدين بنسبة 100% من استنتاجاتهم.
وقد يرى نفس أخصائي الأشعة مساحة من أنسجة العظام بلون مختلف على الأشعة السينية ويتساءل: "هل هذه آفة أم عدم انتظام في الأشعة السينية نفسها؟ وإذا كانت آفة، فما هو السبب، و هل هي حميدة أم خبيثة؟" حتى الخبراء المدربين تدريباً عالياً - وربما الخبراء بشكل خاص - غالباً ما يدمجون هذا النوع من عدم اليقين في ملاحظاتهم وقراراتهم. إذا كانوا يعتقدون أن هناك فرصة بنسبة 10% لوجود تشخيص آخر، فيمكنهم مناقشة الأمر مع المريض والتخطيط وفقًا لذلك.
على الرغم من أن هذا يبدو طبيعيًا بالنسبة لنا، إلا أن أنظمة الاسترجاع بين الإنسان والآلة لا تفكر بهذه الطريقة. إنهم ينظرون إلى التدخل البشري على أنه ثنائي: إما أن يعرف البشر ما يعرفونه، أو لا يعرفونه. وهذا بدوره قد يحد من قدرة أنظمة الذكاء الاصطناعي على تقليل مخاطر الخطأ البشري في الشراكات.
فهل من الممكن لهذه الأنظمة أن تفهم بشكل أفضل الفروق الدقيقة في عملية صنع القرار البشري، وبالتالي تحسين قدراتها وأدائنا؟ قام فريق من الباحثين من جامعة كامبريدج باختبار هذا السؤال في ورقة بحثية جديدة.
**هل أنت متأكد؟ **
في الاختبار الأول، استخدم الباحثون النماذج القائمة على المفاهيم - نماذج التعلم الآلي التي تعمل على تحسين التنبؤات من خلال ردود الفعل البشرية - على مجموعتين من البيانات. مجموعة البيانات الأولى، تسمى "CheXpert"، تصنف الأشعة السينية للصدر. وهناك مجموعة بيانات أخرى، تسمى UMNIST، تجمع الأرقام في عينات الكتابة اليدوية. مثل معظم النماذج القائمة على المفاهيم، لم يتم تدريب أي من النموذجين مسبقًا على عدم اليقين، لذلك أراد الباحثون أن يروا كيف سيتعاملون مع عدم اليقين.
وقالت كاثرين كولينز، المؤلفة الرئيسية للدراسة وطالبة دراسات عليا في الهندسة بجامعة كامبريدج: "يعمل العديد من المطورين بجد لمعالجة عدم اليقين في النماذج، ولكن هناك عمل أقل يعالج عدم اليقين من منظور إنساني". انظر ماذا يحدث عندما يعبر الناس عن عدم اليقين، وهو أمر مهم بشكل خاص في البيئات الحرجة للسلامة."
الجواب هو: ليس بشكل جيد جداً. ووجد الباحثون أن أداء النموذج انخفض حتى عندما كان عدم اليقين في عمليات المحاكاة منخفضًا، واستمر في الانخفاض مع زيادة عدم اليقين. يشير هذا إلى أن هذه النماذج، على الرغم من دقتها عند تعرضها لتدخل حتمي بالكامل، "لا تعمم على الإعدادات التي يكون فيها مستخدمو التدخل غير متأكدين من طبيعة مفاهيم معينة".
في الاختبار التالي، استخدم الباحثون مجموعة بيانات لتصنيف صور الطيور وقدموا مشاركين بشريين حقيقيين. طُلب من المشاركين تحديد سمات محددة للطيور في الصور. هل الطائر متعدد الألوان أم صلب أم مرقط أم مخطط؟ هل ذيله على شكل شوكة أم دائرة أم مروحة أم مربع؟ إلخ.
ومع ذلك، لا تمثل الصور دائمًا الطيور بشكل أفضل. قد يكون الطائر الموجود في الصورة صورة ظلية على خلفية مشرقة، أو قد يكون ريش ذيله محجوبًا بأغصان الأشجار. لذلك أعطى الباحثون المشاركين من البشر القدرة على استخدام "الملصقات الناعمة" - وهي مفاهيم ليست إما/أو، ولكنها بدلاً من ذلك تسمح للبشر بتسمية مستويات الثقة بين 0 و100 (0 يعني لا أعرف و100 مؤكد تمامًا). .
على سبيل المثال، إذا وجد الأشخاص أنه من المعقول جدًا أن يكون شكل جناح الطائر عريضًا، فيمكنهم تحريك شريط التمرير إلى 80. ولكن إذا لم يكونوا متأكدين مما إذا كانت الأجنحة مستديرة أم مدببة، فيمكنهم تحريك شريط التمرير بشكل أقل (مثل 20 و10 على التوالي).
وجد الباحثون أنه عندما يتم استبدال الآلات بالبشر، يتدهور الأداء. ومع ذلك، فقد وجدوا أيضًا أن تدريب النموذج على عدم اليقين يمكن أن يخفف من بعض الأخطاء التي ارتكبها المشاركون البشريون. ومع ذلك، هذه النماذج ليست مثالية. في بعض الأحيان، يساعد عدم اليقين البشري، وفي أحيان أخرى، يضر بأداء النموذج.
وقال ماثيو باركر، المؤلف المشارك للدراسة: "نحن بحاجة إلى أدوات أفضل لإعادة معايرة هذه النماذج بحيث يكون لدى الأشخاص الذين يستخدمونها القدرة على التحدث عندما يكونون غير متأكدين". "في بعض النواحي، يثير هذا العمل أسئلة أكثر مما يجيب، ولكن على الرغم من أن البشر يمكن أن يرتكبوا أخطاء عندما يتعلق الأمر بعدم اليقين، يمكننا تحسين مصداقية أنظمة الاسترجاع بين الإنسان والآلة من خلال أخذ السلوك البشري في الاعتبار درجة وموثوقيته".
وانضم أيضًا باحثون من جامعة برينستون ومعهد آلان تورينج وGoogle DeepMind إلى فريق كامبريدج في البحث. وقد قدموا ورقتهم البحثية في مؤتمر AAI/ACM لعام 2023 حول الذكاء الاصطناعي والأخلاق والمجتمع في مونتريال. يتم نشر الورقة حاليًا كطبعة أولية على arXiv.
نحو مستقبل غامض
ويأمل الباحثون أن تساعد ورقتهم البحثية يومًا ما في تطوير أنظمة الاسترجاع بين الإنسان والآلة التي تأخذ عدم اليقين في الاعتبار، وبالتالي تقليل مخاطر أخطاء الذكاء البشري والاصطناعي. ومع ذلك، فإن هذه الدراسة هي مجرد خطوة أولى نحو هذا الهدف.
ويكشف أيضًا عن العديد من التحديات للبحث المستقبلي. تشمل هذه التحديات: كيفية تطوير نماذج الذكاء الاصطناعي واستراتيجيات التدخل التي تأخذ في الاعتبار أخطاء التنبؤ البشري المعروفة (مثل تحيز الثقة المفرطة)؛ وإنشاء واجهات تساعد البشر على قياس عدم اليقين لديهم؛ وتدريب نماذج الذكاء الاصطناعي على التعامل مع أنواع مختلفة من عدم اليقين، مثل كالفرق بين التشكيك في معرفتك وكيف ستحدث التأثيرات العشوائية.
وإذا أمكن معالجة هذه القضايا، فإن عدم اليقين البشري من الممكن أن يدعم بشكل أفضل الجزء "البشري" من "الحلقة بين الإنسان والآلة"، وبالتالي المساعدة في تحسين أداء هذه النماذج.
وأضاف كولينز: "كما قال بعض زملائنا، فإن عدم اليقين هو شكل من أشكال الشفافية، وهذا مهم حقًا". "نحن بحاجة إلى معرفة متى نثق في النماذج، ومتى نثق في الأشخاص، ولماذا. في بعض التطبيقات، نركز على الاحتمالية بدلاً من الاحتمالية."