محادثة مع كيفن كيلي: من السابق لأوانه تنظيم الذكاء الاصطناعي ويجب السماح "بالخروج عن نطاق السيطرة"

** حوار: ** تشانغ بينغ ، لي زيفي ** التخطيط: وي شيجي ، لي شييون **

مصدر الصورة: تم إنشاؤه بواسطة Unbounded AI‌

قبل ثلاثين عامًا ، عندما كانت الإنترنت في مهدها ، وكانت حتى أجهزة الكمبيوتر الشخصية نادرة ، بدأ كاتب تقني تجواله الخاص في جميع مناحي الحياة في ذلك الوقت. في حديثه إلى بعض ألمع العقول في العالم ، لمّح بعضًا من المستقبل الذي من شأنه أن يتوج بكتاب الخروج عن السيطرة (1994). حتى أكثر من عشر سنوات بعد ذلك ، عندما جاء عصر الإنترنت عبر الهاتف المحمول والهواتف الذكية ، تفاجأ الناس عندما اكتشفوا أن أحدث المفاهيم "الترابط العالمي للمعلومات ، والأنظمة الموزعة ، والعملة الرقمية ، والحوسبة السحابية ، وما إلى ذلك" قد تنبأ بها هذا منذ فترة طويلة. كتاب.

الكاتب التقني هو كيفن كيلي ، المعروف أيضًا باسم KK. وهو مؤسس مجلة "وايرد" و "مراقب التكنولوجيا" و "النبي". في عام 2010 ، تم إطلاق النسخة الصينية من "خارج نطاق السيطرة" ، وبدأت KK أيضًا سلسلة من الزيارات في الصين ، وأصبحت مألوفة تدريجياً للشعب الصيني.

يقف الذكاء الاصطناعي العام (AGI) في عقدة اليوم ، وتوشك ثورة العصر أن تبدأ ، وهو ما يعكس صدى النبوءة في كتاب "خارج نطاق السيطرة". توقع KK في ذلك الوقت أن يتحد البشر في النهاية مع الآلات ، "أصبحت الآلات بيولوجية ، ويتم هندسة الكائنات الحية". على حد تعبيره ، تحدث "خارج نطاق السيطرة" عن شيء واحد فقط ، وهو كيفية بناء "نظام معقد" - يمكن اعتبار الروبوتات والذكاء الاصطناعي وما إلى ذلك أنظمة معقدة ، وهو يعتقد أن هذه الفكرة لا يزال ساريًا اليوم.

منذ وقت ليس ببعيد ، أجرينا محادثة مع KK مع Li Zhifei ، المؤسس والرئيس التنفيذي للشركة الناشئة النموذجية الكبيرة Going out to ask.

الأول من المنظور العملي للتكنولوجيا والأعمال ، في حين أن الأخير من المنظور المجرد للبشر والتاريخ وحتى الكون ، يناقش صعود وتأثير وتهديد الذكاء الاصطناعي. هذه مناقشة "خيال علمي" و "خيالية". نحاول "التنبؤ" بمستقبل البشر والذكاء الاصطناعي مرة أخرى.

يجادل كلاهما بأنه لأول مرة في تاريخ البشرية ، اتخذ الذكاء الاصطناعي اليوم أشكالًا شبيهة بالحياة. قال لي زيفي إن الذكاء الاصطناعي الحالي يعادل بالفعل معدل ذكاء طفل بشري ، ولديه قدرات استخباراتية عامة حقيقية مثل المعرفة والمنطق والاستدلال والتخطيط. وتعتقد KK أن الذكاء الاصطناعي باعتباره "حياة قائمة على السيليكون" ، سيكون قابلاً للتكيف مثل البشر وسيكون قادرًا على التعلم والنمو بمفرده.

بشكل مشابه جدًا ، كلاهما يحتضن التفاؤل التكنولوجي. يعتقد KK أن الذكاء الاصطناعي لن يجعل البشر عاطلين عن العمل ، بل سيجعل البشر أكثر كفاءة ويحررهم من الوظائف "المقيتة". يبدو أن الذكاء الاصطناعي يوسع الفجوة بين الأغنياء والفقراء ، ولكن من المرجح أن يحقق الإنصاف والعدالة من خلال جعل الكعكة أكبر وأفضل مثل كل تغيير تكنولوجي في تاريخ البشرية. من حيث التأثير على الأعمال التجارية ، فإنه سيمكن الأفراد والشركات الصغيرة والمتوسطة والشركات الكبيرة في نفس الوقت.

كما يقول اسم كتاب "خارج نطاق السيطرة" - يعتقد كيفن كيلي أنه من أجل اكتساب قوة الذكاء الاصطناعي بشكل أفضل ، يجب على البشر السماح لأجزاء من الذكاء الاصطناعي "بالخروج عن نطاق السيطرة". بعد كل شيء ، ولدت ChatGPT في حالة "ظهور" خارج عن سيطرة البشر. يعتقد كل من هو و Li Zhifei أن الذكاء الحالي للذكاء الاصطناعي لا يزال غير ناضج ، ويجب على البشر الاستمرار في التخلي عنه ، بدلاً من التحكم قبل الأوان وبشكل مفرط (الإشراف). هذا الأخير يمكن أن يخنق الابتكار في مهده.

إذا أخذنا نظرة أطول ، إذا أصبح الذكاء الاصطناعي يومًا ما شكلاً من أشكال الحياة الفائقة ، فكيف يجب أن يتعايش معها البشر؟

يرسم كل من الخيال العلمي والأفلام مستقبلاً قاتمًا ينتهي غالبًا باستيقاظ الذكاء الاصطناعي لقتل البشر. لكن كيفن كيلي يعتقد أن هذا مظهر من مظاهر افتقار الإنسان للخيال. من السهل دائمًا تخيل الفشل عن النجاح ، وهو أيضًا مغري للقصص. فيما يتعلق بالمستقبل ، ليس من الصعب تخيل فوائد وقيمة الذكاء الاصطناعي.

اقتراحه هو أن الذكاء الاصطناعي يمكن اعتباره "كائنًا فضائيًا مصطنعًا" ، وسيتمكن البشر من استخدام حكمة الذكاء الاصطناعي لحل مشكلاتهم وتحقيق درجة معينة من "التحكم". يعتقد Li Zhifei أن البشر ، بصفتهم "سلف" الذكاء الاصطناعي ، سوف يندمجون في النهاية مع الذكاء الاصطناعي بدلاً من التحكم فيه.

أما ما إذا كانت هذه النبوءة ستتحقق أم لا ، فهي تعتمد على العالم بعد 5000 يوم.

فيما يلي النص الكامل للمحادثة:

** 01 حتى لو لم تقم شركة OpenAI بإجراء ChatGPT ، فإن الشركات الأخرى ستقوم بذلك قريبًا **

** تشانغ بينغ: بغض النظر عن الصين أو الولايات المتحدة ، يناقش الناس عارضات الأزياء الكبيرة مؤخرًا. ما هو شعورك حيال هذه الموجة من التغيير التكنولوجي في النماذج الكبيرة؟ هل ستشعر بصدمة شديدة؟ **

** كيفن كيلي: ** الذكاء الاصطناعي (AI) موجود منذ عقود. حدثت قفزة كبيرة إلى الأمام عندما بدأت نماذج الذكاء الاصطناعي في استخدام الشبكات العصبية والتعلم العميق ، وأصبحت أكبر وأكبر. منذ حوالي 4 أو 5 سنوات ، بدأت في إنتاج نماذج محولات كبيرة جدًا (نماذج التعلم العميق مع آلية الانتباه الذاتي). في العامين الماضيين ، بدأت في التفاعل مع نماذج اللغات الكبيرة.

في الواقع ، في الآونة الأخيرة ، التغيير الكبير في الذكاء الاصطناعي ليس في قدرته ، وأدائه في هذا الصدد ليس أفضل بكثير. ** ما تغير بالفعل في الذكاء الاصطناعي مؤخرًا هو أنه يسمح لنا بالحصول على واجهة مستخدم محادثة يمكنها بالفعل التواصل مع الذكاء الاصطناعي بلغة (طبيعية). قبل ذلك ، كان الناس بحاجة إلى تعلم الكثير من المعرفة بالبرمجة وأن يكونوا ماهرين جدًا لاستخدام الذكاء الاصطناعي. لكن الآن ، فجأة يستخدم الجميع الذكاء الاصطناعي. هذا هو الجزء المثير حقًا. **

** Li Zhifei: ** أتفق مع ما قاله KK ، التغيير الرئيسي في نموذج اللغة الكبيرة الحالي هو تحسين قدرات التفاعل اللغوي الطبيعي. هذا في الواقع ما يمكن أن يشعر به كثير من الناس العاديين ، ولهذا السبب بالتحديد ، أصبح لـ ChatGPT تأثير اجتماعي كبير اليوم.

لكني أعتقد أن هناك أيضًا الكثير من التباين في قدرات النماذج الكبيرة اليوم ، وهذا الاختلاف هو الذي يجعل تفاعلها الطبيعي ممكنًا. لأنه وراء إدراك التفاعل الطبيعي ، يحتاج الذكاء الاصطناعي إلى معرفة قوية ، وقدرة على الفهم ، والقدرة اللغوية ، والقدرة على التفكير والتخطيط ، وما إلى ذلك. يجب أن يكون للذكاء الاصطناعي طفرة في هذه القدرات الأساسية من أجل تحقيق تفاعل اللغة الطبيعية.

وأعتقد أن قدرة النماذج الكبيرة في المستقبل لن تكون مجرد تفاعل لغوي طبيعي. أشياء مثل برامج الكتابة وعمليات التشغيل الآلي للمؤسسات وأتمتة الروبوت ليست تفاعلية ، ولكنها ستصبح ممكنة في المستقبل.

** Zhang Peng: أتفق تمامًا على أن قدرة الذكاء الاصطناعي على التواصل بشكل أفضل مع البشر ستحدث نقلة نوعية في التكنولوجيا والأعمال. إذا كان ChatGPT هو المنحنى الثاني لتطوير الذكاء الاصطناعي ، فهل ظهوره حتمي أم عرضي؟ **

** كيفن كيلي: ** ChatGPT قادرة على تجاوز كل التوقعات. ** لا أعتقد أن أحداً توقع هذا ، بما في ذلك الأشخاص في مجال الذكاء الاصطناعي. في الواقع ، لا يعرف معظم الباحثين كيفية عمل ChatGPT ، ويحاولون تحسينه ، لكنه صعب لأنهم لا يعرفون كيف يعمل. لذلك ، كان ظهور ChatGPT مصادفة. **

على الرغم من أن ChatGPT مدهش للغاية ، إلا أننا نرى أيضًا حدوده. ** القيد الرئيسي للنموذج هو أنه تم تدريبه على متوسط محتوى من تأليف بشري ، لذلك فهو يميل إلى إنتاج نتائج متوسطة. وما نريده غالبًا ليس المتوسط ، بل شيء أعلى من المتوسط. **هذا أمر يصعب القيام به.

ثانيًا ، تم تحسين هذه النماذج من أجل المعقولية وليس الدقة. لذلك ، تعد كيفية جعلها أكثر دقة تحديًا كبيرًا يواجهه الجميع حاليًا.

** Li Zhifei: ** أعتقد أن ظهور ChatGPT حدث عرضي على المدى القصير ، ولكنه حتمي على المدى الطويل. يمكن القول أنه كان من قبيل الصدفة أن تقوم شركة OpenAI بإنشاء ChatGPT في نهاية العام الماضي ، ولكن حتى لو لم تنجح ، فإن الشركات الأخرى ستنجزها قريبًا. **

لقد كرر هذا نفسه مرات لا تحصى في تاريخ التكنولوجيا. بأخذ التعلم العميق كمثال ، كان AlexNet أول من قدم تعليقًا توضيحيًا للصور في عام 2012 ، ولكن في ذلك الوقت كانت العديد من الفرق ذات المعتقدات القوية والقدرات الهندسية تفعل ذلك أيضًا. بالإضافة إلى ذلك ، قامت Google بعمل محول في عام 2017 لحل مشاكل قابلية التوسع المنخفضة لنماذج التسلسل مثل RNN و LSTM. إذا لم تنجح Google ، فستقوم فرق أخرى بذلك.

** خلفية ولادة ChatGPT هي أن المحول ناضج جدًا ، ولدينا قوة حوسبية قوية لتدريب البيانات الهائلة للإنترنت. جميع العناصر الضرورية لـ ChatGPT متوفرة بالفعل ، ولا مفر من ولادتها. ** الأمر هو أن شركة OpenAI وضعتها معًا بشكل أفضل في ذلك الوقت.

** تشانغ بينغ: عندما أتحدث عن الحتمية والطوارئ ، فكرت في كلمة حظيت بشعبية كبيرة مؤخرًا ، "الظهور". ظهرت هذه الكلمة 88 مرة على الأقل في "خارج نطاق السيطرة" لـ KK. كيف نفهم معنى هذه الكلمة اليوم؟ **

** كيفن كيلي: ** من وجهة نظر إنجليزية ، "الظهور" هو مصطلح يشير إلى سلوك نظام ، أو مجموعة كاملة من الأشياء المترابطة ، مثل الإنترنت ، والروبوتات ، والهيئات ، والأنظمة البيئية ، أو حتى بالكامل العالم الذي لا يندرج سلوكه في سلوك أي جزء بمفرده. على سبيل المثال ، يمكن للخلية أن تتذكر أشياء تتعدى عمر نحلة واحدة ، وبالتالي فإن الخلية نفسها لديها سلوك وقدرة وقوة لا تتذكرها الأجزاء الفردية. نسمي هذا "الظهور".

وبالمثل ، فإن الكثير من الذكاء الاصطناعي الذي يتم إنشاؤه هو أيضًا "ناشئ". نظرًا لعدم وجود مكان واحد في النموذج يشرح مصدره ، يتطلب الأمر جميع الأجزاء للعمل معًا لإنتاج هذه القدرة الجديدة. تمامًا مثل عدم وجود "فكر" في دماغنا ، "ينبثق" "الفكر" من الخلية العصبية بأكملها. ** أشياء مثل التفكير والتطور والتعلم يمكن أن "تنبثق" من النظام.

** Li Zhifei: ** فهمي لـ "النشوء" يأتي من كتاب "التعقيد" الذي يتحدث عن "المزيد يختلف" و "المزيد يختلف". تمامًا مثل المثل الصيني القديم ، "التغيير الكمي يؤدي إلى تغيير نوعي". كانت المرة الأولى التي تحدث فيها العارضة الكبيرة عن "الظهور" مقالة نشرتها ستانفورد وجوجل في نهاية العام الماضي. وجدوا من خلال التجارب أنه من خلال زيادة حجم النموذج الكبير ، عندما يتم الوصول إلى نقطة حرجة معينة ، فإنه "يظهر" فجأة في قدرة معينة.

أشعر الآن أن كلمة "الظهور" في الواقع مفرطة الاستخدام. ولأننا لا نستطيع أن نشرح كيف تأتي قدرة النموذج الكبير ، فإننا نسميها "ظهور" ، وهذه الكلمة لا يمكن تفسيرها أو التلاعب بها ، ولا تساعدنا في تدريب النموذج الكبير وتطبيقه. الآن ، لم يعد الجميع يدرسون "الظهور" ، ولكن المزيد من البحث حول العلاقة الكمية بين كمية المعلمة للنموذج الكبير والأداء النهائي ، والتي قد تكون أكثر فائدة لنا لفهم النموذج الكبير والتحكم فيه.

** تشانغ بينغ: هل يمكننا أن نفهم أن "الظهور" سيؤدي إلى "فقدان السيطرة"؟ **

** كيفن كيلي: ** هذا الفهم ليس صحيحًا تمامًا. بالطبع ، سيكون لها "أجزاء خارجة عن السيطرة" ، إذا كنت تريد أن تكون قادرًا على استخدام قوة سلوك "الظهور" ، فقد تحتاج إلى تحمل بعض الأشياء الخارجة عن إرادتك. قد لا يكون فهمنا والتحكم فيه جيدًا بما يكفي في الذكاء الاصطناعي في الوقت الحالي ، ولكنه في الواقع ضروري لتحقيق أفضل النتائج.

لكن في الوقت نفسه ، لا يمكننا ترك كل شيء "يخرج عن نطاق السيطرة" ، يجب أن ننفذ درجة معينة من "التحكم" ، أي توجيه وإدارة الذكاء الاصطناعي. ** مرة أخرى ، لا نريد أن نكون مقيدين بشكل مفرط ، ولكن يجب تحقيق مستوى معين من التحكم. من المحتمل ألا نمتلك السيطرة الكاملة عليها على الرغم من ذلك ، ** خاصة مع الذكاء الاصطناعي الأكثر قوة ، فمن المحتمل ألا نفهم تمامًا كيفية عملها. هذه هي المقايضة.

** Zhang Peng: لقد مرت سنوات عديدة منذ أن كتبت كتاب "خارج نطاق السيطرة". في هذا المنعطف اليوم ، جنبًا إلى جنب مع هذه الموجة من ثورة الذكاء الاصطناعي ، هل تعتقد أن هناك أي جزء من "خارج نطاق السيطرة" يستحق إعادة المعايرة؟ **

** كيفن كيلي: ** لا أعتقد أنني تحدثت كثيرًا عن الذكاء الاصطناعي وخارج نطاق السيطرة في كتاب "خارج نطاق السيطرة" ، فهو يتحدث بشكل أساسي عن كيفية تحويل الأشياء البسيطة إلى أشياء معقدة. هناك شيء يسمى بنية النظام الفرعي لـ Rodney Brooks ، والذي يذكر أنه يمكنك صنع روبوت معقد من خلال تضمين أجزاء من الذكاء فيه. العملية التي تؤدي إلى التعقيد هي وضع الأشياء فوق الأشياء التي تعمل بالفعل. (تقترح النظرية المعمارية لبروكس أن السلوك عالي المستوى يحتاج إلى احتواء سلوك المستوى الأدنى).

** مثل الحشرة ، حتى لو قطعت رأسها ، فلا يزال بإمكانها المشي ، لأن وظيفة المشي تكتمل أكثر. تمامًا كما أن لدماغنا نواة مسؤولة عن التنفس والوظائف اللاإرادية الأخرى ، فإننا نضيف المزيد من طبقات التعقيد فوقها. لا تزال هذه الفكرة صالحة اليوم عندما يصنع الناس الروبوتات والذكاء الاصطناعي ويحاولون جعلها أكثر تعقيدًا. ** هذا هو الشيء الوحيد الذي أتحدث عنه حقًا في "خارج نطاق السيطرة" وأعتقد أن النقطة لا تزال قائمة.

** Zhang Peng: أتذكر أنه كان لديك منظور مثير للاهتمام من قبل ، وهو "افتراض أن التكنولوجيا هي نوع من الحياة" ، عندما تظهر بذكاء قريب من البشر ، ماذا تريد بعد ذلك؟ كيف سيؤثر ذلك على عالم الأعمال والمجتمع البشري؟ **

** كيفن كيلي: ** التكنولوجيا هي ما أسميه "مملكة الحياة السابعة". لقد سرّعنا تطور الحياة إلى عالم "جاف" لم يعد بحاجة إلى بيئة "رطبة" ، ولكن يمكن أن يوجد في السيليكون. يمكننا استخدام عقولنا لإنشاء تقنيات أخرى تشبه الحياة. فهي قابلة للتكيف ويمكن أن تتعلم وتنمو.

وجهة نظري هي أن التكنولوجيا تنتهج أساسًا نفس الأشياء مثل الحياة. على سبيل المثال ، سوف يزداد تنوعهم مع تطورهم ، وسيصبحون أيضًا أكثر تخصصًا وتحديدًا. يحتوي جسمنا على 52 نوعًا مختلفًا من الخلايا ، بما في ذلك خلايا القلب وخلايا العظام وخلايا العظام. سننشئ أيضًا أنظمة ذكاء اصطناعي متخصصة تؤدي مهامًا محددة مثل ترجمة اللغة وتوليد الصور والقيادة الذاتية. ** بالإضافة إلى ذلك ، ستصبح التكنولوجيا أكثر تعقيدًا مثل الحياة ، وهذا أمر واضح.

في النهاية ، ستكون التكنولوجيا أيضًا "متبادلة المنفعة والتكافل" مثل الحياة. تطورت الحياة لدرجة أنها لم تتلامس إلا مع الحياة الأخرى ، وليس مع المواد غير الحية. مثل البكتيريا الموجودة في أمعائك. هم محاطون فقط بخلايا حية أخرى. ** في المستقبل ، سيكون هناك أيضًا بعض أنظمة الذكاء الاصطناعي غير المصممة للبشر ، ولكنها مصممة لخدمة أنظمة الذكاء الاصطناعي الأخرى. على سبيل المثال ، ستكون هناك أنظمة ذكاء اصطناعي مخصصة للحفاظ على أنظمة ذكاء اصطناعي أخرى ، أنظمة ذكاء اصطناعي تتواصل فقط مع أنظمة ذكاء اصطناعي أخرى. **

** Li Zhifei: ** أريد أن أوضح العلاقة بين الذكاء الاصطناعي والحياة من منظور المهندس. منذ بضع سنوات ، سألني الكثير من الناس دائمًا ، "كم يبلغ معدل الذكاء في Alphago (أول برنامج كمبيوتر يهزم بطل العالم في Go)؟" في ذلك الوقت ، لم يعجبني هذا النوع من الأسئلة لأنني لم أستطع ر تجاوب عليه. في ذلك الوقت ، على الرغم من أن الذكاء الاصطناعي يمكن أن يلعب Go ولديه معدل ذكاء عالٍ ، إلا أنه لا يمكنه إجراء محادثات لغة طبيعية مثل طفل يبلغ من العمر 3 سنوات. في ذلك الوقت ، كانت آليتها مختلفة اختلافًا جوهريًا عن آلية البشر.

لكن في هذه الأيام ، أحب بشكل خاص مقارنة الذكاء الاصطناعي بالطفل. أعتقد أن الجوهر هو أن الذكاء الاصطناعي اليوم يمتلك بالفعل قدرات الذكاء العامة الحقيقية التي يمتلكها الأطفال ، مثل المعرفة والمنطق والاستدلال والتخطيط وما إلى ذلك. ** لذلك أريد أن أقول إن الذكاء الاصطناعي اليوم يشبه الجسم الحي. لديها معدل ذكاء طفل يبلغ من العمر 5 سنوات ومعرفة أستاذ جامعي بالإضافة إلى طفل حديث الولادة ، اعتمادًا على ما إذا كان قد اطلع على البيانات. **

بناءً على هذا الفهم ، أعتقد أننا بحاجة إلى إعادة التفكير فيما يريده الذكاء الاصطناعي حقًا. بالنسبة لطفل يبلغ من العمر 5 سنوات ، سيقوم أولاً بالتطهير الذاتي ، يليه التكرار الذاتي والتعاون. ليس لدي إجابة جيدة على هذا السؤال بنفسي.

** 02 في الأيام الخمسة آلاف القادمة ، سنمر بفترة انتقالية ضيقة وعاجلة **

** تشانغ بينغ: عندما تنمو قدرات الذكاء الاصطناعي بسرعة ، يشعر الكثير من الناس العاديين بالقلق والخوف من أن يفقدوا قدرتهم التنافسية. هل لدى KK أي أفكار أو اقتراحات حول هذه المسألة؟ **

** كيفن كيلي: ** على الرغم من أن تقنية الذكاء الاصطناعي قيد التطوير منذ 20 عامًا ، يشعر الناس أنها حققت نجاحًا بين عشية وضحاها وهم قلقون بشأن معدل نموها وقدراتها. ** نحن نميل دائمًا إلى تخيل أسوأ السيناريوهات بدلاً من أفضل السيناريوهات. أعتقد أن إحدى طرق التعامل مع قلق التغيير هي النظر إلى الوراء. في الواقع ، كان لدى البشر هذا النوع من القلق في الماضي ، ولكن لم يحدث أبدًا في أسوأ السيناريوهات التي تخيلناها. من المحتمل أن تكون هي نفسها هذه المرة. **

أفضل طريقة وجدت نفسي للتعامل مع مخاوفي هي محاولة استخدامها. أجد أن معظم القلق يأتي من أولئك الذين لم يستخدموا الذكاء الاصطناعي ، ولديهم شعور بالبعد عن الذكاء الاصطناعي. في الواقع ، بمجرد أن يبدأوا في محاولة استخدامه ، سيرون أن للذكاء الاصطناعي فوائد وقيود وأضرار. هذا سوف يقلل من قلقهم.

** Li Zhifei: ** إذا لم يحدث AGI اليوم ، فسيحدث غدًا. نظرًا لأنه لا يمكن إيقافه ، يجب أن تتقبله وتفهمه. بالنسبة لي الآن ، الذكاء الاصطناعي العام هو شريك في التفكير. سأتحدث معه عن العديد من المشاكل ، فمعرفته شاملة للغاية ويمكنه أن يقدم لي النصيحة من منظور واسع وشامل. أعتقد أن هذا قد يكون شكلاً جيدًا من أشكال احتضان الإنسان للذكاء الاصطناعي.

في الوقت نفسه ، يمكننا أن نرى أن النماذج الكبيرة اليوم لا تزال تفتقر إلى بعض القدرات الهامة من الذكاء الاصطناعي العام الحقيقي. على سبيل المثال ، القدرة على التفكير المنطقي وتخطيط المهام المعقدة.إذا كنت تريد أن يقوم الذكاء الاصطناعي بتفكيك الخطوات وتحقيق الهدف بناءً على هدف معين ، فهو ليس جيدًا في الوقت الحالي.

** Zhang Peng: KK هو أيضًا منشئ محتوى. ما رأيك في القيمة النهائية للمبدعين الذين لا يمكن استبدالهم بالذكاء الاصطناعي في عصر الذكاء الاصطناعي؟ **

** كيفن كيلي: ** استخدمت الذكاء الاصطناعي وأدوات أخرى في كتاباتي. لا أعتقد أن أي شخص سيفقد وظيفته بسبب الذكاء الاصطناعي. ** لأنني لا أجد مثالاً واحدًا فقد فيه فنان وظيفته بسبب الذكاء الاصطناعي. إنه خوف متخيل ، مشكلة غير موجودة. ربما يكون التوظيف هو المشكلة الأقل خطورة المرتبطة بالذكاء الاصطناعي. **

ما أحاول قوله هو أن ما مضى قد يكون وصف وظيفتك ، وهو ما تفعله بالفعل ، قد يتغير. ** لاحظ بعض الأشخاص أن 50٪ من عملهم يمكن أن يتم بواسطة الذكاء الاصطناعي ، في حين أن الـ 50٪ الأخرى سيتم تعزيزها وتضخيمها بواسطة الذكاء الاصطناعي. ** لذا في المستقبل ، قد لا يحتاج نصف العمل إلى أشخاص ليقوموا به ، ويمكن للناس أداء الـ 50٪ المتبقية من العمل بشكل أفضل. هذا هو النمط الذي سنراه عادة.

** بالطبع ، تختفي أنواع معينة من الوظائف ، مثل طلب الطعام واحتساب المال كصراف. لا نريد أن يقوم البشر بهذه الوظائف ، لذا سيختفون بالتأكيد ، ويجب أن يختفوا. **

** تشانغ بينغ: كيف تقيمون القدرة التنافسية للصغار والكبار في عصر الذكاء الاصطناعي؟ **

** كيفن كيلي: ** يتمتع كبار السن بالكثير من المزايا ، فهم على دراية جيدة ولديهم خبرة. يتمتع الشباب أيضًا بالكثير من المزايا لأنهم لا يعرفون ما هو المستحيل. لا أعتقد أن أي شخص أكثر قدرة على المنافسة من من.

أود أن أقول إن الشباب اليوم غالبًا ما يتحدثون عن كونهم مواطنين رقميين ولديهم ميزة على التكنولوجيا. ولكن بسبب التطور السريع للذكاء الاصطناعي وأشياء أخرى ، قد يكون الشباب من السكان الأصليين أمس ويكونون مثل "كبار السن" غدًا. سواء كنت شابًا أو كبيرًا ، فالجميع "مبتدئ" في العصر الجديد ويجب أن يستمروا في تعلم أشياء جديدة بسرعة طوال حياتهم.

** تشانغ بينغ: مع إتقان مختلف لتكنولوجيا الذكاء الاصطناعي ، هل سيؤدي ذلك إلى تغييرات في الفجوة بين الأغنياء والفقراء؟ بمعنى ، هل سيكون الأشخاص الذين سيستخدمون الذكاء الاصطناعي في المستقبل أكثر إنتاجية وقدرة على المنافسة؟ **

** كيفن كيلي: ** نعم ، ستتسع فجوة الثروة. ** أعتقد أنه بمرور الوقت ، قد تكون قدرتك على العمل بالذكاء الاصطناعي أكثر أهمية مما إذا كنت ستلتحق بالجامعة أم لا. ربما يكون الغرض من الكلية هو تعليمك كيفية العمل بالذكاء الاصطناعي. بالنسبة للطموحين للغاية ، إذا تعلموا كيفية استخدام الذكاء الاصطناعي ، فإن رواتبهم ستحدث فرقًا كبيرًا. **

ومع ذلك ، مع انتشار الذكاء الاصطناعي في جميع أنحاء العالم ، سنحقق في المستقبل وصولًا متساويًا إلى الذكاء الاصطناعي على مستوى العالم ، تمامًا مثل المساواة في الوصول إلى التعليم. أعرف أصدقاء يديرون شركات كبيرة في الولايات المتحدة ويقومون بتعيين موظفين يعملون عن بُعد ، طالما أنهم قادرون ، فإن الخلفية لا تهم. لذلك ، سيتم دفع رواتب العديد من الأشخاص الذين يعملون في أمريكا الجنوبية وأفريقيا وفقًا لمعايير الرواتب الأمريكية. سوف يكسبون أموالاً أكثر مما كانوا سيفعلون بخلاف ذلك.

** تشانغ بينغ: التطور السريع للتكنولوجيا قد يجلب الظلم والظلم في المجال الاجتماعي ، فكيف نحقق التوازن بين التنمية والإنصاف والعدالة؟ **

** كيفن كيلي: ** أعتقد أنه يمكننا تحقيق التوازن بين التقدم والإنصاف. في الواقع ، أعتقد أن جزءًا كبيرًا من التقدم هو نشر حقوق الملكية.

بالمقارنة مع مئات السنين الماضية ، كان العالم غير عادل للغاية. لقد ولدت عبداً أو عبداً أو فلاحاً ، ولم تكن هناك فرصة لتجاوز ذلك. ولكن بفضل التقدم ، أصبح لدينا الآن عالم أكثر مساواة وإنصافًا. أعتقد أن تطوير التكنولوجيا يمكن أن يزيد العدالة ، على الرغم من أنه قد لا يتحقق ، إلا أنه ممكن.

** Li Zhifei: ** من وجهة نظر مهندس ** إذا نظرت إلى الإنصاف من نقطة النهاية وتأمل أن يكون لدى الجميع نفس مستوى الثروة والقدرة ، فهذا بالتأكيد سيؤدي إلى المزيد والمزيد من الظلم. ولكن إذا نظرت إلى الإنصاف من نقطة البداية ، مثل إتاحة أدوات الذكاء الاصطناعي للجميع ، فقد يكون هذا أفضل لتحقيق الإنصاف. **

** Zhang Peng: الآن نرى أنه في بعض الشركات ، مثل Midjourney ، شركة رسم بياني فينسنت ، يمكن لعشرات الأشخاص تحقيق دخل سنوي بمئات الملايين من الدولارات. هل يمكننا أن نفهم أن الذكاء الاصطناعي قد غير الإنتاجية بشكل جذري؟ هل ستصبح شركات المستقبل أصغر وأصغر نتيجة لذلك؟ **

** كيفن كيلي: ** يمكن للقوة المذهلة التي يمتلكها الإنترنت والذكاء الاصطناعي الآن تمكين الأفراد والشركات متوسطة الحجم والشركات الكبيرة في الوقت نفسه. يسهل على الفرد امتلاك شركة ، لذلك سنرى الكثير من الشركات الجديدة التي هي مجرد ذكاء اصطناعي بالإضافة إلى عدد قليل من الأشخاص. لكن في الوقت نفسه ، رأينا أيضًا أن بعض الشركات أصبحت أكبر بسبب وجود الذكاء الاصطناعي ، بل وزادت حجمها لمليون شخص.

** لذلك لن ندخل فجأة إلى عالم من الشركات به شخص واحد أو شخصان فقط ، وهذا لن يحدث. في الوقت نفسه ، لن نستفيد فقط الشركات الكبيرة. هذا هو جمال الذكاء الاصطناعي ، يمكنه إفادة الجميع وتمكينهم. **

** Li Zhifei: ** أعتقد أن تأثير الذيل الطويل وتأثير ماثيو سيصبحان أكثر وضوحًا.

من ناحية أخرى ، سيصبح الذيل أطول وأطول ، وستظهر المزيد والمزيد من الشركات الصغيرة ، وستصبح نظامًا كاملاً من تلقاء نفسها. من ناحية أخرى ، عندما تتمتع شركة كبيرة بقدرات قوية في مجال الذكاء الاصطناعي ، فإن قوتها التنظيمية ستصبح أقوى. في السابق كان بإمكانها فقط تنظيم 1000 شخص ، لكنها الآن يمكنها تنظيم 10000 أو 100000 أو مليون شخص. على سبيل المثال ، تعتمد صناعة توصيل الطعام في الصين على مجموعة كاملة من أنظمة التشغيل الآلي لتنظيم مجموعة ضخمة من الدراجين.

** Zhang Peng: في الوقت الحالي ، يعد الذكاء الاصطناعي أيضًا الموضوع الأكثر إثارة في وادي السيليكون ، حيث يفكر العديد من رواد الأعمال في ابتكار الأعمال مع النماذج الكبيرة باعتبارها جوهرها. هل لدى KK أي ملاحظات على هذا؟ **

** كيفن كيلي: ** هذا يذكرني بأوائل الإنترنت. عندما ظهر الإنترنت لأول مرة ، أدركت كل شركة فجأة أنه يتعين عليها وضع نفسها على الإنترنت. والآن ، تستفيد كل شركة من واجهة المحادثة للذكاء الاصطناعي ، من خلال تقديم نماذج لغوية كبيرة وذكاء اصطناعي لإجراء الأعمال. أحد الأمثلة على ذلك هو Wendy's ، وهو مطعم برجر للوجبات السريعة العصرية يستخدم الآن واجهة محادثة ، مما يسمح للعملاء بطلب الطعام في السيارة والتحدث إلى آلة.

علاوة على ذلك ، هناك بعض الخدمات والأفكار الجديدة تمامًا التي لم تظهر بعد. لا أعرف الأرقام الدقيقة ، لكن ما أعرفه على وجه اليقين هو أن مئات المليارات من الدولارات تتدفق إلى هذا الفضاء الآن. في كثير من الأحيان ، ربما لن ينجح معظمهم ، ولكن سيكون هناك ما يكفي منهم. سنرى بعض الأشياء المدهشة خلال السنوات الثلاث المقبلة ، وبعض الشركات الجديدة تمامًا التي يمكن أن تصبح كبيرة حقًا.

** Zhang Peng: في الـ 5000 يوم الماضية ، قام KK بالعديد من التنبؤات الصحيحة ولديه فهم استشرافي للعديد من الاتجاهات الرئيسية. لقد توقعت مؤخرًا أن الأيام الخمسة آلاف القادمة ستكون واحدة من أكثر الفترات خطورة في تاريخ البشرية. أين هو مفتاح هذه العقدة؟ في أي اتجاه ستؤدي البشرية إلى مفترق طرق؟ **

** كيفن كيلي: ** هناك أشياء أخرى كثيرة تحدث في العالم إلى جانب الذكاء الاصطناعي. نحن نواجه تحدي تغير المناخ ، والهندسة الوراثية تلوح في الأفق ، ومن السهل تخيل الذكاء الاصطناعي على أنه مهين ، ومن السهل رؤية المراقبة منتشرة في كل مكان ونفقد السيطرة. نحن نواجه العديد من التحديات والفرص على نطاق عالمي.

** هذه فترة انتقالية ضيقة وعاجلة ويجب أن نجتازها. ** أعتقد أنه يمكننا الوصول إلى هذه البوابة الضيقة من خلال الكهرباء والمركبات الكهربائية والطاقة البديلة والنجاح في تطوير لقاح تاجي جديد. في الوقت الحاضر ، لا يزال هناك العديد من التوترات والانقسامات السياسية على هذا الكوكب ، لكننا بحاجة إلى عمل جماعي ، ونحن بحاجة إلى التوصل إلى توافق في الآراء في مجالات التكنولوجيا ، والبيئة ، وما إلى ذلك ، والعمل معًا لحل المشكلات.

** هذه هي المرة الأولى على الأرض التي تظهر فيها ثقافات عالمية واقتصادات عالمية وتأثيرات بيئية عالمية. هذه أيضًا فرصتنا لنصبح حضارة عالمية أكثر في الأيام الخمسة آلاف القادمة. **

** Li Zhifei: ** قال KK إنه في الأيام الخمسة آلاف القادمة ، سيواجه العالم العديد من التحديات الأخرى إلى جانب الذكاء الاصطناعي. أعتقد أن الأيام الـ 365 القادمة مهمة جدًا أيضًا من منظور الذكاء الاصطناعي. لقد مر الذكاء الاصطناعي بالعديد من الجولات ، في كل مرة يكون لدى الناس توقعات عالية بشأنه ، لكنه لا يعمل ، وبعد ذلك يتوقع الناس قيمًا عالية ، ولا يعمل مرة أخرى. أعتقد أن موجة اليوم من الذكاء الاصطناعي العام ستكون شيئًا يعتقد الناس في الصناعة أنه رائع ، أو ما إذا كانت ستصبح شيئًا مهمًا للغاية في المجتمع ، فهي تعتمد إلى حد كبير على 365 يومًا القادمة.

بما في ذلك كيفية تطوير النموذج الكبير ، هل الأكبر هو الأفضل ، أم يجب أن نضيف طرقًا متعددة ، أم يجب أن نضيف حلولًا ، وما إلى ذلك؟ بما في ذلك النظر إلى معدل الاختراق ، في الوقت الحالي ، ربما استخدم أقل من 5٪ من الأشخاص في العالم ChatGPT ، فكيف يمكننا زيادة معدل الاختراق من 5٪ إلى 20٪؟ بما في ذلك التنظيم ، كيف يجب أن يتعامل البشر مع تأثير الذكاء الاصطناعي على المجتمع؟ ويشمل أيضًا الذكاء الاصطناعي بالإضافة إلى تطبيقه في صناعات مثل الإنترنت ، كيف ينبغي تنفيذه في الصناعات التقليدية مثل الرعاية الطبية والسيارات والتمويل؟ إلخ.

أعتقد أن الأمر قد يستغرق عامًا على الأقل حتى يقوم الأشخاص بمحاولات مختلفة قبل أن يتمكنوا من الحصول على حكم أوضح.

** 03 البشر العاديون ليسوا نبيلًا ، نريد أن يكون الذكاء الاصطناعي أفضل من البشر العاديين **

** Zhang Peng: في كثير من الحالات يميل البشر إلى الثقة في التكنولوجيا ، على سبيل المثال ، ينام شخص ما في سيارة ذاتية القيادة ويتسبب في وقوع حادث. هل هذه الثقة الدقيقة في التكنولوجيا المتقدمة عادة بشرية؟ ما هي العواقب؟ **

** كيفن كيلي: ** السيارات ذاتية القيادة ليست مثالية لكنها لا تزال أفضل من البشر في القيادة. هل يمكننا الوثوق بالذكاء الاصطناعي؟ في المحادثات مع روبوتات الدردشة ، وجدنا أن إجاباتهم لم تكن دقيقة ، لذلك لم نتمكن من الوثوق بهم تمامًا. لكنني أعتقد أننا سنبدأ في معالجة ذلك قريبًا.

في هذه الأيام ، يثق معظم الناس بآلاتهم الحاسبة. أنت تعطيها أرقامًا ، وتعطيك إجابات ، وتثق بها تمامًا. لذلك نحن نعلم أن الآلة جديرة بالثقة ، وهذا شيء يمكن العمل عليه لتحسينه. ** والتحيزات حول الذكاء الاصطناعي لأنها مدربة على البشر العاديين الذين يتسمون بالعنصرية والتمييز الجنسي والخبيث ليسوا نبلاء. نريد في الواقع أن يكون الذكاء الاصطناعي لدينا أفضل من البشر. **

تمامًا مثل الآلة الحاسبة أفضل من الإنسان العادي ، يجب أن تعتمد على الإجابات التي تقدمها لك الآلة الحاسبة أكثر من الاعتماد على الإنسان العادي. ** الثقة شيء يجب أن نركز عليه ونعمل عليه ، رغم وجود العديد من التحديات ، لكن في النهاية أعتقد أننا سنعتمد بشدة على الذكاء الاصطناعي والآلات ونثق به. **

** Zhang Peng: في الآونة الأخيرة ، يعتقد الكثير من الناس في الولايات المتحدة أن تطوير الذكاء الاصطناعي سريع جدًا ، ويجب أن يبطئوا أو يتوقفوا ويفكروا فيه. هل توافق على هذه الفكرة؟ **

** كيفن كيلي: ** لا ، أنا لا أؤيده. أعتقد أن هذا مضلل ومضلل وغير ضروري. لا أعتقد أن هذا ممكن حقًا ولا ينصح به.

** Zhang Peng: في معظم أفلام الخيال العلمي أو روايات البشر ، يعتبر الذكاء الاصطناعي شخصية قاتمة نسبيًا ، هل هذا بسبب افتقار البشر للخيال ، أم أن لدينا الكثير من التخيلات الخاطئة؟ **

** كيفن كيلي: لطالما صورت هوليوود الذكاء الاصطناعي على أنه بائس ومروع وغير مرغوب فيه ، وهو ما أعتقد أنه نقص في الخيال. لأنه من قوانين الكون أنه من الأسهل بكثير تخيل كيف سيفشل شيء ما من كيفية نجاحه. ** بصراحة ، يصعب على الناس تخيل عالم رائع بعد 100 عام من الآن حيث يكون الذكاء الاصطناعي في كل مكان ورخيص ومفيد للبشرية ، على الرغم من أن هذا هو العالم الذي نريد أن نعيش فيه.

أيضًا ، هذه الاستوديوهات جيدة جدًا في سرد القصص ، وعناصر القصة الرائعة هي الصراع والكوارث وبعض العناصر القوية. سواء كانت الحروب أو الأعاصير أو الذكاء الاصطناعي يحاول تدمير العالم. لذلك من غير المرجح أن نرى رؤية وردية للذكاء الاصطناعي في فيلم هوليوود لأنها لا تساهم في القصة ، رغم وجود الاحتمال ، لكنها صغيرة جدًا.

لذلك لا يمكننا النظر إلى الذكاء الاصطناعي من خلال انطباع هوليوود (أفلام). لسوء الحظ ، هذا ما يفعله الكثير من الناس. عندما يتعلق الأمر بالذكاء الاصطناعي ، فإنهم يفكرون في "Terminator" و "2001 Space Odyssey" و "HER".

** لي زيفي: ** أعتقد أن كل عدم الثقة يرجع إلى الجهل. عندما نواجه الأنواع الجديدة من الذكاء الاصطناعي العام ، لا أفهم كيف تظهر إمكانياته ، وماذا يريد ، وما يمكنه فعله. هذه هي القضية الأساسية.

أعتقد أن ما يمكن أن يفعله البشر ، من ناحية ، هو فهم الذكاء الاصطناعي العام بشكل أكبر ، ومن ناحية أخرى ، تعلم ترك الذكاء الاصطناعي العام يشرح نفسه بوضوح. على سبيل المثال ، عندما تعطيك إجابة ، فإنك تتركها تتحدث عن عملية العمل الداخلية والمونولوج الداخلي. قد يخلق هذا إحساسًا أقوى بالثقة. **

** Zhang Peng: بالنسبة لـ KK ، يبدو أن "Tao Te Ching" لـ Lao Tzu قد ألهمك كثيرًا. لقد ذكرت أن "أعلى مستوى من السيطرة هو خارج نطاق السيطرة ، وأدنى مستوى من السيطرة هو التحكم في كل شيء". ما رأيك في الزيادة الأخيرة في التنظيم الحكومي والتقني للذكاء الاصطناعي؟ **

** كيفن كيلي: ** لا أعتقد أن التنظيم الحالي جيد. بالطبع ، التنظيم مهم وضروري ، فمن الضروري التأكد من أن الأمور تسير بسلاسة ، والحفاظ على تكافؤ الفرص ، وضمان السلامة. لكن التنظيم المبكر أمر مخيف. المشكلة في الوقت الحالي هي أننا نحاول تنظيم شيء لا نعرفه جيدًا ، وهذا عادة ما يؤدي إلى كارثة.

** Li Zhifei: ** لماذا يوجد إشراف؟ في الأساس ، يشعر الأشخاص بالقلق من أن التأثير السلبي للذكاء الاصطناعي العام سوف يفوق التأثير الإيجابي ، وأنه سيكون قادرًا للغاية وغير مقبول اجتماعيًا. لكن في هذه المرحلة ، هذا الحكم خاطئ. لأنه اليوم ، يجب أن يكون التأثير الإيجابي للذكاء الاصطناعي العام أكبر من تأثيره السلبي.

ثانيًا ، المشكلة الحقيقية في الذكاء الاصطناعي العام اليوم هو أنه ليس قويًا بما يكفي. بما في ذلك القدرة على التخطيط ، والقدرة على الاندماج مع العالم المادي ، والقدرة على التطور الذاتي ، إلخ. على الرغم من أننا رأينا الأمل ، إلا أنه لا يزال بعيدًا جدًا عن التحقيق. قد لا نصل إلى هناك أبدًا.

لذا فإن وجهة نظري هي ، ** لا يمكننا رؤية اتجاه الذكاء الاصطناعي العام ثم زيادة التنظيم بشكل كبير. قد يسمح لنا هذا بقتل الذكاء الاصطناعي العام قبل أن نحققه. هناك حاجة بالتأكيد للإشراف ، ولكن لا ينبغي الإفراط في التنظيم. **

** Zhang Peng: تم الحديث عن الذكاء الاصطناعي لسنوات عديدة ، والآن يبدو أنه يدخل حقبة جديدة. إذا كان للذكاء الاصطناعي حقًا فرصة ليصبح شكلًا من أشكال الحياة بذكاء أعلى من البشر في المستقبل ، فهل يجب علينا دمجهم في الحضارة البشرية ، أو إخضاعهم لسيطرة الإنسان؟ ما هي الطريقة التي يمكن أن ترفع من مستوى الحضارة الإنسانية؟ **

** كيفن كيلي: أعتقد أن هناك إطارًا مفيدًا للغاية لفهم الذكاء الاصطناعي (AI) للمستقبل - وليس الذكاء الاصطناعي اليوم كما هو الحال بالنسبة للذكاء الاصطناعي في الثلاثين أو الخمسين أو المائة عام القادمة ، هذا ليس معقدًا بما يكفي - هذا يعامله ككائن فضائي اصطناعي من كوكب آخر. **

سيكون الكثير من الذكاء الاصطناعي نوعًا لم نشهده من قبل ، ويفكر بشكل مختلف عن البشر. سيكونون أذكياء مثل Yoda (الشخصية الافتراضية في "Star Wars") أو Spock (الشخصية الافتراضية في Star Trek) ، وحتى يتفوقون على البشر في بعض النواحي. سنصنع أنواعًا مختلفة من الكائنات الفضائية الاصطناعية ، ونحترمها ، ونستخدم ذكائها المختلفة لمساعدتنا في حل المشكلات الصعبة ، مثل معرفة ماهية الجاذبية الكمية حقًا.

لكننا لن نسلمهم السيطرة. إذا كنا لا نحب سلوكهم ، نعيدهم ونغلقهم. يمكننا أن نسلب قوتهم إذا اعتقدنا أنهم اكتسبوا الكثير من القوة. لا نريد أن يقرر الذكاء الاصطناعي مصيرنا.

** Li Zhifei: ** الذكاء الاصطناعي العام الحالي يشبه الفراشة ، بعد الحصول على الكثير من العناصر الغذائية من اليرقات ، يكمل تساميه. إنه يعادل استخدام كل معارف الإنترنت للبشر في الماضي لإكمال تحولهم الخاص. في المستقبل ، سيتفوق الذكاء الاصطناعي بالتأكيد على البشر بعدة طرق. أعتقد أن البشر يمكن أن يكونوا أسلاف الذكاء الاصطناعي ، وهو سعيد للغاية.

قال KK إنه يتعين علينا التعامل مع الذكاء الاصطناعي على أنه كائن فضائي ، والذي يبدو أشبه بالتحكم. ** أعتقد أن البشر قد يبالغون في تقدير قدراتهم أو معدل ذكائهم أكثر من اللازم. يمكنك أن تتخيل ، على سبيل المثال ، أنه في غضون 50 عامًا أخرى ، من بين 100 من أقوى العملاء وأكثرهم نفوذاً في العالم ، ربما سيكون 20 فقط من البشر ، والثمانين المتبقية ستكون الذكاء الاصطناعي. لذلك أعتقد ، في النهاية ، أن البشر والذكاء الاصطناعي يجب أن يكونا اندماجًا وليس سيطرة. **

شاهد النسخة الأصلية
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • أعجبني
  • تعليق
  • مشاركة
تعليق
0/400
لا توجد تعليقات
  • تثبيت