في 19 سبتمبر 2023، تم افتتاح "أسبوع شنغهاي الدولي لبلوكتشين 2023 · القمة العالمية التاسعة لبلوكتشين" في شنغهاي. ألقى لان تشن تشونغ، مؤسس West Lake Xinchen وأستاذ جامعة West Lake، محاضرة مباشرة بعنوان "معارف عديدة حول النماذج الكبيرة".
لمزيد من المعلومات، يرجى النقر على: "أبرز أحداث "أسبوع شنغهاي الدولي للبلوكشين 2023" (يتم تحديثه باستمرار)"
أجرت شركة Golden Finance تتبعًا في الموقع وإعداد تقارير عن الاجتماع بأكمله. وفيما يلي ملخص لمحتوى الخطاب.
صباح الخير جميعا!
سأتحدث اليوم بشكل أساسي عن النماذج الكبيرة والذكاء الاصطناعي، وبعد ذلك سأتحدث عن بعض التكامل مع Web3 والعمل الذي يتم إنجازه.
لقد بدأت العمل في مجال الذكاء الاصطناعي في عام 2007، وقد مر أكثر من عشر سنوات منذ ذلك الحين، فمن عصر وحدة المعالجة المركزية إلى عصر وحدة معالجة الرسومات، ومن النماذج الصغيرة إلى النماذج الكبيرة، كنت أفعل ذلك لفترة طويلة، ولقد قمت أيضًا فعلت بعض المحتوى التمثيلي نسبيا. في عام 2019، كان النموذج الكبير الذي صنعته عندما كنت في Google هو أفضل نموذج كبير في العالم، وأفضل بكثير من GPT2، لذلك نظرنا باستخفاف إلى سلسلة GPT في ذلك الوقت، لكنهم الآن في حالة جيدة جدًا.
عندما عدت إلى الصين في عام 2020، قمت بأول تقييم للنماذج الكبيرة الصينية، ويمكن اعتباري مشاركًا متعمقًا في النماذج الكبيرة، والآن يوجد مختبر وشركة تقوم بإجراء أبحاث تتعلق بالنماذج الكبيرة.
في الماضي، نادرًا ما كنت أنظر إلى تاريخ تطور النماذج الكبيرة، ونادرًا ما أفكر فيها بعمق. إلى أن أصبح ChatGPT شائعًا، كان الناس يسألونني أسئلة مختلفة، اسمحوا لي أن ألخص الأسئلة التالية:
أولاً، هل تريد أن يصبح النموذج أكبر أم أصغر؟
ثانيا، هناك الكثير من الحديث الآن عن النماذج الكبيرة العامة. فهل تتمتع النماذج الكبيرة العامة بالفرص، أم أن النماذج الصناعية الكبيرة لديها فرص؟
ثالثاً، هل يجب أن أستثمر في شركة NVIDIA أم في شركات النماذج الكبيرة وشركات التطبيقات؟
رابعًا، بالنسبة لعامة الناس، كيف يمكن للعارضات الكبيرة أن تغير عملي؟ كيف يجب أن أختار مهنة.
تتيح لنا هذه الأسئلة مراجعة التاريخ الماضي، وأقدم بشكل أساسي بعض البيانات السابقة للرجوع إليها.
بداية، السؤال الأول، هل ستصبح النماذج الكبيرة أكبر وأكبر؟ إذا نظرنا إلى التاريخ، فعندما بدأت أجهزة الكمبيوتر في التطور لأول مرة في عام 1950، أصبحت النماذج في الواقع أكبر وأكبر. يمكن القول أن زيادة حجم النموذج هو في الأساس العامل الأول الذي يجعل النموذج ذكيًا، وبالتالي يصبح النموذج أكبر وأكبر.
"حتى عام 2018، اكتشفنا طريقة يمكن أن تجعل النموذج يتوسع بسرعة. الآن يتوسع بسرعة كبيرة. من عام 2018 إلى بداية عام 2021، زاد بشكل أساسي مئات المرات كل 18 شهرًا. الآن تباطأت السرعة، لكنها التوسع السريع أيضا.
(كما هو موضح في الشكل) هذه الصورة هي صورة GPT4 المحور العمودي يتحدث عن مستوى الذكاء كلما ارتفع مستوى الذكاء كلما ارتفع المستوى المحور الأفقي يتحدث عن حجم النموذج وكمية التدريب . وكلما أصبح النموذج أكبر وأكثر تدريبًا، أصبح مستوى الذكاء أعلى فأعلى. النقطة الخضراء هي GPT4، وعند تلك النقطة، لا يزال هناك منحدر وسيستمر في الانخفاض. لذلك من المتوقع أنه عندما تجعل النموذج أكبر، فإنه لا يزال من الممكن أن يصبح أكثر ذكاءً. يسعى البشر دائمًا إلى تحقيق الحد الأقصى، وسوف نقوم بالتأكيد بتضخيمه.
ولكن ما يقلق الجميع الآن هو أن GPT4 هو بالفعل نموذج على مستوى تريليون، وتكاليف الاستدلال باهظة للغاية، والتدريب مكلف للغاية أيضًا، فهل التضخيم مفيد؟
وبالنظر إلى بيانات أخرى، فإننا نعلم أن هذا القلق ليس ضروريا، لأن تكلفة التدريب والاستدلال آخذة في الانخفاض بشكل حاد. عندما تم تدريب GPT3 في عام 2020، بلغت تكلفة الجلسة التدريبية الواحدة 4 ملايين دولار أمريكي. لقد تم تخفيضه إلى 400000 دولار أمريكي في عام 2022، ويتم تخفيض التكلفة بسرعة كبيرة.
بشكل رئيسي من عدة جوانب:
أولاً، ارتفع أداء وحدة معالجة الرسومات بشكل حاد وانخفضت التكاليف، وهو ما يتجاوز قانون مور بكثير. من عام 2016 إلى عام 2022، وفقًا لقانون مور، زاد أداء وحدة المعالجة المركزية بمقدار 8 مرات وزاد أداء وحدة معالجة الرسومات بمقدار 26 مرة، وكان التحسن واضحًا للغاية.
والثاني هو تحسين البرمجيات، فمع تحسين كفاءة التدريب الذي جلبته البرمجيات، انخفضت تكلفة التدريب السنوية بحوالي 47%، والجمع بين الاثنين يمثل انخفاضًا رهيبًا للغاية، أحدهما للأجهزة والآخر للبرمجيات.
ثالثا، نحن نعمل على نشر قوة الحوسبة على نطاق واسع. فقبل ظهور ChatGPT، كانت قوة الحوسبة العالمية تتزايد بنحو 20% إلى 40% كل عام. وبعد ظهور ChatGPT، قد تتضاعف الزيادة في قوة الحوسبة. عندما تزداد قوة الحوسبة لديك على نطاق واسع ويتم إنتاج وحدات معالجة الرسومات بكميات كبيرة، تنخفض تكاليف التشغيل أيضًا. وبأخذ كل ذلك معًا، فإن تكلفة التدريب والاستدلال آخذة في الانخفاض بشكل حاد، لذا يمكننا أن نرى أنها انخفضت بمقدار 10 مرات خلال عامين.
في السنوات القليلة المقبلة، ستصبح النماذج ذات المستوى التريليون مثل GPT4 رخيصة نسبيًا ويمكن للجميع استخدامها.
لتلخيص ذلك، أتوقع أن تستمر النماذج في النمو بشكل أكبر وأقوى، وستستمر تكاليف التدريب والاستدلال في الانخفاض، وستكون التكرارات سريعة.
(كما هو موضح في الصورة) هذه الصورة تدور حول GPT1. لم أكن أفكر كثيرًا في GPT1 في ذلك الوقت. بالنظر إلى الوراء الآن، لقد ارتكبت خطأً كبيرًا. قدم GPT1 مساهمة كبيرة جدًا وقام بتحويل الذكاء الاصطناعي من ذكاء اصطناعي متخصص. التحول إلى الذكاء الاصطناعي العام.
كان هناك المئات من مهام معالجة اللغة الطبيعية، وتم تصميم نماذج مختلفة لكل مهمة، لذلك كان هناك الكثير من الأوراق. لكن بعد ظهور GPT1 قلت لك لا تستخدم نماذج مختلفة، لقد استخدمت نموذجًا واحدًا للتعامل مع معظم (المهام) الخاصة بك.
المقال الأخير كتبه زميلي في جوجل في ذلك الوقت، والذي قام بدمج المهام المختلفة في نفس النموذج، وبالتالي فإن المساهمة الرئيسية لهذه الموجة هي العالمية، فالعالمية لا تنعكس فقط في النص، ولكن أيضًا في الصور والأصوات والأصوات. البروتينات: بالنسبة للبيانات المختلفة مثل التسلسلات، طالما أنه يمكنك تحويل البيانات إلى تسلسل، فيمكن معالجتها بشكل أساسي.
إن تقطيع الصورة إلى عدة أجزاء وإطالتها هي مهمة يمكن لنموذج Transformer الآن التعامل معها، ويمكنه بشكل أساسي تغطية مجموعة متنوعة من المهام وهو متعدد الاستخدامات للغاية.
على الرغم من أن النماذج الكبيرة لا يمكنها التعامل مع العديد من المهام المعقدة الآن، إلا أنه يمكنك القيام بذلك طالما ساعدته على القيام بذلك قليلاً وتقسيم المهام قليلاً. على الرغم من أن الجميع يشعر أن GPT4 قوي جدًا، إلا أن دقة تنفيذ 24 نقطة مباشرة تبلغ 7.3%، ولكن إذا قمت بتقسيمها قليلاً، فيمكن تحسينها إلى 74%، والعديد من المهام التي تبدو معقدة، إذا ساعده المحترفون في تفكيكها، الآن يمكن أن تساعدك نماذج سلسلة GPT أو النماذج الكبيرة العامة في حل العديد من المهام وتحقيق الأتمتة.
الأول هو أن النموذج سيصبح أكبر، والآخر هو أنه متعدد الاستخدامات ويمكنه حل العديد من الشخصيات المعقدة مع القليل من التفكيك، لذلك فهو عملي للغاية. وهناك الكثير الذي تم تنفيذه بنجاح في الخارج، على سبيل المثال شركة Duolingo هي شركة في بيتسبرغ، ارتفعت إيراداتها بنسبة 42% في الربع الأول من عام 2023 بسبب إضافة تطبيق ChatGPT.
يستخدم العديد من المبرمجين الآن برنامج Copilot، ومن المتوقع أن تصل إيرادات OpenAI هذا العام إلى 1.2 مليار دولار أمريكي، وهو مبلغ صعب للغاية بالنسبة لشركة ناشئة.
الفرق بين هذه الموجة من الذكاء الاصطناعي والسابقة أنها تحل محل العاملين العقليين، الصورة على اليمين توضح مستوى الذكاء (الأتمتة) في مختلف الصناعات قبل هذه الموجة من الذكاء الاصطناعي العام، أما الأسفل فهم الذين ليس لديهم درجة ، تليها تلك من الماجستير إلى الدكتوراه، تصبح درجة الاستبدال أقل وأقل كلما صعدت. لكن الأمور مختلفة الآن، فبعد ظهور الذكاء الاصطناعي العام، أصبح من السهل استبدال العاملين في المجال العقلي.
باختصار، سيكون تنفيذ النماذج الكبيرة أسرع مما تخيلنا، وبالطبع أبطأ مما تصوره العديد من العاملين في القطاع المالي، لأن استجابة سوق الأوراق المالية تكون دائمًا أسرع من التكنولوجيا، على الأقل أسرع مما تخيلنا، ويمكنها تمكين جميع مناحي العمل. حياة. من الصعب عليك تفكيك كل مهمة، وإذا تعمقت شركة نموذجية كبيرة في الصناعة، فستكون هناك فرص كبيرة.
في الوقت الحاضر، يهتم معظم الناس بذكاء النموذج، ويولي اهتمام أقل لـ "الذكاء العاطفي" للنموذج ودرجة التفاعل مع الناس، على سبيل المثال، طرحت سؤالاً سيطرحه حبيبي، وChatGPT أعطاني هذه الإجابة، هناك طريقة لهذه الإجابة، ولكن لا توجد عواطف، ويبدو أن هذا يشير إلى أن تفاعلنا مع النموذج بارد ويفتقر إلى الاهتمام بالمستخدمين، وهذا انعكاس للتطور المبكر للصناعة.
يمكنك مقارنة محركات البحث، عندما تم إطلاقها لأول مرة، كان التخصيص نادرا، ولكن الآن، يستخدم الجميع بايدو وجوجل بشكل مختلف، لأنه سيتم تخصيص الكثير من المعلومات لجعل عمليات البحث أكثر دقة، ولكن معظم النماذج لا تستطيع القيام بذلك بعد.
وقد بدأ بعض الأشخاص أيضًا في القيام بذلك، مثل شركة تدعى Character.ai، والتي أسسها أيضًا زميلي في جوجل، حيث أضاف التخصيص إلى النموذج، والذي يمكن أن يحسن بشكل كبير وقت التفاعل بين النموذج والأشخاص. البيانات في شهر مايو: متوسط وقت التفاعل في OpenAI هو 4 دقائق، ومتوسط وقت التفاعل لهذه الشركة هو 28 دقيقة، وهو ما يعادل عدة أضعاف وقت التفاعل. تبدو الصفحة على هذا النحو، وهو ما يعادل تقسيم النموذج الكبير إلى عواصم ووكلاء مختلفين لتحقيق اتجاه شخصي، وهو أكثر عاطفية ويكون الناس على استعداد للتفاعل معه. ومع تطور النماذج الكبيرة الآن، سيكون هناك تقدم كبير في التفاعل بين الإنسان والحاسوب.
تقوم شركتنا ومختبرنا بشكل رئيسي بالبحث في النماذج الكبيرة العامة ذات معدل الذكاء المرتفع والمعادل العاطفي المرتفع، وخاصة النماذج الكبيرة متعددة الوسائط. في الماضي، من أجل تحسين الذكاء العاطفي للنماذج، تم تطوير سلسلة من القدرات لتعزيز الذاكرة والتخصيص والإدراك العاطفي.
تم إطلاق النموذج في وقت مبكر نسبيًا، لأنني كنت أعمل على نموذج كبير عام في جوجل لفترة طويلة، وقبل ظهور ChatGPT في منتصف عام 2020، كان لدينا نموذج كبير عام خاص بنا، في ذلك الوقت، كانت قدرة الكتابة على كان النموذج على قدم المساواة مع 3.5، وكانت مهنة كبيرة.
لقد كان متصلاً بالإنترنت منذ أكثر من عام ولديه أكثر من 200 مستخدم من الجانب C وأكثر من 100 مستخدم من الجانب B بما في ذلك Starbucks وAlipay.
أحد التطبيقات الأكثر نموذجية هو التعاون مع Tom Cat. Tom Cat هو منتج مصاحب يضم 400 مليون مستخدم نشط شهريًا في جميع أنحاء العالم. في الماضي، كان يقوم بشكل أساسي بنسخ كلام الأشخاص ونسخ الكلمات من خلال تغيير الصوت. نضيف إليها إمكانيات التفاعل متعدد الوسائط وقدرات الحوار.
دعنا نعود إلى Web3 المتعلق بالمؤتمر، هذا هو فهمي التقريبي، وأعتقد أن النموذج الكبير وWeb3 يتوافقان مع علاقات الإنتاجية والإنتاج على التوالي، فالنموذج الكبير يعمل على تحسين مستوى الإنتاجية بشكل كبير، ولكن إذا أراد الأداء الجيد، فيجب عليه لديك علاقة إنتاجية مقابلة للمطابقة. ولخصت أن هناك عدة مشاكل في تنفيذ النماذج الكبيرة:
"أولاً، تكلفة التدريب مرتفعة للغاية. لا يوجد حافز للشركات الناشئة لفتح نماذجها مفتوحة المصدر. النماذج التي تكلف تدريبها ملايين الدولارات هي مفتوحة المصدر، ولكن بعد ذلك لا علاقة لها بي. إنه أمر صعب". بالنسبة لهم لفتح المصدر لهم. لكن المصدر المفتوح مهم جدًا للنماذج. العديد من النماذج الحالية هي صناديق سوداء. لا تستطيع العديد من المؤسسات البحثية تحمل تكاليف تدريب نماذجها الخاصة. إذا كان الجميع يتدربون، فإن الجميع يعيد اختراع العجلة. لذلك، المصدر المفتوح مهم جدًا، ولكن فهو يحتاج إلى تدابير مقابلة وحوافز.
ثانيًا، تكلفة الاستدلال مرتفعة، تكلفة الاستدلال الحالية لمحادثة واحدة في GPT4 تبلغ 60 سنتًا، وهو أغلى بكثير من خطابي، وتكلفة الاستدلال مرتفعة جدًا ومن الصعب جدًا تنفيذها. يمكن استخدام GPT4 في العديد من الأماكن، لكن التكلفة لا يمكن تحملها.
والثالث هو حساسية البيانات، فقد تم تسريب بيانات سامسونج بواسطة OpenAI من قبل وأثارت ضجة، والبيانات التي نقوم بتحميلها إلى النموذج الكبير الآن هي بيانات حساسة، والعديد من الشركات غير راغبة في تحميل بياناتها الخاصة، فكيف نتعامل مع هذه المشاكل؟ آمل أن يساعدنا Web3 في حل هذه المشكلات.
لقد سمعت للتو المعلم كاو يقول أنه لا تزال هناك العديد من الصعوبات، لكننا نأمل أن نتمكن من خلال البحث من المساعدة في حل هذه المشكلات. على سبيل المثال، لدينا سلسلة عامة، ويمكن للجميع تحميل نماذج مفتوحة المصدر. حتى لو كان النموذج مفتوح المصدر وتحميلها إلى السلسلة العامة، ستكون هناك آلية حوافز مقابلة. على سبيل المثال، إذا قام المستخدمون بتحميل البيانات، وإذا سمح لنا بالتدريب، فستكون هناك حوافز مقابلة.
"هناك أيضًا مشكلات في الحوسبة. الآن أصبح لدى كل شخص بطاقة رسومية قوية جدًا على هاتفه المحمول. إذا كان الهاتف المحمول لكل شخص يمكنه المساهمة في الاستدلال، فيمكننا تقليل تكلفة الاستدلال كثيرًا. نأمل أن تتحقق مُثُلنا حقًا من خلال قوة Web3. ونأمل أن تتمكن النماذج الكبيرة من تمكين جميع مناحي الحياة، ومرافقة الجميع، وتصبح حقًا مساعدًا أو رفيقًا للجميع.
شكرا لكم جميعا!
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
Lan Zhenzhong، أستاذ جامعة ويست ليك: العديد من المعارف حول النماذج الكبيرة
في 19 سبتمبر 2023، تم افتتاح "أسبوع شنغهاي الدولي لبلوكتشين 2023 · القمة العالمية التاسعة لبلوكتشين" في شنغهاي. ألقى لان تشن تشونغ، مؤسس West Lake Xinchen وأستاذ جامعة West Lake، محاضرة مباشرة بعنوان "معارف عديدة حول النماذج الكبيرة".
لمزيد من المعلومات، يرجى النقر على: "أبرز أحداث "أسبوع شنغهاي الدولي للبلوكشين 2023" (يتم تحديثه باستمرار)"
أجرت شركة Golden Finance تتبعًا في الموقع وإعداد تقارير عن الاجتماع بأكمله. وفيما يلي ملخص لمحتوى الخطاب.
صباح الخير جميعا!
سأتحدث اليوم بشكل أساسي عن النماذج الكبيرة والذكاء الاصطناعي، وبعد ذلك سأتحدث عن بعض التكامل مع Web3 والعمل الذي يتم إنجازه.
لقد بدأت العمل في مجال الذكاء الاصطناعي في عام 2007، وقد مر أكثر من عشر سنوات منذ ذلك الحين، فمن عصر وحدة المعالجة المركزية إلى عصر وحدة معالجة الرسومات، ومن النماذج الصغيرة إلى النماذج الكبيرة، كنت أفعل ذلك لفترة طويلة، ولقد قمت أيضًا فعلت بعض المحتوى التمثيلي نسبيا. في عام 2019، كان النموذج الكبير الذي صنعته عندما كنت في Google هو أفضل نموذج كبير في العالم، وأفضل بكثير من GPT2، لذلك نظرنا باستخفاف إلى سلسلة GPT في ذلك الوقت، لكنهم الآن في حالة جيدة جدًا.
عندما عدت إلى الصين في عام 2020، قمت بأول تقييم للنماذج الكبيرة الصينية، ويمكن اعتباري مشاركًا متعمقًا في النماذج الكبيرة، والآن يوجد مختبر وشركة تقوم بإجراء أبحاث تتعلق بالنماذج الكبيرة.
في الماضي، نادرًا ما كنت أنظر إلى تاريخ تطور النماذج الكبيرة، ونادرًا ما أفكر فيها بعمق. إلى أن أصبح ChatGPT شائعًا، كان الناس يسألونني أسئلة مختلفة، اسمحوا لي أن ألخص الأسئلة التالية:
أولاً، هل تريد أن يصبح النموذج أكبر أم أصغر؟
ثانيا، هناك الكثير من الحديث الآن عن النماذج الكبيرة العامة. فهل تتمتع النماذج الكبيرة العامة بالفرص، أم أن النماذج الصناعية الكبيرة لديها فرص؟
ثالثاً، هل يجب أن أستثمر في شركة NVIDIA أم في شركات النماذج الكبيرة وشركات التطبيقات؟
رابعًا، بالنسبة لعامة الناس، كيف يمكن للعارضات الكبيرة أن تغير عملي؟ كيف يجب أن أختار مهنة.
تتيح لنا هذه الأسئلة مراجعة التاريخ الماضي، وأقدم بشكل أساسي بعض البيانات السابقة للرجوع إليها.
بداية، السؤال الأول، هل ستصبح النماذج الكبيرة أكبر وأكبر؟ إذا نظرنا إلى التاريخ، فعندما بدأت أجهزة الكمبيوتر في التطور لأول مرة في عام 1950، أصبحت النماذج في الواقع أكبر وأكبر. يمكن القول أن زيادة حجم النموذج هو في الأساس العامل الأول الذي يجعل النموذج ذكيًا، وبالتالي يصبح النموذج أكبر وأكبر.
"حتى عام 2018، اكتشفنا طريقة يمكن أن تجعل النموذج يتوسع بسرعة. الآن يتوسع بسرعة كبيرة. من عام 2018 إلى بداية عام 2021، زاد بشكل أساسي مئات المرات كل 18 شهرًا. الآن تباطأت السرعة، لكنها التوسع السريع أيضا.
(كما هو موضح في الشكل) هذه الصورة هي صورة GPT4 المحور العمودي يتحدث عن مستوى الذكاء كلما ارتفع مستوى الذكاء كلما ارتفع المستوى المحور الأفقي يتحدث عن حجم النموذج وكمية التدريب . وكلما أصبح النموذج أكبر وأكثر تدريبًا، أصبح مستوى الذكاء أعلى فأعلى. النقطة الخضراء هي GPT4، وعند تلك النقطة، لا يزال هناك منحدر وسيستمر في الانخفاض. لذلك من المتوقع أنه عندما تجعل النموذج أكبر، فإنه لا يزال من الممكن أن يصبح أكثر ذكاءً. يسعى البشر دائمًا إلى تحقيق الحد الأقصى، وسوف نقوم بالتأكيد بتضخيمه.
ولكن ما يقلق الجميع الآن هو أن GPT4 هو بالفعل نموذج على مستوى تريليون، وتكاليف الاستدلال باهظة للغاية، والتدريب مكلف للغاية أيضًا، فهل التضخيم مفيد؟
وبالنظر إلى بيانات أخرى، فإننا نعلم أن هذا القلق ليس ضروريا، لأن تكلفة التدريب والاستدلال آخذة في الانخفاض بشكل حاد. عندما تم تدريب GPT3 في عام 2020، بلغت تكلفة الجلسة التدريبية الواحدة 4 ملايين دولار أمريكي. لقد تم تخفيضه إلى 400000 دولار أمريكي في عام 2022، ويتم تخفيض التكلفة بسرعة كبيرة.
بشكل رئيسي من عدة جوانب:
أولاً، ارتفع أداء وحدة معالجة الرسومات بشكل حاد وانخفضت التكاليف، وهو ما يتجاوز قانون مور بكثير. من عام 2016 إلى عام 2022، وفقًا لقانون مور، زاد أداء وحدة المعالجة المركزية بمقدار 8 مرات وزاد أداء وحدة معالجة الرسومات بمقدار 26 مرة، وكان التحسن واضحًا للغاية.
والثاني هو تحسين البرمجيات، فمع تحسين كفاءة التدريب الذي جلبته البرمجيات، انخفضت تكلفة التدريب السنوية بحوالي 47%، والجمع بين الاثنين يمثل انخفاضًا رهيبًا للغاية، أحدهما للأجهزة والآخر للبرمجيات.
ثالثا، نحن نعمل على نشر قوة الحوسبة على نطاق واسع. فقبل ظهور ChatGPT، كانت قوة الحوسبة العالمية تتزايد بنحو 20% إلى 40% كل عام. وبعد ظهور ChatGPT، قد تتضاعف الزيادة في قوة الحوسبة. عندما تزداد قوة الحوسبة لديك على نطاق واسع ويتم إنتاج وحدات معالجة الرسومات بكميات كبيرة، تنخفض تكاليف التشغيل أيضًا. وبأخذ كل ذلك معًا، فإن تكلفة التدريب والاستدلال آخذة في الانخفاض بشكل حاد، لذا يمكننا أن نرى أنها انخفضت بمقدار 10 مرات خلال عامين.
في السنوات القليلة المقبلة، ستصبح النماذج ذات المستوى التريليون مثل GPT4 رخيصة نسبيًا ويمكن للجميع استخدامها.
لتلخيص ذلك، أتوقع أن تستمر النماذج في النمو بشكل أكبر وأقوى، وستستمر تكاليف التدريب والاستدلال في الانخفاض، وستكون التكرارات سريعة.
(كما هو موضح في الصورة) هذه الصورة تدور حول GPT1. لم أكن أفكر كثيرًا في GPT1 في ذلك الوقت. بالنظر إلى الوراء الآن، لقد ارتكبت خطأً كبيرًا. قدم GPT1 مساهمة كبيرة جدًا وقام بتحويل الذكاء الاصطناعي من ذكاء اصطناعي متخصص. التحول إلى الذكاء الاصطناعي العام.
كان هناك المئات من مهام معالجة اللغة الطبيعية، وتم تصميم نماذج مختلفة لكل مهمة، لذلك كان هناك الكثير من الأوراق. لكن بعد ظهور GPT1 قلت لك لا تستخدم نماذج مختلفة، لقد استخدمت نموذجًا واحدًا للتعامل مع معظم (المهام) الخاصة بك.
المقال الأخير كتبه زميلي في جوجل في ذلك الوقت، والذي قام بدمج المهام المختلفة في نفس النموذج، وبالتالي فإن المساهمة الرئيسية لهذه الموجة هي العالمية، فالعالمية لا تنعكس فقط في النص، ولكن أيضًا في الصور والأصوات والأصوات. البروتينات: بالنسبة للبيانات المختلفة مثل التسلسلات، طالما أنه يمكنك تحويل البيانات إلى تسلسل، فيمكن معالجتها بشكل أساسي.
إن تقطيع الصورة إلى عدة أجزاء وإطالتها هي مهمة يمكن لنموذج Transformer الآن التعامل معها، ويمكنه بشكل أساسي تغطية مجموعة متنوعة من المهام وهو متعدد الاستخدامات للغاية.
على الرغم من أن النماذج الكبيرة لا يمكنها التعامل مع العديد من المهام المعقدة الآن، إلا أنه يمكنك القيام بذلك طالما ساعدته على القيام بذلك قليلاً وتقسيم المهام قليلاً. على الرغم من أن الجميع يشعر أن GPT4 قوي جدًا، إلا أن دقة تنفيذ 24 نقطة مباشرة تبلغ 7.3%، ولكن إذا قمت بتقسيمها قليلاً، فيمكن تحسينها إلى 74%، والعديد من المهام التي تبدو معقدة، إذا ساعده المحترفون في تفكيكها، الآن يمكن أن تساعدك نماذج سلسلة GPT أو النماذج الكبيرة العامة في حل العديد من المهام وتحقيق الأتمتة.
الأول هو أن النموذج سيصبح أكبر، والآخر هو أنه متعدد الاستخدامات ويمكنه حل العديد من الشخصيات المعقدة مع القليل من التفكيك، لذلك فهو عملي للغاية. وهناك الكثير الذي تم تنفيذه بنجاح في الخارج، على سبيل المثال شركة Duolingo هي شركة في بيتسبرغ، ارتفعت إيراداتها بنسبة 42% في الربع الأول من عام 2023 بسبب إضافة تطبيق ChatGPT.
يستخدم العديد من المبرمجين الآن برنامج Copilot، ومن المتوقع أن تصل إيرادات OpenAI هذا العام إلى 1.2 مليار دولار أمريكي، وهو مبلغ صعب للغاية بالنسبة لشركة ناشئة.
الفرق بين هذه الموجة من الذكاء الاصطناعي والسابقة أنها تحل محل العاملين العقليين، الصورة على اليمين توضح مستوى الذكاء (الأتمتة) في مختلف الصناعات قبل هذه الموجة من الذكاء الاصطناعي العام، أما الأسفل فهم الذين ليس لديهم درجة ، تليها تلك من الماجستير إلى الدكتوراه، تصبح درجة الاستبدال أقل وأقل كلما صعدت. لكن الأمور مختلفة الآن، فبعد ظهور الذكاء الاصطناعي العام، أصبح من السهل استبدال العاملين في المجال العقلي.
باختصار، سيكون تنفيذ النماذج الكبيرة أسرع مما تخيلنا، وبالطبع أبطأ مما تصوره العديد من العاملين في القطاع المالي، لأن استجابة سوق الأوراق المالية تكون دائمًا أسرع من التكنولوجيا، على الأقل أسرع مما تخيلنا، ويمكنها تمكين جميع مناحي العمل. حياة. من الصعب عليك تفكيك كل مهمة، وإذا تعمقت شركة نموذجية كبيرة في الصناعة، فستكون هناك فرص كبيرة.
في الوقت الحاضر، يهتم معظم الناس بذكاء النموذج، ويولي اهتمام أقل لـ "الذكاء العاطفي" للنموذج ودرجة التفاعل مع الناس، على سبيل المثال، طرحت سؤالاً سيطرحه حبيبي، وChatGPT أعطاني هذه الإجابة، هناك طريقة لهذه الإجابة، ولكن لا توجد عواطف، ويبدو أن هذا يشير إلى أن تفاعلنا مع النموذج بارد ويفتقر إلى الاهتمام بالمستخدمين، وهذا انعكاس للتطور المبكر للصناعة.
يمكنك مقارنة محركات البحث، عندما تم إطلاقها لأول مرة، كان التخصيص نادرا، ولكن الآن، يستخدم الجميع بايدو وجوجل بشكل مختلف، لأنه سيتم تخصيص الكثير من المعلومات لجعل عمليات البحث أكثر دقة، ولكن معظم النماذج لا تستطيع القيام بذلك بعد.
وقد بدأ بعض الأشخاص أيضًا في القيام بذلك، مثل شركة تدعى Character.ai، والتي أسسها أيضًا زميلي في جوجل، حيث أضاف التخصيص إلى النموذج، والذي يمكن أن يحسن بشكل كبير وقت التفاعل بين النموذج والأشخاص. البيانات في شهر مايو: متوسط وقت التفاعل في OpenAI هو 4 دقائق، ومتوسط وقت التفاعل لهذه الشركة هو 28 دقيقة، وهو ما يعادل عدة أضعاف وقت التفاعل. تبدو الصفحة على هذا النحو، وهو ما يعادل تقسيم النموذج الكبير إلى عواصم ووكلاء مختلفين لتحقيق اتجاه شخصي، وهو أكثر عاطفية ويكون الناس على استعداد للتفاعل معه. ومع تطور النماذج الكبيرة الآن، سيكون هناك تقدم كبير في التفاعل بين الإنسان والحاسوب.
تقوم شركتنا ومختبرنا بشكل رئيسي بالبحث في النماذج الكبيرة العامة ذات معدل الذكاء المرتفع والمعادل العاطفي المرتفع، وخاصة النماذج الكبيرة متعددة الوسائط. في الماضي، من أجل تحسين الذكاء العاطفي للنماذج، تم تطوير سلسلة من القدرات لتعزيز الذاكرة والتخصيص والإدراك العاطفي.
تم إطلاق النموذج في وقت مبكر نسبيًا، لأنني كنت أعمل على نموذج كبير عام في جوجل لفترة طويلة، وقبل ظهور ChatGPT في منتصف عام 2020، كان لدينا نموذج كبير عام خاص بنا، في ذلك الوقت، كانت قدرة الكتابة على كان النموذج على قدم المساواة مع 3.5، وكانت مهنة كبيرة.
لقد كان متصلاً بالإنترنت منذ أكثر من عام ولديه أكثر من 200 مستخدم من الجانب C وأكثر من 100 مستخدم من الجانب B بما في ذلك Starbucks وAlipay.
أحد التطبيقات الأكثر نموذجية هو التعاون مع Tom Cat. Tom Cat هو منتج مصاحب يضم 400 مليون مستخدم نشط شهريًا في جميع أنحاء العالم. في الماضي، كان يقوم بشكل أساسي بنسخ كلام الأشخاص ونسخ الكلمات من خلال تغيير الصوت. نضيف إليها إمكانيات التفاعل متعدد الوسائط وقدرات الحوار.
دعنا نعود إلى Web3 المتعلق بالمؤتمر، هذا هو فهمي التقريبي، وأعتقد أن النموذج الكبير وWeb3 يتوافقان مع علاقات الإنتاجية والإنتاج على التوالي، فالنموذج الكبير يعمل على تحسين مستوى الإنتاجية بشكل كبير، ولكن إذا أراد الأداء الجيد، فيجب عليه لديك علاقة إنتاجية مقابلة للمطابقة. ولخصت أن هناك عدة مشاكل في تنفيذ النماذج الكبيرة:
"أولاً، تكلفة التدريب مرتفعة للغاية. لا يوجد حافز للشركات الناشئة لفتح نماذجها مفتوحة المصدر. النماذج التي تكلف تدريبها ملايين الدولارات هي مفتوحة المصدر، ولكن بعد ذلك لا علاقة لها بي. إنه أمر صعب". بالنسبة لهم لفتح المصدر لهم. لكن المصدر المفتوح مهم جدًا للنماذج. العديد من النماذج الحالية هي صناديق سوداء. لا تستطيع العديد من المؤسسات البحثية تحمل تكاليف تدريب نماذجها الخاصة. إذا كان الجميع يتدربون، فإن الجميع يعيد اختراع العجلة. لذلك، المصدر المفتوح مهم جدًا، ولكن فهو يحتاج إلى تدابير مقابلة وحوافز.
ثانيًا، تكلفة الاستدلال مرتفعة، تكلفة الاستدلال الحالية لمحادثة واحدة في GPT4 تبلغ 60 سنتًا، وهو أغلى بكثير من خطابي، وتكلفة الاستدلال مرتفعة جدًا ومن الصعب جدًا تنفيذها. يمكن استخدام GPT4 في العديد من الأماكن، لكن التكلفة لا يمكن تحملها.
والثالث هو حساسية البيانات، فقد تم تسريب بيانات سامسونج بواسطة OpenAI من قبل وأثارت ضجة، والبيانات التي نقوم بتحميلها إلى النموذج الكبير الآن هي بيانات حساسة، والعديد من الشركات غير راغبة في تحميل بياناتها الخاصة، فكيف نتعامل مع هذه المشاكل؟ آمل أن يساعدنا Web3 في حل هذه المشكلات.
لقد سمعت للتو المعلم كاو يقول أنه لا تزال هناك العديد من الصعوبات، لكننا نأمل أن نتمكن من خلال البحث من المساعدة في حل هذه المشكلات. على سبيل المثال، لدينا سلسلة عامة، ويمكن للجميع تحميل نماذج مفتوحة المصدر. حتى لو كان النموذج مفتوح المصدر وتحميلها إلى السلسلة العامة، ستكون هناك آلية حوافز مقابلة. على سبيل المثال، إذا قام المستخدمون بتحميل البيانات، وإذا سمح لنا بالتدريب، فستكون هناك حوافز مقابلة.
"هناك أيضًا مشكلات في الحوسبة. الآن أصبح لدى كل شخص بطاقة رسومية قوية جدًا على هاتفه المحمول. إذا كان الهاتف المحمول لكل شخص يمكنه المساهمة في الاستدلال، فيمكننا تقليل تكلفة الاستدلال كثيرًا. نأمل أن تتحقق مُثُلنا حقًا من خلال قوة Web3. ونأمل أن تتمكن النماذج الكبيرة من تمكين جميع مناحي الحياة، ومرافقة الجميع، وتصبح حقًا مساعدًا أو رفيقًا للجميع.
شكرا لكم جميعا!