مصدر الصورة: تم إنشاؤه بواسطة الذكاء الاصطناعي غير محدود
تسارعت المنافسة على تكنولوجيا النماذج المحلية واسعة النطاق ، وبعد إطلاق أحدث المنتجات من قبل iFLYTEK Xinghuo و Zhipu ، بشرت Baichuan أيضا بإنجازات نموذجية جديدة واسعة النطاق.
** علمت Titanium Media ** في صباح يوم 30 أكتوبر ، أعلنت شركة النماذج الكبيرة الذكاء الاصطناعي "Baichuan Intelligence" التي أسسها Wang Xiaochuan عن إطلاق نموذج Baichuan2-192K الكبير ، والذي يبلغ طول نافذة السياق ما يصل إلى 192 ألف ويمكنه معالجة حوالي 350،000 حرف صيني.
** قالت Baichuan Intelligence أن Baichuan2-192K هي حاليا أطول نافذة سياق في العالم ، وهي أيضا 4.4 مرة من Claude2 ، أفضل نموذج كبير يدعم حاليا نوافذ السياق الطويلة (يدعم 100K نافذة السياق ، تقاس حوالي 80,000 كلمة) ، وهو 14 مرة (1400٪) من GPT-4 (يدعم 32K نافذة سياق ، تقاس حوالي 25,000 كلمة). ** هذا لا يتفوق فقط على Claude2 في طول نافذة السياق ، ولكنه يقود Claude2 أيضا في جودة إنشاء نص النافذة الطويلة ، وفهم السياق الطويل ، وأسئلة وأجوبة النص الطويل ، والتلخيص ، وما إلى ذلك.
يذكر أنه سيتم توفير Baichuan2-192K لمستخدمي المؤسسات في شكل استدعاءات API والنشر المخصخص. في الوقت الحاضر ، أطلقت Baichuan Intelligent الاختبار الداخلي لواجهة برمجة التطبيقات للنموذج الكبير ، وفتحته للشركاء الأساسيين في الصناعات القانونية والإعلامية والمالية وغيرها.
يذكر أن Baichuan Intelligence تأسست في 10 أبريل 2023 من قبل وانغ شياو تشوان ، المؤسس والرئيس التنفيذي السابق لشركة Sogou. يتكون فريقها الأساسي من أفضل المواهب الذكاء الاصطناعي من شركات التكنولوجيا المعروفة مثل Sogou و Google و Tencent و Baidu و Huawei و Microsoft و Byte. في الوقت الحاضر ، يبلغ حجم فريق Baichuan Intelligent أكثر من 170 شخصا ، منهم ما يقرب من 70٪ من الموظفين الحاصلين على درجة الماجستير أو أعلى ، وأكثر من 80٪ من موظفي البحث والتطوير.
في ال 200 يوم الماضية ، أصدرت Baichuan Intelligent نموذجا كبيرا كل 28 يوما في المتوسط ، ووصلت بشكل مستمر Baichuan-7B / 13B و Baichuan2-7B / 13B أربعة نماذج تجارية كبيرة مجانية مفتوحة المصدر و Baichuan-53B و Baichuan2-53B ونموذجين كبيرين مغلقي المصدر ، في مجال الكتابة وإنشاء النصوص وغيرها من مجالات القدرة إلى مستوى جيد في الصناعة. في الوقت الحاضر ، يعد النموذجان مفتوحا المصدر ل Baichuan-7B و 13B من بين الأفضل في العديد من قوائم التقييم الموثوقة ، مع تنزيل تراكمي لأكثر من 6 ملايين مرة.
أما بالنسبة للشركة التي تبني نماذج الذكاء الاصطناعي الكبيرة ، فقد قال Wang Xiaochuan أنه يمكن استخدام الأدوات التقنية الحالية لفريقه لبناء نماذج كبيرة ، ومنافسو الشركة هم الحلول مفتوحة المصدر للشركات الكبيرة. يعتقد وانغ شياو تشوان أيضا أن الفريق بأكمله لا يحتاج إلى أن يكون كبيرا جدا ، وأن 100 شخص يكفي.
في 31 أغسطس ، أخذت Baichuan Intelligent زمام المبادرة في تمرير "التدابير المؤقتة لإدارة خدمات الذكاء الاصطناعي التوليدية" الوطنية للسجل ، وكانت الشركة الناشئة النموذجية الوحيدة واسعة النطاق التي تم إنشاؤها هذا العام بين الشركات الثماني الأولى ، وافتتحت واجهة Baichuan2-53B API في 25 سبتمبر ، ودخلت رسميا مجال مؤسسة To B وبدأت عملية التسويق.
في 17 أكتوبر ، أعلنت Baichuan Intelligent أنها أكملت جولة A1 للتمويل الاستراتيجي بقيمة 300 مليون دولار أمريكي ، وشاركت Alibaba و Tencent و Xiaomi وغيرها من عمالقة التكنولوجيا وعدد من المؤسسات الاستثمارية الكبرى في هذه الجولة. مع إضافة جولة الملاك البالغة 50 مليون دولار أمريكي ، وصل مبلغ التمويل التراكمي لشركة Baichuan Intelligent إلى 350 مليون دولار أمريكي (حوالي 2.543 مليار يوان).
لم تكشف Baichuan Intelligent عن التقييم المحدد الحالي ، قائلة فقط إنه بعد هذه الجولة من التمويل ، أصبحت الشركة وحيد القرن التكنولوجي. وفقا للتعريف العام ، يبلغ تقييم حيدات القرن أكثر من 1 مليار دولار أمريكي (حوالي 7.266 مليار يوان).
** في إصدار Baichuan2-192K ، قالت Baichuan Intelligent إنها حققت أداء جيدا في 10 مجموعات أسئلة وأجوبة باللغتين الصينية والإنجليزية ومجموعات تقييم مجردة ، مثل Dureader و NarrativeQA و LSHT و TriviaQA ، وحقق 7 منهم SOTA ، متجاوزا بشكل كبير نماذج النوافذ الطويلة الأخرى وقاد Claude2 بطريقة شاملة. **
وأشار بايتشوان إلى أن صناعة الذكاء الاصطناعي توافق على أن توسيع نافذة السياق يمكن أن يحسن بشكل فعال أداء النماذج الكبيرة ، لكن نافذة السياق الطويلة جدا تعني متطلبات طاقة حوسبة أعلى وضغطا أكبر للذاكرة. في الوقت الحاضر ، هناك العديد من الطرق لزيادة طول نافذة السياق في الصناعة ، بما في ذلك النوافذ المنزلقة ، والاختزال ، والنماذج الصغيرة ، وما إلى ذلك. على الرغم من أن هذه الطرق يمكن أن تزيد من طول نافذة السياق ، إلا أنها جميعا لها درجات متفاوتة من الضعف في أداء النموذج ، وبعبارة أخرى ، فإنها تضحي جميعها بأداء جوانب أخرى من النموذج مقابل نافذة سياق أطول. يحقق Baichuan2-192K الذي تم إصداره هذه المرة توازنا بين طول النافذة وأداء النموذج من خلال الخوارزمية والتحسين الهندسي ، ويحقق التحسين المتزامن لطول النافذة وأداء النموذج.
من حيث الخوارزميات ، تقترح Baichuan Intelligent مخطط استقراء لترميز الموضع الديناميكي RoPE و ALiBi ، مما يعزز قدرة النمذجة للنموذج على الاعتماد على التسلسلات الطويلة مع ضمان الدقة ، وعندما يتوسع طول النافذة ، تستمر قدرة نمذجة التسلسل ل Baichuan2-192K في الزيادة. من حيث الهندسة ، على أساس إطار التدريب الموزع المطور ذاتيا ، تقوم Baichuan Intelligent بدمج وتحسين تقنيات متعددة وإنشاء مجموعة شاملة من الحلول الموزعة المتوازية 4D ، والتي يمكنها العثور تلقائيا على الإستراتيجية الموزعة الأكثر ملاءمة وفقا للحمل المحدد للنموذج ، مما يقلل بشكل كبير من احتلال الذاكرة في عملية التدريب والاستدلال على النوافذ الطويلة.
يمكن دمج Baichuan2-192K بعمق مع المزيد من السيناريوهات الرأسية ، ولعب دور حقيقي في عمل الناس وحياتهم وتعلمهم ، ومساعدة مستخدمي الصناعة على تقليل التكاليف بشكل أفضل وزيادة الكفاءة. على سبيل المثال ، يمكن أن يساعد مديري الصناديق على تلخيص وتفسير البيانات المالية ، وتحليل مخاطر الشركة وفرصها ؛ مساعدة المحامين على تحديد المخاطر في مستندات قانونية متعددة ، ومراجعة العقود والمستندات القانونية ؛ مساعدة الفنيين على قراءة مئات الصفحات من وثائق التطوير والإجابة على الأسئلة الفنية ؛ يمكن أن يساعد أيضا الموظفين على تصفح عدد كبير من الأوراق بسرعة وتلخيص أحدث التطورات المتطورة.
في الوقت الحاضر ، Baichuan2-192K مفتوح لشركاء Baichuan Intelligence الأساسيين في شكل مكالمات API ، وقد توصل إلى تعاون مع وسائل الإعلام المالية وشركات المحاماة ، قائلا إنه سيتم افتتاحه بالكامل قريبا.
قال فريق وانغ شياو تشوان إن Baichuan Intelligent Baichuan2-192K ابتكرت نوافذ السياق الطويل في الخوارزميات والهندسة ، وتحققت من جدوى نوافذ السياق الطويلة ، وفتحت مسارا جديدا للبحث العلمي لتحسين أداء النماذج الكبيرة. في الوقت نفسه ، سيضع سياقها الأطول أيضا أساسا تقنيا جيدا للصناعة لاستكشاف المجالات المتطورة مثل الوكلاء والتطبيقات متعددة الوسائط.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
أعلن وانغ شياو تشوان عن أحدث طراز كبير ، والذي يزعم أنه الأطول في العالم ، 14 مرة من GPT-4
المصدر الأصلي: تيتانيوم ميديا
المؤلف: لين تشيجيا
تسارعت المنافسة على تكنولوجيا النماذج المحلية واسعة النطاق ، وبعد إطلاق أحدث المنتجات من قبل iFLYTEK Xinghuo و Zhipu ، بشرت Baichuan أيضا بإنجازات نموذجية جديدة واسعة النطاق.
** علمت Titanium Media ** في صباح يوم 30 أكتوبر ، أعلنت شركة النماذج الكبيرة الذكاء الاصطناعي "Baichuan Intelligence" التي أسسها Wang Xiaochuan عن إطلاق نموذج Baichuan2-192K الكبير ، والذي يبلغ طول نافذة السياق ما يصل إلى 192 ألف ويمكنه معالجة حوالي 350،000 حرف صيني.
** قالت Baichuan Intelligence أن Baichuan2-192K هي حاليا أطول نافذة سياق في العالم ، وهي أيضا 4.4 مرة من Claude2 ، أفضل نموذج كبير يدعم حاليا نوافذ السياق الطويلة (يدعم 100K نافذة السياق ، تقاس حوالي 80,000 كلمة) ، وهو 14 مرة (1400٪) من GPT-4 (يدعم 32K نافذة سياق ، تقاس حوالي 25,000 كلمة). ** هذا لا يتفوق فقط على Claude2 في طول نافذة السياق ، ولكنه يقود Claude2 أيضا في جودة إنشاء نص النافذة الطويلة ، وفهم السياق الطويل ، وأسئلة وأجوبة النص الطويل ، والتلخيص ، وما إلى ذلك.
يذكر أنه سيتم توفير Baichuan2-192K لمستخدمي المؤسسات في شكل استدعاءات API والنشر المخصخص. في الوقت الحاضر ، أطلقت Baichuan Intelligent الاختبار الداخلي لواجهة برمجة التطبيقات للنموذج الكبير ، وفتحته للشركاء الأساسيين في الصناعات القانونية والإعلامية والمالية وغيرها.
في ال 200 يوم الماضية ، أصدرت Baichuan Intelligent نموذجا كبيرا كل 28 يوما في المتوسط ، ووصلت بشكل مستمر Baichuan-7B / 13B و Baichuan2-7B / 13B أربعة نماذج تجارية كبيرة مجانية مفتوحة المصدر و Baichuan-53B و Baichuan2-53B ونموذجين كبيرين مغلقي المصدر ، في مجال الكتابة وإنشاء النصوص وغيرها من مجالات القدرة إلى مستوى جيد في الصناعة. في الوقت الحاضر ، يعد النموذجان مفتوحا المصدر ل Baichuan-7B و 13B من بين الأفضل في العديد من قوائم التقييم الموثوقة ، مع تنزيل تراكمي لأكثر من 6 ملايين مرة.
أما بالنسبة للشركة التي تبني نماذج الذكاء الاصطناعي الكبيرة ، فقد قال Wang Xiaochuan أنه يمكن استخدام الأدوات التقنية الحالية لفريقه لبناء نماذج كبيرة ، ومنافسو الشركة هم الحلول مفتوحة المصدر للشركات الكبيرة. يعتقد وانغ شياو تشوان أيضا أن الفريق بأكمله لا يحتاج إلى أن يكون كبيرا جدا ، وأن 100 شخص يكفي.
في 31 أغسطس ، أخذت Baichuan Intelligent زمام المبادرة في تمرير "التدابير المؤقتة لإدارة خدمات الذكاء الاصطناعي التوليدية" الوطنية للسجل ، وكانت الشركة الناشئة النموذجية الوحيدة واسعة النطاق التي تم إنشاؤها هذا العام بين الشركات الثماني الأولى ، وافتتحت واجهة Baichuan2-53B API في 25 سبتمبر ، ودخلت رسميا مجال مؤسسة To B وبدأت عملية التسويق.
في 17 أكتوبر ، أعلنت Baichuan Intelligent أنها أكملت جولة A1 للتمويل الاستراتيجي بقيمة 300 مليون دولار أمريكي ، وشاركت Alibaba و Tencent و Xiaomi وغيرها من عمالقة التكنولوجيا وعدد من المؤسسات الاستثمارية الكبرى في هذه الجولة. مع إضافة جولة الملاك البالغة 50 مليون دولار أمريكي ، وصل مبلغ التمويل التراكمي لشركة Baichuan Intelligent إلى 350 مليون دولار أمريكي (حوالي 2.543 مليار يوان).
لم تكشف Baichuan Intelligent عن التقييم المحدد الحالي ، قائلة فقط إنه بعد هذه الجولة من التمويل ، أصبحت الشركة وحيد القرن التكنولوجي. وفقا للتعريف العام ، يبلغ تقييم حيدات القرن أكثر من 1 مليار دولار أمريكي (حوالي 7.266 مليار يوان).
** في إصدار Baichuan2-192K ، قالت Baichuan Intelligent إنها حققت أداء جيدا في 10 مجموعات أسئلة وأجوبة باللغتين الصينية والإنجليزية ومجموعات تقييم مجردة ، مثل Dureader و NarrativeQA و LSHT و TriviaQA ، وحقق 7 منهم SOTA ، متجاوزا بشكل كبير نماذج النوافذ الطويلة الأخرى وقاد Claude2 بطريقة شاملة. **
من حيث الخوارزميات ، تقترح Baichuan Intelligent مخطط استقراء لترميز الموضع الديناميكي RoPE و ALiBi ، مما يعزز قدرة النمذجة للنموذج على الاعتماد على التسلسلات الطويلة مع ضمان الدقة ، وعندما يتوسع طول النافذة ، تستمر قدرة نمذجة التسلسل ل Baichuan2-192K في الزيادة. من حيث الهندسة ، على أساس إطار التدريب الموزع المطور ذاتيا ، تقوم Baichuan Intelligent بدمج وتحسين تقنيات متعددة وإنشاء مجموعة شاملة من الحلول الموزعة المتوازية 4D ، والتي يمكنها العثور تلقائيا على الإستراتيجية الموزعة الأكثر ملاءمة وفقا للحمل المحدد للنموذج ، مما يقلل بشكل كبير من احتلال الذاكرة في عملية التدريب والاستدلال على النوافذ الطويلة.
يمكن دمج Baichuan2-192K بعمق مع المزيد من السيناريوهات الرأسية ، ولعب دور حقيقي في عمل الناس وحياتهم وتعلمهم ، ومساعدة مستخدمي الصناعة على تقليل التكاليف بشكل أفضل وزيادة الكفاءة. على سبيل المثال ، يمكن أن يساعد مديري الصناديق على تلخيص وتفسير البيانات المالية ، وتحليل مخاطر الشركة وفرصها ؛ مساعدة المحامين على تحديد المخاطر في مستندات قانونية متعددة ، ومراجعة العقود والمستندات القانونية ؛ مساعدة الفنيين على قراءة مئات الصفحات من وثائق التطوير والإجابة على الأسئلة الفنية ؛ يمكن أن يساعد أيضا الموظفين على تصفح عدد كبير من الأوراق بسرعة وتلخيص أحدث التطورات المتطورة.
في الوقت الحاضر ، Baichuan2-192K مفتوح لشركاء Baichuan Intelligence الأساسيين في شكل مكالمات API ، وقد توصل إلى تعاون مع وسائل الإعلام المالية وشركات المحاماة ، قائلا إنه سيتم افتتاحه بالكامل قريبا.
قال فريق وانغ شياو تشوان إن Baichuan Intelligent Baichuan2-192K ابتكرت نوافذ السياق الطويل في الخوارزميات والهندسة ، وتحققت من جدوى نوافذ السياق الطويلة ، وفتحت مسارا جديدا للبحث العلمي لتحسين أداء النماذج الكبيرة. في الوقت نفسه ، سيضع سياقها الأطول أيضا أساسا تقنيا جيدا للصناعة لاستكشاف المجالات المتطورة مثل الوكلاء والتطبيقات متعددة الوسائط.