18.8 تريليون دولار أمريكي، وهي القيمة الإجمالية التي يتوقع السوق أن يولدها الاقتصاد الذكي القائم على الذكاء الاصطناعي في عام 2030. ومن بينها، سيصبح التغيير النوعي في قدرات الذكاء الاصطناعي الناتج عن النماذج الكبيرة بلا شك قوة دافعة مهمة.
في ظل موجة النماذج الضخمة، وصل اهتمام الصناعة بأي بعد من أبعاد ثلاثية تطوير الذكاء الاصطناعي ــ قوة الحوسبة، والخوارزميات، والبيانات ــ إلى مستوى جديد. وأصبح تجنب "تأثير البرميل" الاعتبار الأساسي في تطوير النماذج الكبيرة. عارضات ازياء.
في هذه العملية، غالبًا ما يركز اهتمام الصناعة على "البيانات" على "الكمية" + "الجودة"، حيث يمكن لكمية أكبر من البيانات وجودة بيانات أعلى أن تعزز تأثيرات التدريب والتطبيق الأفضل للنماذج الكبيرة. وقد أصبح هذا إجماعًا.
ومع ذلك، نظرًا لأن ابتكار النماذج الكبيرة يتطلب المزيد والمزيد من البيانات المعقدة، لم يعد يكفي التركيز فقط على "كمية" + "جودة" البيانات. إن التخزين الذي يمكنه حمل البيانات وتلبية احتياجات النماذج الكبيرة يستحق أيضًا الاهتمام. الممارسين في مجال النماذج الكبيرة.
في مؤتمر Huawei Connectivity 2023 (HC 2023) الذي عقد للتو، قدمت هواوي بشكل منهجي كيف يمكن لحلول التخزين الخاصة بها حل نقاط الضعف المتعلقة بتدريب النماذج الكبيرة وتطبيقها ودعم عملية ابتكار النماذج الكبيرة.
تُظهر إجراءات هواوي بشكل بانورامي جوهر تطوير النماذج الكبيرة من بُعد البيانات - التطوير واسع النطاق لـ "عناصر البيانات"، وكيف يوفر ابتكار التخزين القوة لهذا الجوهر، مما يساعد ممارسي النماذج الكبيرة على الاستفادة بشكل أفضل من عصر الاقتصاد الذكي.
عصر النماذج الكبيرة هو عصر عناصر البيانات، وقد تم إثبات قيمة التخزين كحامل.
ليس هناك شك في أن الطلب على القوة الحاسوبية والخوارزميات والبيانات للنماذج الكبيرة يتزايد بسرعة.
وفقًا لإحصاءات أبحاث السوق، في السنوات الخمس الماضية، زادت معلمات النماذج الكبيرة بمقدار 2000 مرة، وزادت قوة الحوسبة المطلوبة بمقدار 50000 مرة، وزاد الطلب على تخزين البيانات بمقدار 100000 مرة، ومتطلبات النطاق الترددي للشبكة المرتبطة زادت بمقدار 8000 مرة.
تتطلب الفتحات الكبيرة والإغلاقات الكبيرة والطلبات الكبيرة تسهيلات واستثمارات كبيرة.
ومع ذلك، من منظور الابتكار، في الواقع، فإن صعوبة كل من الخوارزميات وقوة الحوسبة آخذة في الانخفاض أو التقارب.
فيما يتعلق بقوة الحوسبة، والتي تمثل صداعًا للعديد من الشركات، على الرغم من أن المبلغ المطلوب كبير، إلا أنها تأتي كلها من NVIDIA وAscend وموارد أجهزة GPU الأخرى، والتي تعتمد بشكل أساسي على استثمار التكلفة. بمعنى آخر، طالما أن هناك ميزانية كافية، يمكن توفير موارد الحوسبة.
من ناحية الخوارزميات، على الرغم من استمرار الشركات المصنعة الكبرى في الضبط والتكرار، إلا أنها تعتمد بشكل عام البنية التحتية لنموذج Transformer، والتي تم تطويرها بناءً على أطر التطوير السائدة مثل Pytorch وTensorFlow وMindSpore، وتتقارب تدريجياً.
في هذا الوقت، يأتي الضغط على البيانات.
مع التطوير المتعمق للنماذج الكبيرة، قفز إجمالي متطلبات البيانات بالفعل من مستوى السل إلى مستوى بيتابايت، وأصبح "المجمع" المطلوب أكبر فأكبر؛ وفي الوقت نفسه، أصبح الطلب على أنواع البيانات كبيرًا للغاية غنية ونموذج نص واحد بالإضافة إلى الطرائق، تتزايد البيانات متعددة الوسائط مثل الصور ومقاطع الفيديو والأصوات، وتصبح متطلبات البيانات أكثر تعقيدًا، وكل ذلك يختبر القدرة الاستيعابية للتخزين وكيفية ذلك. للعمل بشكل أفضل مع قوة الحوسبة والخوارزميات أثناء التدريب والتطبيق.
خلال هذه الفترة ظهرت العديد من المشاكل التي تنتظر حلها بالتخزين، ومن أهمها:
أداء قراءة الملفات الصغيرة. متطلبات البيانات للنماذج الكبيرة هي في الأساس كميات كبيرة من الملفات الصغيرة مثل الصور والنصوص، ويمكن لخادم الذكاء الاصطناعي الواحد قراءة أكثر من 20000 صورة في الثانية، مما يؤدي غالبًا إلى انخفاض كفاءة تحميل البيانات (على غرار إجراء النسخ على جهاز كمبيوتر شخصي). ، أي ما يعادل المساحة المطلوبة، سيكون المجلد الذي يحتوي على عدد كبير من الملفات الصغيرة أبطأ بكثير من ملف واحد كبير)، مما يؤثر على كفاءة تدريب النماذج الكبيرة. في هذا الوقت، أصبح أداء الملفات الصغيرة الضخمة بمثابة عنق الزجاجة، ووصلت المتطلبات الأساسية لنموذج كبير يحتوي على تريليونات من المعلمات إلى 10 ملايين IOPS.
تستأنف نقطة توقف CheckPoint التدريب. أثناء عملية تدريب النموذج الكبير، نظرًا للاحتياجات المختلفة مثل ضبط المعلمات، ستتم مقاطعة CheckPoint في نقاط زمنية غير محددة، ثم يتم إعادة تشغيلها لمواصلة التدريب (يستغرق الأمر وقتًا ويخلق فجوة في استخدام موارد وحدة معالجة الرسومات). هذه قدرة ودية للغاية لنماذج التدريب طويلة المدى، ولكن ضبط المعلمات المتكرر من قبل المؤسسات غالبًا ما يؤدي إلى تقليل استخدام وحدة معالجة الرسومات (في الوقت الحالي، تنقطع الصناعة عادةً مرة واحدة كل يومين في المتوسط، ويبلغ استخدام وحدة معالجة الرسومات 40٪ فقط)، والتي يتطلب مساحة تخزين. فقط من خلال الأداء القوي لقراءة وكتابة الملفات الكبيرة، يمكنك تقليل وقت انتظار وحدة معالجة الرسومات وتحسين كفاءة استخدام الموارد الباهظة الثمن.
مشكلة "هلوسة الذكاء الاصطناعي". إن ظاهرة أن نتائج مخرجات النماذج الكبيرة "ملفقة بشكل عشوائي" ومن الواضح أنها تتعارض مع الحقائق هي مشكلة مزعجة للغاية في الصناعة، وتسمى ظاهرة الصواب الذاتي للنماذج الكبيرة "وهم الذكاء الاصطناعي". يبدو أن هذه مشكلة خوارزمية، ولكن في الواقع، اكتشفت الصناعة تدريجيًا أثناء الاستكشاف أن حلها يتطلب "التحقق" المستمر على مستوى البيانات (يشير بشكل أساسي إلى المعلومات السياقية)، وهو ما يتطلب بشكل أساسي أن يكون التخزين قادرًا على توفير مماثل يعمل نظام المعرفة الخاص بـ "قاموس الموسوعة" بمثابة "حصين" النموذج الكبير لتوفير معرفة دقيقة بالصناعة.
ويمكن ملاحظة أنه على مستوى الابتكار، قد يكون لحل تحديات التخزين التي تواجهها النماذج الكبيرة الأولوية على قوة الحوسبة والخوارزميات.
تسمح هذه النقطة في الواقع للنماذج الكبيرة بالعودة إلى جوهرها، وهو استخدام نماذج الذكاء الاصطناعي ذات المعلمات الأكبر لاستكشاف قيمة عناصر البيانات بشكل أكبر وتعزيز تحويل وتحديث آلاف الصناعات.
في أيامنا هذه، أصبحت عناصر البيانات الموارد الأساسية للاقتصاد الرقمي ومجتمع المعلومات، وتعتبر عامل إنتاج مهم آخر بعد الأرض والعمالة ورأس المال والتكنولوجيا. وتعتمد ابتكارات لا حصر لها، بما في ذلك النماذج الكبيرة، على عناصر البيانات. التطوير العميق للقيمة.
يمكن النظر إلى عملية تطوير النماذج الكبيرة على أنها عملية تستمر فيها عناصر البيانات في الانتقال من المخرجات الأصلية إلى مخرجات القيمة.
وفي هذه العملية، تقوم الخوارزميات بتوجيه الاتجاه من الأمام، نحو صناعات عامة أو محددة. وتجلب قوة الحوسبة المتزايدة قوة دافعة قوية، في حين يوفر التخزين الدعم والقدرات التعاونية. عندما تعتمد قوة الحوسبة بشكل أساسي على استثمار التكلفة وتتقارب الخوارزميات تدريجيًا، تصبح القيمة المبتكرة للتخزين كحامل لعناصر البيانات أكثر وضوحًا.
دع قيمة عناصر البيانات تؤتي ثمارها، حيث يهاجم تخزين Huawei نقاط الضعف بأبعاد متعددة
"كيفية حل تحديات التخزين؟ تتمتع منتجات OceanStor A800 للتخزين المعرفي عالي الأداء من Huawei والحلول المقابلة لها بكفاءة رائدة بشكل شامل في التدريب والترويج في سيناريوهات التدريب على النماذج الصناعية والترويج. وبشكل عام، تتميز بأربع خصائص رئيسية:
1. أداء إجمالي عالٍ للغاية، يتوافق مع احتياجات التدريب على النماذج الكبيرة
الحل الأساسي للتخزين من هواوي هو تلبية الطلب الهائل على بيانات التدريب للنماذج الكبيرة من حيث الأداء العام، وخاصة الطلب على أداء قراءة الملفات الصغيرة.
يعتمد OceanStor A800 على بنية فصل CNC مبتكرة. يمكنه تحقيق 24 مليون IOPS في إطار واحد. تبلغ كفاءة تحميل مجموعة التدريب الخاصة به أربعة أضعاف الصناعة، ويمكن توسيع أدائه خطيًا وفقًا لاحتياجات العملاء. بالإضافة إلى ذلك، يحقق نظام الملفات الموزعة OceanFS توزيعًا متوازنًا عالميًا، مما يزيل اختناقات وحدة المعالجة المركزية، مما يوفر تجربة تحسين أداء نهائية للملفات الصغيرة الضخمة، ويلبي احتياجات القراءة لعدد كبير من الملفات الصغيرة.
وطالما أن هناك طلبًا على الأداء، فإن سعة التخزين لدى هواوي يمكنها "تحملها" حتى لو "زادت".
2. تحسين القدرات الخاصة لتلبية احتياجات محددة مثل التدريب المستمر على نقاط التوقف
تمثل كيفية تقديم الدعم بشكل أفضل في ظل ظروف خاصة مثل استمرار توقف التدريب تحديًا يجب على Huawei Storage معالجته في وقت واحد أثناء مرحلة التدريب على النماذج الكبيرة.
من خلال التعاون في التحكم في القرص ونظام الملفات المتوازي NFS+، يحقق تخزين هواوي نطاقًا تردديًا عاليًا يصل إلى 500 جيجابايت/ثانية في إطار واحد، مما يتيح استردادًا فائق السرعة لـ CheckPoint.وتبلغ سرعة الاسترداد للتدريب على استئناف نقاط التوقف ثلاثة أضعاف تلك الموجودة في الصناعة. يمكن تحقيق القراءة والكتابة لـ CheckPoint على مستوى السل من ساعات إلى دقائق (أي أن متوسط وقت استرداد النماذج الكبيرة التي تحتوي على تريليونات من المعلمات يتم تسريعه من ساعات إلى دقائق)، مما يقلل من انتظار وحدة معالجة الرسومات الباهظة الثمن.
وطالما كانت هناك حاجة لتحسين النماذج الكبيرة، يمكن للعملاء إجراء ضبط المعلمات والعمليات الأخرى بجرأة أكبر.
بالإضافة إلى ذلك، يحتوي مستوى الإدارة والتحكم الخاص به على تقسيم الموارد + إمكانات الجدولة الموحدة، والتي يمكن أن تجعل التخزين مناسبًا لنماذج الأعمال المختلفة.
بغض النظر عن نموذج العمل الذي يطوره العملاء، وبغض النظر عن الوقت الذي يختار فيه العملاء التوقف مؤقتًا في العملية، يمكن لـ Huawei Storage التعامل معه بشكل أفضل.
3. قدرات استجابة محسنة لتلبية الاحتياجات في الوقت الفعلي لتطبيقات النماذج الكبيرة
بعد اكتمال مرحلة التدريب، تحتاج وحدة تخزين Huawei إلى تلبية احتياجات الاستجابة الصارمة للبيانات في مرحلة التطبيق.
في الوقت الحاضر، في مرحلة تطبيق النماذج الكبيرة، وبفضل قاعدة معارف المتجهات المدمجة (تخزين المعرفة الصناعية في شكل ناقلات)، وصل QPS للتخزين من Huawei إلى أكثر من 250,000، وتمكنت من تحقيق استجابة على مستوى المللي ثانية. من ناحية، يمكنها تسريع التفكير، مما يقلل بشكل كبير من استهلاك موارد وحدة معالجة الرسومات أثناء عملية التطبيق، مما يوفر تكاليف التنفيذ بشكل فعال - تستهلك العديد من النماذج الكبيرة حاليًا موارد ضخمة في مرحلة التطبيق المفتوحة، وبعض الشركات غارقة؛ من ناحية أخرى ، "قاموس الموسوعة" يجعل النماذج الكبيرة أكثر دقة. تلعب المعرفة الصناعية دورًا داعمًا مهمًا في تقليل حدوث هلوسة الذكاء الاصطناعي ويمكن أن تحسن بشكل كبير دقة التفكير.
4. يضمن الابتكار المعماري استقرار وموثوقية النظام ككل
الشرط الأخير والأكثر أساسية للتخزين هو أنه بغض النظر عن الخصائص التي يتمتع بها، يجب أن يضمن بنية شاملة مستقرة وموثوقة دون التسبب في مشاكل أمنية أو "السقوط من السلسلة".
أدت عملية Huawei Storage لحل سلسلة من متطلبات نقاط ضعف بيانات النماذج الكبيرة أيضًا إلى زيادة تعقيد حلول وأنظمة التخزين إلى حد ما، ومع ذلك، في الوقت نفسه، لم تضحي Huawei بموثوقية النظام. بنية AA، يمكنها تحقيق 5 طبقات من الحماية الشاملة و6 تسعات من الموثوقية الفائقة.
ونتيجة لذلك، يتم ضمان موثوقية البيانات واستقرار التدريب للنماذج الكبيرة بشكل شامل.
من يصنع العجلات، يقطع الطريق الطويل أولاً
يمكن للتخزين من هواوي أن يحل المشاكل المتعلقة ببيانات النماذج الكبيرة، ويكمن السبب الجذري في استكشافها المبتكر للتخزين على المدى الطويل.
تستفيد بنية الفصل CNC الخاصة بـ OceanStor A800 من الابتكار التكنولوجي المتطور في الصناعة لقراءة البيانات المباشرة وكتابتها على القرص، مما يسمح بتوصيل مستوى البيانات مباشرة بالقرص وفصله عن مستوى التحكم لتحقيق IO المباشر، وبالتالي تقليل عمليات وحدة المعالجة المركزية أثناء قراءة البيانات وكتابتها، وتحسين أداء التخزين بشكل كبير.
في الواقع، بذلت شركة هواوي جهودًا تكنولوجية في مجال التخزين لفترة طويلة وحققت العديد من الابتكارات المتطورة المماثلة.
حاليًا، يضم تخزين Huawei OceanStor 12 مركزًا للبحث والتطوير حول العالم، وأكثر من 4000 موظف بحث وتطوير، وأكثر من 3000 براءة اختراع. وتشارك منتجاتها في العديد من المجالات مثل حلول تخزين NAS عالية الأداء، وحلول تخزين مكافحة برامج الفدية، وحلول تخزين الحاويات، و المحاكاة الافتراضية لمركز البيانات، والتي نالت استحسانًا واسعًا.
في أكثر من 150 دولة حول العالم، خدم تخزين هواوي أكثر من 25000 عميل بما في ذلك المشغلين والتمويل والحكومة والطاقة والطب والتصنيع والنقل وغيرها من الصناعات.
يمكن القول أن قدرات التخزين المصممة خصيصًا لتطوير قيمة عناصر البيانات واحتياجات الابتكار للنماذج الكبيرة هي النتيجة الحتمية للعمل الجاد طويل الأمد الذي تقوم به هواوي في مسار التخزين - لقد قام تخزين هواوي بالفعل بعمل جيد في تلبية البيانات احتياجات العديد من المجالات (وليس فقط النماذج واسعة النطاق). النموذج) توفر الاستعدادات لقدرة تحمل قوية والتآزر.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تتعمق النماذج الكبيرة في قيمة عناصر البيانات: بعد الخوارزميات وقوة الحوسبة، تصبح قيمة ناقلات التخزين أكثر بروزًا
مقالة| النسبية الذكية** (aixdlun)**
المؤلف | يي يوان فنغ
18.8 تريليون دولار أمريكي، وهي القيمة الإجمالية التي يتوقع السوق أن يولدها الاقتصاد الذكي القائم على الذكاء الاصطناعي في عام 2030. ومن بينها، سيصبح التغيير النوعي في قدرات الذكاء الاصطناعي الناتج عن النماذج الكبيرة بلا شك قوة دافعة مهمة.
في ظل موجة النماذج الضخمة، وصل اهتمام الصناعة بأي بعد من أبعاد ثلاثية تطوير الذكاء الاصطناعي ــ قوة الحوسبة، والخوارزميات، والبيانات ــ إلى مستوى جديد. وأصبح تجنب "تأثير البرميل" الاعتبار الأساسي في تطوير النماذج الكبيرة. عارضات ازياء.
في هذه العملية، غالبًا ما يركز اهتمام الصناعة على "البيانات" على "الكمية" + "الجودة"، حيث يمكن لكمية أكبر من البيانات وجودة بيانات أعلى أن تعزز تأثيرات التدريب والتطبيق الأفضل للنماذج الكبيرة. وقد أصبح هذا إجماعًا.
ومع ذلك، نظرًا لأن ابتكار النماذج الكبيرة يتطلب المزيد والمزيد من البيانات المعقدة، لم يعد يكفي التركيز فقط على "كمية" + "جودة" البيانات. إن التخزين الذي يمكنه حمل البيانات وتلبية احتياجات النماذج الكبيرة يستحق أيضًا الاهتمام. الممارسين في مجال النماذج الكبيرة.
في مؤتمر Huawei Connectivity 2023 (HC 2023) الذي عقد للتو، قدمت هواوي بشكل منهجي كيف يمكن لحلول التخزين الخاصة بها حل نقاط الضعف المتعلقة بتدريب النماذج الكبيرة وتطبيقها ودعم عملية ابتكار النماذج الكبيرة.
تُظهر إجراءات هواوي بشكل بانورامي جوهر تطوير النماذج الكبيرة من بُعد البيانات - التطوير واسع النطاق لـ "عناصر البيانات"، وكيف يوفر ابتكار التخزين القوة لهذا الجوهر، مما يساعد ممارسي النماذج الكبيرة على الاستفادة بشكل أفضل من عصر الاقتصاد الذكي.
عصر النماذج الكبيرة هو عصر عناصر البيانات، وقد تم إثبات قيمة التخزين كحامل.
ليس هناك شك في أن الطلب على القوة الحاسوبية والخوارزميات والبيانات للنماذج الكبيرة يتزايد بسرعة.
وفقًا لإحصاءات أبحاث السوق، في السنوات الخمس الماضية، زادت معلمات النماذج الكبيرة بمقدار 2000 مرة، وزادت قوة الحوسبة المطلوبة بمقدار 50000 مرة، وزاد الطلب على تخزين البيانات بمقدار 100000 مرة، ومتطلبات النطاق الترددي للشبكة المرتبطة زادت بمقدار 8000 مرة.
تتطلب الفتحات الكبيرة والإغلاقات الكبيرة والطلبات الكبيرة تسهيلات واستثمارات كبيرة.
ومع ذلك، من منظور الابتكار، في الواقع، فإن صعوبة كل من الخوارزميات وقوة الحوسبة آخذة في الانخفاض أو التقارب.
فيما يتعلق بقوة الحوسبة، والتي تمثل صداعًا للعديد من الشركات، على الرغم من أن المبلغ المطلوب كبير، إلا أنها تأتي كلها من NVIDIA وAscend وموارد أجهزة GPU الأخرى، والتي تعتمد بشكل أساسي على استثمار التكلفة. بمعنى آخر، طالما أن هناك ميزانية كافية، يمكن توفير موارد الحوسبة.
من ناحية الخوارزميات، على الرغم من استمرار الشركات المصنعة الكبرى في الضبط والتكرار، إلا أنها تعتمد بشكل عام البنية التحتية لنموذج Transformer، والتي تم تطويرها بناءً على أطر التطوير السائدة مثل Pytorch وTensorFlow وMindSpore، وتتقارب تدريجياً.
في هذا الوقت، يأتي الضغط على البيانات.
مع التطوير المتعمق للنماذج الكبيرة، قفز إجمالي متطلبات البيانات بالفعل من مستوى السل إلى مستوى بيتابايت، وأصبح "المجمع" المطلوب أكبر فأكبر؛ وفي الوقت نفسه، أصبح الطلب على أنواع البيانات كبيرًا للغاية غنية ونموذج نص واحد بالإضافة إلى الطرائق، تتزايد البيانات متعددة الوسائط مثل الصور ومقاطع الفيديو والأصوات، وتصبح متطلبات البيانات أكثر تعقيدًا، وكل ذلك يختبر القدرة الاستيعابية للتخزين وكيفية ذلك. للعمل بشكل أفضل مع قوة الحوسبة والخوارزميات أثناء التدريب والتطبيق.
خلال هذه الفترة ظهرت العديد من المشاكل التي تنتظر حلها بالتخزين، ومن أهمها:
أداء قراءة الملفات الصغيرة. متطلبات البيانات للنماذج الكبيرة هي في الأساس كميات كبيرة من الملفات الصغيرة مثل الصور والنصوص، ويمكن لخادم الذكاء الاصطناعي الواحد قراءة أكثر من 20000 صورة في الثانية، مما يؤدي غالبًا إلى انخفاض كفاءة تحميل البيانات (على غرار إجراء النسخ على جهاز كمبيوتر شخصي). ، أي ما يعادل المساحة المطلوبة، سيكون المجلد الذي يحتوي على عدد كبير من الملفات الصغيرة أبطأ بكثير من ملف واحد كبير)، مما يؤثر على كفاءة تدريب النماذج الكبيرة. في هذا الوقت، أصبح أداء الملفات الصغيرة الضخمة بمثابة عنق الزجاجة، ووصلت المتطلبات الأساسية لنموذج كبير يحتوي على تريليونات من المعلمات إلى 10 ملايين IOPS.
تستأنف نقطة توقف CheckPoint التدريب. أثناء عملية تدريب النموذج الكبير، نظرًا للاحتياجات المختلفة مثل ضبط المعلمات، ستتم مقاطعة CheckPoint في نقاط زمنية غير محددة، ثم يتم إعادة تشغيلها لمواصلة التدريب (يستغرق الأمر وقتًا ويخلق فجوة في استخدام موارد وحدة معالجة الرسومات). هذه قدرة ودية للغاية لنماذج التدريب طويلة المدى، ولكن ضبط المعلمات المتكرر من قبل المؤسسات غالبًا ما يؤدي إلى تقليل استخدام وحدة معالجة الرسومات (في الوقت الحالي، تنقطع الصناعة عادةً مرة واحدة كل يومين في المتوسط، ويبلغ استخدام وحدة معالجة الرسومات 40٪ فقط)، والتي يتطلب مساحة تخزين. فقط من خلال الأداء القوي لقراءة وكتابة الملفات الكبيرة، يمكنك تقليل وقت انتظار وحدة معالجة الرسومات وتحسين كفاءة استخدام الموارد الباهظة الثمن.
مشكلة "هلوسة الذكاء الاصطناعي". إن ظاهرة أن نتائج مخرجات النماذج الكبيرة "ملفقة بشكل عشوائي" ومن الواضح أنها تتعارض مع الحقائق هي مشكلة مزعجة للغاية في الصناعة، وتسمى ظاهرة الصواب الذاتي للنماذج الكبيرة "وهم الذكاء الاصطناعي". يبدو أن هذه مشكلة خوارزمية، ولكن في الواقع، اكتشفت الصناعة تدريجيًا أثناء الاستكشاف أن حلها يتطلب "التحقق" المستمر على مستوى البيانات (يشير بشكل أساسي إلى المعلومات السياقية)، وهو ما يتطلب بشكل أساسي أن يكون التخزين قادرًا على توفير مماثل يعمل نظام المعرفة الخاص بـ "قاموس الموسوعة" بمثابة "حصين" النموذج الكبير لتوفير معرفة دقيقة بالصناعة.
ويمكن ملاحظة أنه على مستوى الابتكار، قد يكون لحل تحديات التخزين التي تواجهها النماذج الكبيرة الأولوية على قوة الحوسبة والخوارزميات.
تسمح هذه النقطة في الواقع للنماذج الكبيرة بالعودة إلى جوهرها، وهو استخدام نماذج الذكاء الاصطناعي ذات المعلمات الأكبر لاستكشاف قيمة عناصر البيانات بشكل أكبر وتعزيز تحويل وتحديث آلاف الصناعات.
في أيامنا هذه، أصبحت عناصر البيانات الموارد الأساسية للاقتصاد الرقمي ومجتمع المعلومات، وتعتبر عامل إنتاج مهم آخر بعد الأرض والعمالة ورأس المال والتكنولوجيا. وتعتمد ابتكارات لا حصر لها، بما في ذلك النماذج الكبيرة، على عناصر البيانات. التطوير العميق للقيمة.
يمكن النظر إلى عملية تطوير النماذج الكبيرة على أنها عملية تستمر فيها عناصر البيانات في الانتقال من المخرجات الأصلية إلى مخرجات القيمة.
وفي هذه العملية، تقوم الخوارزميات بتوجيه الاتجاه من الأمام، نحو صناعات عامة أو محددة. وتجلب قوة الحوسبة المتزايدة قوة دافعة قوية، في حين يوفر التخزين الدعم والقدرات التعاونية. عندما تعتمد قوة الحوسبة بشكل أساسي على استثمار التكلفة وتتقارب الخوارزميات تدريجيًا، تصبح القيمة المبتكرة للتخزين كحامل لعناصر البيانات أكثر وضوحًا.
دع قيمة عناصر البيانات تؤتي ثمارها، حيث يهاجم تخزين Huawei نقاط الضعف بأبعاد متعددة
"كيفية حل تحديات التخزين؟ تتمتع منتجات OceanStor A800 للتخزين المعرفي عالي الأداء من Huawei والحلول المقابلة لها بكفاءة رائدة بشكل شامل في التدريب والترويج في سيناريوهات التدريب على النماذج الصناعية والترويج. وبشكل عام، تتميز بأربع خصائص رئيسية:
1. أداء إجمالي عالٍ للغاية، يتوافق مع احتياجات التدريب على النماذج الكبيرة
الحل الأساسي للتخزين من هواوي هو تلبية الطلب الهائل على بيانات التدريب للنماذج الكبيرة من حيث الأداء العام، وخاصة الطلب على أداء قراءة الملفات الصغيرة.
يعتمد OceanStor A800 على بنية فصل CNC مبتكرة. يمكنه تحقيق 24 مليون IOPS في إطار واحد. تبلغ كفاءة تحميل مجموعة التدريب الخاصة به أربعة أضعاف الصناعة، ويمكن توسيع أدائه خطيًا وفقًا لاحتياجات العملاء. بالإضافة إلى ذلك، يحقق نظام الملفات الموزعة OceanFS توزيعًا متوازنًا عالميًا، مما يزيل اختناقات وحدة المعالجة المركزية، مما يوفر تجربة تحسين أداء نهائية للملفات الصغيرة الضخمة، ويلبي احتياجات القراءة لعدد كبير من الملفات الصغيرة.
وطالما أن هناك طلبًا على الأداء، فإن سعة التخزين لدى هواوي يمكنها "تحملها" حتى لو "زادت".
2. تحسين القدرات الخاصة لتلبية احتياجات محددة مثل التدريب المستمر على نقاط التوقف
تمثل كيفية تقديم الدعم بشكل أفضل في ظل ظروف خاصة مثل استمرار توقف التدريب تحديًا يجب على Huawei Storage معالجته في وقت واحد أثناء مرحلة التدريب على النماذج الكبيرة.
من خلال التعاون في التحكم في القرص ونظام الملفات المتوازي NFS+، يحقق تخزين هواوي نطاقًا تردديًا عاليًا يصل إلى 500 جيجابايت/ثانية في إطار واحد، مما يتيح استردادًا فائق السرعة لـ CheckPoint.وتبلغ سرعة الاسترداد للتدريب على استئناف نقاط التوقف ثلاثة أضعاف تلك الموجودة في الصناعة. يمكن تحقيق القراءة والكتابة لـ CheckPoint على مستوى السل من ساعات إلى دقائق (أي أن متوسط وقت استرداد النماذج الكبيرة التي تحتوي على تريليونات من المعلمات يتم تسريعه من ساعات إلى دقائق)، مما يقلل من انتظار وحدة معالجة الرسومات الباهظة الثمن.
وطالما كانت هناك حاجة لتحسين النماذج الكبيرة، يمكن للعملاء إجراء ضبط المعلمات والعمليات الأخرى بجرأة أكبر.
بالإضافة إلى ذلك، يحتوي مستوى الإدارة والتحكم الخاص به على تقسيم الموارد + إمكانات الجدولة الموحدة، والتي يمكن أن تجعل التخزين مناسبًا لنماذج الأعمال المختلفة.
بغض النظر عن نموذج العمل الذي يطوره العملاء، وبغض النظر عن الوقت الذي يختار فيه العملاء التوقف مؤقتًا في العملية، يمكن لـ Huawei Storage التعامل معه بشكل أفضل.
3. قدرات استجابة محسنة لتلبية الاحتياجات في الوقت الفعلي لتطبيقات النماذج الكبيرة
بعد اكتمال مرحلة التدريب، تحتاج وحدة تخزين Huawei إلى تلبية احتياجات الاستجابة الصارمة للبيانات في مرحلة التطبيق.
في الوقت الحاضر، في مرحلة تطبيق النماذج الكبيرة، وبفضل قاعدة معارف المتجهات المدمجة (تخزين المعرفة الصناعية في شكل ناقلات)، وصل QPS للتخزين من Huawei إلى أكثر من 250,000، وتمكنت من تحقيق استجابة على مستوى المللي ثانية. من ناحية، يمكنها تسريع التفكير، مما يقلل بشكل كبير من استهلاك موارد وحدة معالجة الرسومات أثناء عملية التطبيق، مما يوفر تكاليف التنفيذ بشكل فعال - تستهلك العديد من النماذج الكبيرة حاليًا موارد ضخمة في مرحلة التطبيق المفتوحة، وبعض الشركات غارقة؛ من ناحية أخرى ، "قاموس الموسوعة" يجعل النماذج الكبيرة أكثر دقة. تلعب المعرفة الصناعية دورًا داعمًا مهمًا في تقليل حدوث هلوسة الذكاء الاصطناعي ويمكن أن تحسن بشكل كبير دقة التفكير.
4. يضمن الابتكار المعماري استقرار وموثوقية النظام ككل
الشرط الأخير والأكثر أساسية للتخزين هو أنه بغض النظر عن الخصائص التي يتمتع بها، يجب أن يضمن بنية شاملة مستقرة وموثوقة دون التسبب في مشاكل أمنية أو "السقوط من السلسلة".
أدت عملية Huawei Storage لحل سلسلة من متطلبات نقاط ضعف بيانات النماذج الكبيرة أيضًا إلى زيادة تعقيد حلول وأنظمة التخزين إلى حد ما، ومع ذلك، في الوقت نفسه، لم تضحي Huawei بموثوقية النظام. بنية AA، يمكنها تحقيق 5 طبقات من الحماية الشاملة و6 تسعات من الموثوقية الفائقة.
ونتيجة لذلك، يتم ضمان موثوقية البيانات واستقرار التدريب للنماذج الكبيرة بشكل شامل.
من يصنع العجلات، يقطع الطريق الطويل أولاً
يمكن للتخزين من هواوي أن يحل المشاكل المتعلقة ببيانات النماذج الكبيرة، ويكمن السبب الجذري في استكشافها المبتكر للتخزين على المدى الطويل.
تستفيد بنية الفصل CNC الخاصة بـ OceanStor A800 من الابتكار التكنولوجي المتطور في الصناعة لقراءة البيانات المباشرة وكتابتها على القرص، مما يسمح بتوصيل مستوى البيانات مباشرة بالقرص وفصله عن مستوى التحكم لتحقيق IO المباشر، وبالتالي تقليل عمليات وحدة المعالجة المركزية أثناء قراءة البيانات وكتابتها، وتحسين أداء التخزين بشكل كبير.
في الواقع، بذلت شركة هواوي جهودًا تكنولوجية في مجال التخزين لفترة طويلة وحققت العديد من الابتكارات المتطورة المماثلة.
حاليًا، يضم تخزين Huawei OceanStor 12 مركزًا للبحث والتطوير حول العالم، وأكثر من 4000 موظف بحث وتطوير، وأكثر من 3000 براءة اختراع. وتشارك منتجاتها في العديد من المجالات مثل حلول تخزين NAS عالية الأداء، وحلول تخزين مكافحة برامج الفدية، وحلول تخزين الحاويات، و المحاكاة الافتراضية لمركز البيانات، والتي نالت استحسانًا واسعًا.
في أكثر من 150 دولة حول العالم، خدم تخزين هواوي أكثر من 25000 عميل بما في ذلك المشغلين والتمويل والحكومة والطاقة والطب والتصنيع والنقل وغيرها من الصناعات.
يمكن القول أن قدرات التخزين المصممة خصيصًا لتطوير قيمة عناصر البيانات واحتياجات الابتكار للنماذج الكبيرة هي النتيجة الحتمية للعمل الجاد طويل الأمد الذي تقوم به هواوي في مسار التخزين - لقد قام تخزين هواوي بالفعل بعمل جيد في تلبية البيانات احتياجات العديد من المجالات (وليس فقط النماذج واسعة النطاق). النموذج) توفر الاستعدادات لقدرة تحمل قوية والتآزر.