*ملاحظة المحرر: تعتمد هذه المقالة بشكل أساسي على خطاب David Aronchick في مؤتمر Filecoin Unleashed Paris 2023. ديفيد هو الرئيس التنفيذي لشركة Expanso والرئيس السابق لحوسبة البيانات في Protocol Labs، وهو نفس المختبر المسؤول عن إطلاق مشروع Bacalhau. تمثل هذه المقالة وجهات النظر المستقلة لمنشئي المحتوى الأصليين وتم إعادة نشرها بإذن. *
وفقًا لمؤسسة IDC، بحلول عام 2025، ستتجاوز كمية البيانات المخزنة عالميًا 175 زيتا بايت. وهذه كمية هائلة من البيانات، تعادل 175 تريليون محرك أقراص USB محمول بسعة 1 جيجابايت. يتم إنشاء معظم هذه البيانات بين عامي 2020 و2025، بمعدل نمو سنوي مركب متوقع يبلغ 61%.
يمثل عالم البيانات سريع النمو اليوم تحديين رئيسيين:
**نقل البيانات بطيء ومكلف. **إذا حاولت تنزيل 175 زيتا بايت من البيانات باستخدام النطاق الترددي الحالي، فسيستغرق الأمر حوالي 1.8 مليار سنة.
** مهام الامتثال مرهقة. **هناك المئات من اللوائح المتعلقة بالبيانات حول العالم، مما يجعل الامتثال عبر الولايات القضائية شبه مستحيل.
والنتيجة المجمعة لنمو الشبكة الباهت والقيود التنظيمية هي أن ما يقرب من 68٪ من بيانات الوكالة معطلة. ولهذا السبب، من المهم بشكل خاص نقل موارد الحوسبة إلى موقع تخزين البيانات (يُطلق عليه على نطاق واسع حساب البيانات، أي "حوسبة البيانات") بدلاً من نقل البيانات إلى موقع الحوسبة. (CoD) تعمل المنصات جاهدة على هذا الأمر.
وفي الفصول التالية سنعرض بإيجاز:
كيف تتعامل المنظمات مع البيانات اليوم.
اقتراح حل بديل يعتمد على "حوسبة البيانات".
وأخيرًا، افترض سبب أهمية الحوسبة الموزعة.
الوضع الراهن
في الوقت الحالي، هناك ثلاث طرق رئيسية تتعامل بها المؤسسات مع تحديات معالجة البيانات، ولا تعتبر أي منها مثالية.
استخدم نظامًا مركزيًا
النهج الأكثر شيوعًا هو استخدام الأنظمة المركزية لمعالجة البيانات على نطاق واسع. غالبًا ما نرى مؤسسات تجمع بين أطر عمل الحوسبة مثل Adobe Spark وHadoop وDatabricks وKubernetes وKafka وRay وما إلى ذلك لتشكيل شبكة من الأنظمة المجمعة المتصلة بخادم API مركزي. ومع ذلك، فإن هذه الأنظمة لا تعالج بشكل فعال انتهاكات الشبكة والقضايا التنظيمية الأخرى المحيطة بتنقل البيانات.
وهذا مسؤول جزئيًا عن تكبد الوكالات مليارات الدولارات من الغرامات والعقوبات الإدارية بسبب انتهاكات البيانات.
قم ببنائها بنفسك
هناك نهج آخر يتمثل في قيام المطورين ببناء أنظمة تنسيق مخصصة تتمتع بالوعي والقوة التي تحتاجها المؤسسات. يعد هذا النهج جديدًا، ولكنه غالبًا ما يكون معرضًا لخطر الفشل بسبب الاعتماد المفرط على عدد صغير من الأشخاص لصيانة النظام وتشغيله.
لا شيء لأفعله
ومن المثير للدهشة، في أغلب الأحيان، أن المؤسسات لا تفعل شيئًا بشأن بياناتها. على سبيل المثال، يمكن لمدينة ما جمع كمية كبيرة من البيانات من مقاطع فيديو المراقبة كل يوم، ولكن نظرًا للتكلفة العالية، لا يمكن عرض هذه البيانات إلا على جهاز محلي ولا يمكن أرشفتها أو معالجتها.
بناء حوسبة موزعة حقيقية
هناك حلان رئيسيان لنقاط الضعف في معالجة البيانات.
الحل 1: البناء على منصة حوسبة البيانات مفتوحة المصدر
الحل 1: منصة حوسبة البيانات مفتوحة المصدر
يمكن للمطورين استخدام منصة بيانات موزعة مفتوحة المصدر للحساب بدلاً من نظام التنسيق المخصص المذكور سابقًا. نظرًا لأن النظام الأساسي مفتوح المصدر وقابل للتوسيع، تحتاج الوكالات فقط إلى بناء المكونات التي تحتاجها. يمكن أن يلبي هذا الإعداد سيناريوهات التطبيقات متعددة السحابات ومتعددة الحوسبة وغير المتعلقة بمركز البيانات والتنقل في البيئات التنظيمية المعقدة. والأهم من ذلك، أن الوصول إلى مجتمع المصادر المفتوحة لم يعد يعتمد على مطور واحد أو أكثر لصيانة النظام، مما يقلل من احتمالية الفشل.
الحل 2: البناء على بروتوكول البيانات الموزع
بمساعدة مشاريع الحوسبة المتقدمة مثل Bacalhau وLilypad، يمكن للمطورين المضي قدمًا وبناء أنظمة ليس فقط على منصات البيانات مفتوحة المصدر المذكورة في الحل 1، ولكن أيضًا على بروتوكولات البيانات الموزعة بالفعل مثل شبكة Filecoin.
الحل 2: بروتوكول حوسبة البيانات الموزعة
وهذا يعني أن المؤسسات يمكنها استخدام البروتوكولات الموزعة التي تفهم كيفية تنسيق ووصف مشاكل المستخدم بطريقة أكثر دقة، مما يفتح مجالات الحوسبة القريبة من مكان إنشاء البيانات وتخزينها. يمكن إجراء هذا التحول من مراكز البيانات إلى البروتوكولات الموزعة بشكل مثالي مع تغييرات طفيفة فقط في تجربة عالم البيانات.
الموزع يعني تعظيم الاختيار
من خلال النشر على بروتوكول موزع مثل شبكة Filecoin، تتمثل رؤيتنا في أنه يمكن للمستخدمين الوصول إلى مئات (أو آلاف) الأجهزة الموزعة في مناطق مختلفة على نفس الشبكة واتباع نفس قواعد البروتوكول مثل الأجهزة الأخرى. وهذا يفتح بشكل أساسي محيطًا من الخيارات لعلماء البيانات، حيث يمكنهم أن يطلبوا من الشبكة ما يلي:
حدد مجموعة بيانات من أي مكان في العالم.
الامتثال لأي هيكل حوكمة، سواء كان قانون HIPAA أو القانون العام لحماية البيانات (GDPR) أو قانون FISMA.
تشغيل بأرخص سعر ممكن.
مثلث جوان | اختصارات فك التشفير: FHE (التشفير المتماثل بالكامل)، MPC (الحوسبة متعددة الأطراف)، TEE (بيئة التنفيذ الموثوقة)، ZKP (إثبات المعرفة الصفرية)
عند الحديث عن مفهوم تعظيم الاختيار، علينا أن نذكر "مثلث جوان"، وهو مصطلح تم تقديمه في شرح مؤسس شركة Protocol Labs خوان بينيت حول سبب كون حالات الاستخدام المختلفة (في المستقبل) لها شبكات حوسبة موزعة مختلفة. .
يقترح مثلث خوان أن شبكات الحوسبة غالبا ما تتطلب مقايضة بين الخصوصية وإمكانية التحقق والأداء، ومن الصعب تطبيق النهج التقليدي "مقاس واحد يناسب الجميع" على كل حالة استخدام. وبدلاً من ذلك، فإن الطبيعة المعيارية للبروتوكولات الموزعة تمكن الشبكات الموزعة المختلفة (أو الشبكات الفرعية) من تلبية احتياجات المستخدمين المختلفة - سواء كانت الخصوصية أو إمكانية التحقق أو الأداء. وفي نهاية المطاف، نقوم بالتحسين بناءً على ما نعتقد أنه مهم. في ذلك الوقت، سيكون هناك العديد من مقدمي خدمات الأطراف (الموضحين في المربع داخل المثلث) لسد هذه الفجوات وجعل الحوسبة الموزعة حقيقة واقعة.
باختصار، تعد معالجة البيانات مشكلة معقدة تتطلب حلولًا مبتكرة. يعد استبدال الأنظمة المركزية التقليدية بحوسبة البيانات مفتوحة المصدر خطوة أولى جيدة. في النهاية، يمكن لنشر منصة حوسبة على بروتوكول موزع مثل شبكة Filecoin تكوين موارد الحوسبة بحرية وفقًا للاحتياجات الفردية للمستخدمين، وهو أمر بالغ الأهمية في عصر البيانات الضخمة والذكاء الاصطناعي.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
الغوص العميق في أهمية وإمكانات الأعمال لحوسبة البيانات الموزعة
وفقًا لمؤسسة IDC، بحلول عام 2025، ستتجاوز كمية البيانات المخزنة عالميًا 175 زيتا بايت. وهذه كمية هائلة من البيانات، تعادل 175 تريليون محرك أقراص USB محمول بسعة 1 جيجابايت. يتم إنشاء معظم هذه البيانات بين عامي 2020 و2025، بمعدل نمو سنوي مركب متوقع يبلغ 61%.
يمثل عالم البيانات سريع النمو اليوم تحديين رئيسيين:
والنتيجة المجمعة لنمو الشبكة الباهت والقيود التنظيمية هي أن ما يقرب من 68٪ من بيانات الوكالة معطلة. ولهذا السبب، من المهم بشكل خاص نقل موارد الحوسبة إلى موقع تخزين البيانات (يُطلق عليه على نطاق واسع حساب البيانات، أي "حوسبة البيانات") بدلاً من نقل البيانات إلى موقع الحوسبة. (CoD) تعمل المنصات جاهدة على هذا الأمر.
وفي الفصول التالية سنعرض بإيجاز:
الوضع الراهن
في الوقت الحالي، هناك ثلاث طرق رئيسية تتعامل بها المؤسسات مع تحديات معالجة البيانات، ولا تعتبر أي منها مثالية.
استخدم نظامًا مركزيًا
النهج الأكثر شيوعًا هو استخدام الأنظمة المركزية لمعالجة البيانات على نطاق واسع. غالبًا ما نرى مؤسسات تجمع بين أطر عمل الحوسبة مثل Adobe Spark وHadoop وDatabricks وKubernetes وKafka وRay وما إلى ذلك لتشكيل شبكة من الأنظمة المجمعة المتصلة بخادم API مركزي. ومع ذلك، فإن هذه الأنظمة لا تعالج بشكل فعال انتهاكات الشبكة والقضايا التنظيمية الأخرى المحيطة بتنقل البيانات.
وهذا مسؤول جزئيًا عن تكبد الوكالات مليارات الدولارات من الغرامات والعقوبات الإدارية بسبب انتهاكات البيانات.
قم ببنائها بنفسك
هناك نهج آخر يتمثل في قيام المطورين ببناء أنظمة تنسيق مخصصة تتمتع بالوعي والقوة التي تحتاجها المؤسسات. يعد هذا النهج جديدًا، ولكنه غالبًا ما يكون معرضًا لخطر الفشل بسبب الاعتماد المفرط على عدد صغير من الأشخاص لصيانة النظام وتشغيله.
لا شيء لأفعله
ومن المثير للدهشة، في أغلب الأحيان، أن المؤسسات لا تفعل شيئًا بشأن بياناتها. على سبيل المثال، يمكن لمدينة ما جمع كمية كبيرة من البيانات من مقاطع فيديو المراقبة كل يوم، ولكن نظرًا للتكلفة العالية، لا يمكن عرض هذه البيانات إلا على جهاز محلي ولا يمكن أرشفتها أو معالجتها.
بناء حوسبة موزعة حقيقية
هناك حلان رئيسيان لنقاط الضعف في معالجة البيانات.
الحل 1: البناء على منصة حوسبة البيانات مفتوحة المصدر
الحل 1: منصة حوسبة البيانات مفتوحة المصدر
يمكن للمطورين استخدام منصة بيانات موزعة مفتوحة المصدر للحساب بدلاً من نظام التنسيق المخصص المذكور سابقًا. نظرًا لأن النظام الأساسي مفتوح المصدر وقابل للتوسيع، تحتاج الوكالات فقط إلى بناء المكونات التي تحتاجها. يمكن أن يلبي هذا الإعداد سيناريوهات التطبيقات متعددة السحابات ومتعددة الحوسبة وغير المتعلقة بمركز البيانات والتنقل في البيئات التنظيمية المعقدة. والأهم من ذلك، أن الوصول إلى مجتمع المصادر المفتوحة لم يعد يعتمد على مطور واحد أو أكثر لصيانة النظام، مما يقلل من احتمالية الفشل.
الحل 2: البناء على بروتوكول البيانات الموزع
بمساعدة مشاريع الحوسبة المتقدمة مثل Bacalhau وLilypad، يمكن للمطورين المضي قدمًا وبناء أنظمة ليس فقط على منصات البيانات مفتوحة المصدر المذكورة في الحل 1، ولكن أيضًا على بروتوكولات البيانات الموزعة بالفعل مثل شبكة Filecoin.
الحل 2: بروتوكول حوسبة البيانات الموزعة
وهذا يعني أن المؤسسات يمكنها استخدام البروتوكولات الموزعة التي تفهم كيفية تنسيق ووصف مشاكل المستخدم بطريقة أكثر دقة، مما يفتح مجالات الحوسبة القريبة من مكان إنشاء البيانات وتخزينها. يمكن إجراء هذا التحول من مراكز البيانات إلى البروتوكولات الموزعة بشكل مثالي مع تغييرات طفيفة فقط في تجربة عالم البيانات.
الموزع يعني تعظيم الاختيار
من خلال النشر على بروتوكول موزع مثل شبكة Filecoin، تتمثل رؤيتنا في أنه يمكن للمستخدمين الوصول إلى مئات (أو آلاف) الأجهزة الموزعة في مناطق مختلفة على نفس الشبكة واتباع نفس قواعد البروتوكول مثل الأجهزة الأخرى. وهذا يفتح بشكل أساسي محيطًا من الخيارات لعلماء البيانات، حيث يمكنهم أن يطلبوا من الشبكة ما يلي:
مثلث جوان | اختصارات فك التشفير: FHE (التشفير المتماثل بالكامل)، MPC (الحوسبة متعددة الأطراف)، TEE (بيئة التنفيذ الموثوقة)، ZKP (إثبات المعرفة الصفرية)
عند الحديث عن مفهوم تعظيم الاختيار، علينا أن نذكر "مثلث جوان"، وهو مصطلح تم تقديمه في شرح مؤسس شركة Protocol Labs خوان بينيت حول سبب كون حالات الاستخدام المختلفة (في المستقبل) لها شبكات حوسبة موزعة مختلفة. .
يقترح مثلث خوان أن شبكات الحوسبة غالبا ما تتطلب مقايضة بين الخصوصية وإمكانية التحقق والأداء، ومن الصعب تطبيق النهج التقليدي "مقاس واحد يناسب الجميع" على كل حالة استخدام. وبدلاً من ذلك، فإن الطبيعة المعيارية للبروتوكولات الموزعة تمكن الشبكات الموزعة المختلفة (أو الشبكات الفرعية) من تلبية احتياجات المستخدمين المختلفة - سواء كانت الخصوصية أو إمكانية التحقق أو الأداء. وفي نهاية المطاف، نقوم بالتحسين بناءً على ما نعتقد أنه مهم. في ذلك الوقت، سيكون هناك العديد من مقدمي خدمات الأطراف (الموضحين في المربع داخل المثلث) لسد هذه الفجوات وجعل الحوسبة الموزعة حقيقة واقعة.
باختصار، تعد معالجة البيانات مشكلة معقدة تتطلب حلولًا مبتكرة. يعد استبدال الأنظمة المركزية التقليدية بحوسبة البيانات مفتوحة المصدر خطوة أولى جيدة. في النهاية، يمكن لنشر منصة حوسبة على بروتوكول موزع مثل شبكة Filecoin تكوين موارد الحوسبة بحرية وفقًا للاحتياجات الفردية للمستخدمين، وهو أمر بالغ الأهمية في عصر البيانات الضخمة والذكاء الاصطناعي.