مصدر الصورة: تم إنشاؤه بواسطة الذكاء الاصطناعي غير محدود
يعد أمان الذكاء الاصطناعي النماذج مهما جدا لكل من شركات التطبيقات الذكاء الاصطناعي والمستخدمين والعملاء الذين يستخدمون تطبيقات الذكاء الاصطناعي. بالنسبة للشركات الذكاء الاصطناعي ، مع حماية أمان النماذج الذكاء الاصطناعي ، يجدر أيضا الانتباه إلى القدرة على حماية البيانات والخوارزميات الأصلية من التسرب مع عدم زيادة تكاليف العمل غير الضرورية.
قامت شركة تسمى HiddenLayer ببناء نظام أساسي شامل للأمان يوفر أمانا الذكاء الاصطناعي التوصيل والتشغيل دون إضافة تعقيد غير ضروري على مستوى الطراز الذكاء الاصطناعي أو الوصول إلى البيانات والخوارزميات الأولية.
وفي الآونة الأخيرة، تلقت الشركة جولة بقيمة 50 مليون دولار من السلسلة "أ" بقيادة "إم 12" و"مور ستراتيجيك فينتشرز"، بمشاركة "بوز ألن فنتشرز" و"آي بي إم فنتشرز" و"كابيتال وان فنتشرز" و"تن إليفن فنتشرز" (التي قادت جولتها التمويلية)، وهي أكبر جولة تمويل من الفئة "أ" في مجال الأمن الذكاء الاصطناعي حتى الآن.
ساعدت HiddenLayer في حماية نماذج الذكاء الاصطناعي / ML المستخدمة من قبل العديد من شركات Fortune 100 في مجالات مثل التمويل والأمن السيبراني.
كما أقامت شراكات استراتيجية مع إنتل وداتا بريكس، وحصلت على جوائز مثل الشركة الناشئة الأكثر ابتكارا من RSAC والشركة الناشئة الواعدة في المرحلة المبكرة من SC Media. وقد ضاعفت الشركة قوتها العاملة أربع مرات تقريبا في العام الماضي وتخطط لزيادة قوتها العاملة من 50 إلى 90 بحلول نهاية هذا العام، والاستثمار بشكل أكبر في البحث والتطوير.
بعد مواجهة هجمات ضد الذكاء الاصطناعي ، يرى رواد الأعمال المتسلسلون فرصة
وفقا لشركة Gartner ، عانت اثنتان من أصل خمس مؤسسات في جميع الهجمات الإلكترونية الذكاء الاصطناعي في عام 2022 من انتهاكات الذكاء الاصطناعي للخصوصية أو حوادث أمنية ، وكان ربع هذه الهجمات ضارا.
كما تحذر وكالة الأمن السيبراني في المملكة المتحدة ، المركز الوطني للأمن السيبراني ، من أن "المهاجمين يهاجمون روبوتات الدردشة ذات اللغة الكبيرة مثل ChatGPT للوصول إلى المعلومات السرية ، وإنشاء محتوى مسيء و" يؤدي إلى عواقب غير مقصودة. "
في دراسة أجرتها Forrester بتكليف من HiddenLayer ، كان 86 بالمائة من الأشخاص "قلقين للغاية أو قلقين" بشأن أمان نماذج التعلم الآلي لمؤسساتهم.
وقالت غالبية الشركات المستجيبة إنها تعتمد حاليا على العمليات اليدوية لمواجهة تهديدات النماذج الذكاء الاصطناعي، ويتوقع 80٪ من المشاركين الاستثمار في حل يدير سلامة وأمن نماذج التعلم الآلي في الأشهر ال 12 المقبلة.
يعتبر الأمن السيبراني تقنيا ومتخصصا بشكل خاص مقارنة بالمجالات الأخرى ، حيث من المتوقع أن يصل سوق الأمن السيبراني العالمي إلى 403 مليار دولار بحلول عام 2027 ، بمعدل نمو سنوي مركب قدره 12.5٪ من 2020 إلى 2027 ، وفقا لبحث سابق أجرته مجلة Fortune.
شارك في تأسيس HiddenLayer كريستوفر سيستيتو (الرئيس التنفيذي) وتانر بيرنز (كبير العلماء) وجيمس بالارد (CIO). كانوا في شركتهم السابقة ، Cylance ، وهي شركة أمنية ناشئة استحوذت عليها BlackBerry. جاءت الفكرة بعد هجوم إلكتروني على نموذج الذكاء الاصطناعي.
يتذكر كريس سيستيتو ، الرئيس التنفيذي والمؤسس المشارك لشركة HiddenLayer ، "بعد أن تعرضت نماذج التعلم الآلي التي قمنا بتأمينها للهجوم مباشرة من خلال منتجاتنا ، قدنا جهود الإنقاذ وأدركنا أن هذه ستكون مشكلة كبيرة لأي مؤسسة تنشر نماذج التعلم الآلي في منتجاتنا. قررنا إنشاء HiddenLayer لتثقيف الشركات حول هذا التهديد الكبير ومساعدتهم على الدفاع ضد الهجمات. "
قاد سيستيتو أبحاث التهديدات في Cylance ، وكان بالارد رئيس فريق تنظيم البيانات في Cylance ، وكان بيرنز باحثا في التهديدات.
كريس سيستيتو على فرصة السوق قائلا: "نحن نعلم أن كل شركة تقريبا تستخدم الآن الذكاء الاصطناعي بأشكال عديدة، لكننا نعلم أيضا أنه لا توجد تقنية أخرى حققت مثل هذا الاعتماد الواسع النطاق دون أمان. نحن ملتزمون بإنشاء الحلول الأمنية الأكثر احتكاكا في السوق للعملاء الذين يلبون هذه الحاجة غير الملباة. "
وتعليقا على التكنولوجيا، قال كريس سيستيتو: "يعتمد العديد من علماء البيانات على نماذج التعلم الآلي المدربة مسبقا أو مفتوحة المصدر أو المسجلة الملكية لتقليل وقت التحليل وتبسيط الاختبار، ثم استخلاص رؤى من مجموعات البيانات المعقدة. من المحتمل أن يؤدي استخدام النماذج مفتوحة المصدر المدربة مسبقا المتاحة للجمهور إلى تعريض المؤسسات لنقل هجمات التعلم من العبث بالنماذج المتاحة للجمهور.
توفر منصتنا أدوات لحماية النماذج الذكاء الاصطناعي من الهجمات العدائية ونقاط الضعف وحقن التعليمات البرمجية الضارة. يراقب مدخلات ومخرجات أنظمة الذكاء الاصطناعي لاختبار سلامة النماذج قبل النشر. يستخدم تقنيات لمراقبة مدخلات النماذج والمتجهات (أو التمثيلات الرياضية) فقط للمخرجات التي تنتجها ، دون الحاجة إلى الوصول إلى نماذجها الخاصة. "
وقال تود جراهام ، الشريك الإداري لشركة M12: "مستوحاة من تجربتهم الخاصة مع هجمات الذكاء الاصطناعي العدائية ، قام مؤسسو HiddenLayer ببناء منصة ضرورية لأي عمل باستخدام تقنيات الذكاء الاصطناعي و ML.
إن تجربتهم المباشرة مع هذه الهجمات ، جنبا إلى جنب مع رؤيتهم ونهجهم الجديد ، تجعل الشركة الحل الأمثل لتأمين هذه النماذج. منذ الاجتماع الأول مع المؤسسين ، علمنا أن هذه كانت فكرة كبيرة في مجال الأمن وأردنا مساعدتهم على التوسع. "
بناء منصة MLSec تحمي أمن الذكاء الاصطناعي بشكل شامل
يعد المنتج الرئيسي لشركة HiddenLayer ، وهو النظام الأساسي الأمني لاكتشاف ومنع الهجمات الإلكترونية على الأنظمة القائمة على التعلم الآلي (MLSec) ، أول حل MLDR (اكتشاف التعلم الآلي والاستجابة له) في الصناعة يحمي المؤسسات وعملائها من نواقل الهجوم الناشئة.
تتكون منصة MLSec من HiddenLayer MLDR و ModelScanner وتقارير تدقيق الأمان.
تأتي منصة MLSec من HiddenLayer مع لوحة تحكم بسيطة ولكنها قوية تسمح لمديري الأمن بمعرفة ما إذا كانت نماذج ML / الذكاء الاصطناعي الخاصة بمؤسساتهم في حالة آمنة. كما أنه يعطي الأولوية تلقائيا لمشكلات الأمان والتنبيهات بناء على خطورتها ، ويخزن البيانات للامتثال والتدقيق وإعداد التقارير التي قد يطلب من المؤسسة القيام بها.
يتخذ حل MLDR الخاص بها نهجا قائما على التعلم الآلي لتحليل مليارات التفاعلات النموذجية كل دقيقة لتحديد النشاط الضار دون الوصول إلى نموذج ML الخاص بالمستخدم أو بيانات التدريب الحساسة أو المعرفة المسبقة به. إنه قادر على اكتشاف الهجمات ضد نماذج ML والاستجابة لها ، وحماية الملكية الفكرية والأسرار التجارية من السرقة أو العبث ، مما يضمن عدم تعرض المستخدمين للهجوم.
تقدم HiddenLayer أيضا خدمات استشارية لفرق من خبراء التعلم الآلي العدائي (AML) الذين يمكنهم إجراء تقييمات للتهديدات ، وتدريب موظفي الأمن السيبراني للعملاء و DevOps ، وإجراء تدريبات "الفريق الأحمر" لضمان عمل دفاعات العملاء على النحو المنشود.
** أنواع الهجمات التي يمكن لمنصة MLSec الخاصة ب HiddenLayer الحماية منها **
الاستدلال / الاستخراج: تتضمن هجمات الاستخراج قيام المهاجمين بمعالجة مدخلات النموذج وتحليل المخرجات واستنتاج حدود القرار لإعادة بناء بيانات التدريب أو استخراج معلمات النموذج أو تنفيذ سرقة النموذج عن طريق تدريب نموذج بديل يقارب الهدف.
استخراج بيانات التدريب: يمكن للمهاجم تنفيذ هجوم استدلال العضو ببساطة عن طريق مراقبة مخرجاته دون الوصول إلى معلمات نموذج التعلم الآلي. عندما يتم تدريب النموذج المستهدف على معلومات حساسة ، يمكن أن يثير استدلال الأعضاء مخاوف تتعلق بالأمان والخصوصية.
تسمم البيانات: يحدث التسمم عندما يقوم المهاجم بحقن بيانات جديدة معدلة خصيصا في مجموعة التدريب. يؤدي هذا إلى خداع نماذج التعلم الآلي أو تخريبها لتقديم نتائج غير دقيقة أو متحيزة أو ضارة.
حقن النموذج: حقن النموذج هو تقنية تعتمد على تعديل نموذج التعلم الآلي عن طريق إدخال وحدة ضارة تقدم بعض السلوك السري أو الضار أو غير المرغوب فيه.
اختطاف النموذج: يمكن لهذا الهجوم حقن تعليمات برمجية ضارة في نموذج PyTorch الحالي ، والذي يقوم باستخراج جميع الملفات الموجودة في الدليل الحالي إلى خادم بعيد.
**يوفر HiddenLayer الخدمات المحددة التالية **
نمذجة التهديدات: تقييم بيئة الذكاء الاصطناعي / ML الشاملة ومخاطر الأصول من خلال مقابلات الاكتشاف والمناقشات القائمة على السيناريو.
تقييم مخاطر غسل الأموال: إجراء تحليل مفصل لدورة حياة عمليات الذكاء الاصطناعي للعميل والتعمق في نماذج الذكاء الاصطناعي الأكثر أهمية للعميل لتحديد المخاطر التي تتعرض لها المؤسسة من استثمارات الذكاء الاصطناعي / ML الحالية ، بالإضافة إلى الجهود و / أو الضوابط المطلوبة للتحسين.
تدريب الخبراء: يوفر تدريبا ليوم كامل لفرق علوم البيانات والأمن لمساعدتهم على الحصول على الحماية ضد هذه الهجمات والتهديدات ضد الذكاء الاصطناعي.
تقييم الفريق الأحمر: سيقوم فريق أبحاث التعلم الآلي العدائي (AMLR) بمحاكاة هجوم المهاجم لتقييم الدفاعات الحالية وتصحيح نقاط الضعف.
فحص نموذج الذكاء الاصطناعي/ML: استخدم ماسح تكامل نموذج HiddenLayer لاختبار نماذج الذكاء الاصطناعي/التعلم الآلي الحالية والتحقق من صحتها ضد التهديدات (مثل البرامج الضارة) والعبث.
خدمات تنفيذ الكشف عن MLDR والاستجابة له (MLDR) :*تنفيذ ودمج منتجات MLDR من HiddenLayer بخبرة في بيئات الذكاء الاصطناعي / ML ، مما يمنح فرق علوم البيانات والأمن القدرات والرؤية التي يحتاجون إليها لمنع الهجمات وتحسين أوقات الاستجابة وزيادة فعالية النموذج إلى أقصى حد.
التعاون مع عمالقة لتعزيز البناء البيئي
بالإضافة إلى بناء المنتجات والأنظمة الأساسية ، لدى HiddenLayer أيضا شركاء أقوياء ، لدى Databricks شراكة لجعل منصة MLSec متاحة لمستخدمي المؤسسات الذين ينشرون نماذج الذكاء الاصطناعي في بحيرات بيانات Databricks. هذا يبني الأمان في الذكاء الاصطناعي من مستوى بحيرة البيانات.
من خلال التعاون الاستراتيجي مع Intel ، يتم الجمع بين الحوسبة السرية على Intel SGX والماسح الضوئي لنموذج التعلم الآلي HiddenLayer لتوفير حل الذكاء الاصطناعي أمني متكامل للأجهزة والبرمجيات.
جعل هذان التعاون الاستراتيجيان النظام البيئي الكامل ل HiddenLayer أكثر اكتمالا ، كما فاز لصالح العملاء ، الذين حصلوا على العديد من العملاء الكبار في مجالات التمويل والحكومة.
دخلت الذكاء الاصطناعي المرحلة العملية وظهرت فرص الذكاء الاصطناعي آمنة لريادة الأعمال
الأمن من أجل الذكاء الاصطناعي ، وخاصة على مستوى النموذج ، هو بالفعل حاجة أكيدة ، وقد تلقت Protect الذكاء الاصطناعي ، المتخصصة في أمن نموذج الذكاء الاصطناعي ، سابقا جولة تمويل من السلسلة A بقيمة 35 مليون دولار بقيادة Evolution Equity Partners و Salesforce Ventures.
وفقا ل Sestito ، مؤسس HiddenLayer ، مع نمو سوق الذكاء الاصطناعي ، سينمو سوق الأمن الذكاء الاصطناعي في وقت واحد ، بالإضافة إلى Protect الذكاء الاصطناعي و HiddenLayer ، تعمل شركات مثل Robust Intelligence و CalypsoAI و Halcyon و Troj.ai أيضا في مجال الأمن الذكاء الاصطناعي.
على سبيل المثال ، استثمرت Ten Eleven Ventures ، وهي مستثمر مبكر في HiddenLayer ، في جولة تأسيسية بقيمة 20 مليون دولار من Halcyon ، وهي شركة تركز على أدوات الدفاع عن برامج الفدية الذكاء الاصطناعي التي تساعد مستخدمي برامج الذكاء الاصطناعي على منع الهجمات والتعافي منها بسرعة.
مع انتقال هذه الموجة من الذكاء الاصطناعي من مرحلة الضجيج المفاهيمي إلى مرحلة التطبيق الفعلي ، من ريادة الأعمال ذات النماذج الكبيرة إلى ريادة الأعمال الذكاء الاصطناعي التطبيقات ، أصبحت سلامة الذكاء الاصطناعي أكثر أهمية. سواء كان الأمر يتعلق بضمان أمن النماذج الذكاء الاصطناعي أو حماية أمن التطبيقات الذكاء الاصطناعي ، فإن تطوير أمن الذكاء الاصطناعي يمكن أن يزيد من تعميق تغلغل الذكاء الاصطناعي في جانب ToC وجانب المؤسسة.
يوجد بالفعل عدد كبير من الشركات الناشئة الأمنية الذكاء الاصطناعي في الخارج ، وفي السوق الصينية ، يوجد نفس الطلب أيضا ، ونتوقع أن يتحرك رواد الأعمال المحليون المتميزون نحو هذا المجال المهم لريادة الأعمال.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
لحماية أمن الذكاء الاصطناعي بشكل كامل ، تلقت HiddenLayer 50 مليون دولار في تمويل من السلسلة أ
المصدر الأصلي: ألفا كومونة
يعد أمان الذكاء الاصطناعي النماذج مهما جدا لكل من شركات التطبيقات الذكاء الاصطناعي والمستخدمين والعملاء الذين يستخدمون تطبيقات الذكاء الاصطناعي. بالنسبة للشركات الذكاء الاصطناعي ، مع حماية أمان النماذج الذكاء الاصطناعي ، يجدر أيضا الانتباه إلى القدرة على حماية البيانات والخوارزميات الأصلية من التسرب مع عدم زيادة تكاليف العمل غير الضرورية.
قامت شركة تسمى HiddenLayer ببناء نظام أساسي شامل للأمان يوفر أمانا الذكاء الاصطناعي التوصيل والتشغيل دون إضافة تعقيد غير ضروري على مستوى الطراز الذكاء الاصطناعي أو الوصول إلى البيانات والخوارزميات الأولية.
وفي الآونة الأخيرة، تلقت الشركة جولة بقيمة 50 مليون دولار من السلسلة "أ" بقيادة "إم 12" و"مور ستراتيجيك فينتشرز"، بمشاركة "بوز ألن فنتشرز" و"آي بي إم فنتشرز" و"كابيتال وان فنتشرز" و"تن إليفن فنتشرز" (التي قادت جولتها التمويلية)، وهي أكبر جولة تمويل من الفئة "أ" في مجال الأمن الذكاء الاصطناعي حتى الآن.
ساعدت HiddenLayer في حماية نماذج الذكاء الاصطناعي / ML المستخدمة من قبل العديد من شركات Fortune 100 في مجالات مثل التمويل والأمن السيبراني.
كما أقامت شراكات استراتيجية مع إنتل وداتا بريكس، وحصلت على جوائز مثل الشركة الناشئة الأكثر ابتكارا من RSAC والشركة الناشئة الواعدة في المرحلة المبكرة من SC Media. وقد ضاعفت الشركة قوتها العاملة أربع مرات تقريبا في العام الماضي وتخطط لزيادة قوتها العاملة من 50 إلى 90 بحلول نهاية هذا العام، والاستثمار بشكل أكبر في البحث والتطوير.
بعد مواجهة هجمات ضد الذكاء الاصطناعي ، يرى رواد الأعمال المتسلسلون فرصة
وفقا لشركة Gartner ، عانت اثنتان من أصل خمس مؤسسات في جميع الهجمات الإلكترونية الذكاء الاصطناعي في عام 2022 من انتهاكات الذكاء الاصطناعي للخصوصية أو حوادث أمنية ، وكان ربع هذه الهجمات ضارا.
كما تحذر وكالة الأمن السيبراني في المملكة المتحدة ، المركز الوطني للأمن السيبراني ، من أن "المهاجمين يهاجمون روبوتات الدردشة ذات اللغة الكبيرة مثل ChatGPT للوصول إلى المعلومات السرية ، وإنشاء محتوى مسيء و" يؤدي إلى عواقب غير مقصودة. "
في دراسة أجرتها Forrester بتكليف من HiddenLayer ، كان 86 بالمائة من الأشخاص "قلقين للغاية أو قلقين" بشأن أمان نماذج التعلم الآلي لمؤسساتهم.
وقالت غالبية الشركات المستجيبة إنها تعتمد حاليا على العمليات اليدوية لمواجهة تهديدات النماذج الذكاء الاصطناعي، ويتوقع 80٪ من المشاركين الاستثمار في حل يدير سلامة وأمن نماذج التعلم الآلي في الأشهر ال 12 المقبلة.
يعتبر الأمن السيبراني تقنيا ومتخصصا بشكل خاص مقارنة بالمجالات الأخرى ، حيث من المتوقع أن يصل سوق الأمن السيبراني العالمي إلى 403 مليار دولار بحلول عام 2027 ، بمعدل نمو سنوي مركب قدره 12.5٪ من 2020 إلى 2027 ، وفقا لبحث سابق أجرته مجلة Fortune.
يتذكر كريس سيستيتو ، الرئيس التنفيذي والمؤسس المشارك لشركة HiddenLayer ، "بعد أن تعرضت نماذج التعلم الآلي التي قمنا بتأمينها للهجوم مباشرة من خلال منتجاتنا ، قدنا جهود الإنقاذ وأدركنا أن هذه ستكون مشكلة كبيرة لأي مؤسسة تنشر نماذج التعلم الآلي في منتجاتنا. قررنا إنشاء HiddenLayer لتثقيف الشركات حول هذا التهديد الكبير ومساعدتهم على الدفاع ضد الهجمات. "
قاد سيستيتو أبحاث التهديدات في Cylance ، وكان بالارد رئيس فريق تنظيم البيانات في Cylance ، وكان بيرنز باحثا في التهديدات.
كريس سيستيتو على فرصة السوق قائلا: "نحن نعلم أن كل شركة تقريبا تستخدم الآن الذكاء الاصطناعي بأشكال عديدة، لكننا نعلم أيضا أنه لا توجد تقنية أخرى حققت مثل هذا الاعتماد الواسع النطاق دون أمان. نحن ملتزمون بإنشاء الحلول الأمنية الأكثر احتكاكا في السوق للعملاء الذين يلبون هذه الحاجة غير الملباة. "
وتعليقا على التكنولوجيا، قال كريس سيستيتو: "يعتمد العديد من علماء البيانات على نماذج التعلم الآلي المدربة مسبقا أو مفتوحة المصدر أو المسجلة الملكية لتقليل وقت التحليل وتبسيط الاختبار، ثم استخلاص رؤى من مجموعات البيانات المعقدة. من المحتمل أن يؤدي استخدام النماذج مفتوحة المصدر المدربة مسبقا المتاحة للجمهور إلى تعريض المؤسسات لنقل هجمات التعلم من العبث بالنماذج المتاحة للجمهور.
توفر منصتنا أدوات لحماية النماذج الذكاء الاصطناعي من الهجمات العدائية ونقاط الضعف وحقن التعليمات البرمجية الضارة. يراقب مدخلات ومخرجات أنظمة الذكاء الاصطناعي لاختبار سلامة النماذج قبل النشر. يستخدم تقنيات لمراقبة مدخلات النماذج والمتجهات (أو التمثيلات الرياضية) فقط للمخرجات التي تنتجها ، دون الحاجة إلى الوصول إلى نماذجها الخاصة. "
وقال تود جراهام ، الشريك الإداري لشركة M12: "مستوحاة من تجربتهم الخاصة مع هجمات الذكاء الاصطناعي العدائية ، قام مؤسسو HiddenLayer ببناء منصة ضرورية لأي عمل باستخدام تقنيات الذكاء الاصطناعي و ML.
إن تجربتهم المباشرة مع هذه الهجمات ، جنبا إلى جنب مع رؤيتهم ونهجهم الجديد ، تجعل الشركة الحل الأمثل لتأمين هذه النماذج. منذ الاجتماع الأول مع المؤسسين ، علمنا أن هذه كانت فكرة كبيرة في مجال الأمن وأردنا مساعدتهم على التوسع. "
بناء منصة MLSec تحمي أمن الذكاء الاصطناعي بشكل شامل
يعد المنتج الرئيسي لشركة HiddenLayer ، وهو النظام الأساسي الأمني لاكتشاف ومنع الهجمات الإلكترونية على الأنظمة القائمة على التعلم الآلي (MLSec) ، أول حل MLDR (اكتشاف التعلم الآلي والاستجابة له) في الصناعة يحمي المؤسسات وعملائها من نواقل الهجوم الناشئة.
تتكون منصة MLSec من HiddenLayer MLDR و ModelScanner وتقارير تدقيق الأمان.
يتخذ حل MLDR الخاص بها نهجا قائما على التعلم الآلي لتحليل مليارات التفاعلات النموذجية كل دقيقة لتحديد النشاط الضار دون الوصول إلى نموذج ML الخاص بالمستخدم أو بيانات التدريب الحساسة أو المعرفة المسبقة به. إنه قادر على اكتشاف الهجمات ضد نماذج ML والاستجابة لها ، وحماية الملكية الفكرية والأسرار التجارية من السرقة أو العبث ، مما يضمن عدم تعرض المستخدمين للهجوم.
تقدم HiddenLayer أيضا خدمات استشارية لفرق من خبراء التعلم الآلي العدائي (AML) الذين يمكنهم إجراء تقييمات للتهديدات ، وتدريب موظفي الأمن السيبراني للعملاء و DevOps ، وإجراء تدريبات "الفريق الأحمر" لضمان عمل دفاعات العملاء على النحو المنشود.
** أنواع الهجمات التي يمكن لمنصة MLSec الخاصة ب HiddenLayer الحماية منها **
الاستدلال / الاستخراج: تتضمن هجمات الاستخراج قيام المهاجمين بمعالجة مدخلات النموذج وتحليل المخرجات واستنتاج حدود القرار لإعادة بناء بيانات التدريب أو استخراج معلمات النموذج أو تنفيذ سرقة النموذج عن طريق تدريب نموذج بديل يقارب الهدف.
سرقة نماذج التعلم الآلي: يسرق المهاجمون ثمار أطر التعلم الآلي باهظة الثمن.
استخراج بيانات التدريب: يمكن للمهاجم تنفيذ هجوم استدلال العضو ببساطة عن طريق مراقبة مخرجاته دون الوصول إلى معلمات نموذج التعلم الآلي. عندما يتم تدريب النموذج المستهدف على معلومات حساسة ، يمكن أن يثير استدلال الأعضاء مخاوف تتعلق بالأمان والخصوصية.
تسمم البيانات: يحدث التسمم عندما يقوم المهاجم بحقن بيانات جديدة معدلة خصيصا في مجموعة التدريب. يؤدي هذا إلى خداع نماذج التعلم الآلي أو تخريبها لتقديم نتائج غير دقيقة أو متحيزة أو ضارة.
حقن النموذج: حقن النموذج هو تقنية تعتمد على تعديل نموذج التعلم الآلي عن طريق إدخال وحدة ضارة تقدم بعض السلوك السري أو الضار أو غير المرغوب فيه.
اختطاف النموذج: يمكن لهذا الهجوم حقن تعليمات برمجية ضارة في نموذج PyTorch الحالي ، والذي يقوم باستخراج جميع الملفات الموجودة في الدليل الحالي إلى خادم بعيد.
**يوفر HiddenLayer الخدمات المحددة التالية **
نمذجة التهديدات: تقييم بيئة الذكاء الاصطناعي / ML الشاملة ومخاطر الأصول من خلال مقابلات الاكتشاف والمناقشات القائمة على السيناريو.
تقييم مخاطر غسل الأموال: إجراء تحليل مفصل لدورة حياة عمليات الذكاء الاصطناعي للعميل والتعمق في نماذج الذكاء الاصطناعي الأكثر أهمية للعميل لتحديد المخاطر التي تتعرض لها المؤسسة من استثمارات الذكاء الاصطناعي / ML الحالية ، بالإضافة إلى الجهود و / أو الضوابط المطلوبة للتحسين.
تدريب الخبراء: يوفر تدريبا ليوم كامل لفرق علوم البيانات والأمن لمساعدتهم على الحصول على الحماية ضد هذه الهجمات والتهديدات ضد الذكاء الاصطناعي.
تقييم الفريق الأحمر: سيقوم فريق أبحاث التعلم الآلي العدائي (AMLR) بمحاكاة هجوم المهاجم لتقييم الدفاعات الحالية وتصحيح نقاط الضعف.
فحص نموذج الذكاء الاصطناعي/ML: استخدم ماسح تكامل نموذج HiddenLayer لاختبار نماذج الذكاء الاصطناعي/التعلم الآلي الحالية والتحقق من صحتها ضد التهديدات (مثل البرامج الضارة) والعبث.
خدمات تنفيذ الكشف عن MLDR والاستجابة له (MLDR) :*تنفيذ ودمج منتجات MLDR من HiddenLayer بخبرة في بيئات الذكاء الاصطناعي / ML ، مما يمنح فرق علوم البيانات والأمن القدرات والرؤية التي يحتاجون إليها لمنع الهجمات وتحسين أوقات الاستجابة وزيادة فعالية النموذج إلى أقصى حد.
التعاون مع عمالقة لتعزيز البناء البيئي
بالإضافة إلى بناء المنتجات والأنظمة الأساسية ، لدى HiddenLayer أيضا شركاء أقوياء ، لدى Databricks شراكة لجعل منصة MLSec متاحة لمستخدمي المؤسسات الذين ينشرون نماذج الذكاء الاصطناعي في بحيرات بيانات Databricks. هذا يبني الأمان في الذكاء الاصطناعي من مستوى بحيرة البيانات.
جعل هذان التعاون الاستراتيجيان النظام البيئي الكامل ل HiddenLayer أكثر اكتمالا ، كما فاز لصالح العملاء ، الذين حصلوا على العديد من العملاء الكبار في مجالات التمويل والحكومة.
دخلت الذكاء الاصطناعي المرحلة العملية وظهرت فرص الذكاء الاصطناعي آمنة لريادة الأعمال
الأمن من أجل الذكاء الاصطناعي ، وخاصة على مستوى النموذج ، هو بالفعل حاجة أكيدة ، وقد تلقت Protect الذكاء الاصطناعي ، المتخصصة في أمن نموذج الذكاء الاصطناعي ، سابقا جولة تمويل من السلسلة A بقيمة 35 مليون دولار بقيادة Evolution Equity Partners و Salesforce Ventures.
وفقا ل Sestito ، مؤسس HiddenLayer ، مع نمو سوق الذكاء الاصطناعي ، سينمو سوق الأمن الذكاء الاصطناعي في وقت واحد ، بالإضافة إلى Protect الذكاء الاصطناعي و HiddenLayer ، تعمل شركات مثل Robust Intelligence و CalypsoAI و Halcyon و Troj.ai أيضا في مجال الأمن الذكاء الاصطناعي.
على سبيل المثال ، استثمرت Ten Eleven Ventures ، وهي مستثمر مبكر في HiddenLayer ، في جولة تأسيسية بقيمة 20 مليون دولار من Halcyon ، وهي شركة تركز على أدوات الدفاع عن برامج الفدية الذكاء الاصطناعي التي تساعد مستخدمي برامج الذكاء الاصطناعي على منع الهجمات والتعافي منها بسرعة.
مع انتقال هذه الموجة من الذكاء الاصطناعي من مرحلة الضجيج المفاهيمي إلى مرحلة التطبيق الفعلي ، من ريادة الأعمال ذات النماذج الكبيرة إلى ريادة الأعمال الذكاء الاصطناعي التطبيقات ، أصبحت سلامة الذكاء الاصطناعي أكثر أهمية. سواء كان الأمر يتعلق بضمان أمن النماذج الذكاء الاصطناعي أو حماية أمن التطبيقات الذكاء الاصطناعي ، فإن تطوير أمن الذكاء الاصطناعي يمكن أن يزيد من تعميق تغلغل الذكاء الاصطناعي في جانب ToC وجانب المؤسسة.
يوجد بالفعل عدد كبير من الشركات الناشئة الأمنية الذكاء الاصطناعي في الخارج ، وفي السوق الصينية ، يوجد نفس الطلب أيضا ، ونتوقع أن يتحرك رواد الأعمال المحليون المتميزون نحو هذا المجال المهم لريادة الأعمال.