Безпека моделей штучного інтелекту дуже важлива як для компаній, що займаються застосуванням штучного інтелекту, так і для користувачів і клієнтів, які використовують програми штучного інтелекту. Для компаній, що займаються штучним інтелектом, захищаючи безпеку моделей штучного інтелекту, також варто звернути увагу на можливість захистити вихідні дані та алгоритми від витоку, не збільшуючи при цьому зайвих витрат на роботу.
Компанія під назвою HiddenLayer створила комплексну платформу безпеки, яка забезпечує безпеку штучного інтелекту за принципом plug-and-play, не додаючи зайвої складності на рівні моделі ШІ та не отримуючи доступу до необроблених даних та алгоритмів.
Нещодавно компанія отримала раунд серії А на суму 50 мільйонів доларів США під керівництвом M12 і Moore Strategic Ventures за участю Booz Allen Ventures, IBM Ventures, Capital One Ventures і Ten Eleven Ventures (яка очолила свій початковий раунд), що є найбільшим раундом фінансування серії А в галузі безпеки штучного інтелекту на сьогоднішній день.
HiddenLayer допоміг захистити моделі AI/ML, які використовуються кількома компаніями зі списку Fortune 100 у таких сферах, як фінанси та кібербезпека.
Він також сформував стратегічні партнерські відносини з Intel і Databricks, отримавши такі нагороди, як «Найбільш інноваційний стартап» RSAC і «Найперспективніший стартап на ранній стадії» SC Media. За минулий рік компанія збільшила свою робочу силу майже в чотири рази і планує збільшити штат з 50 до 90 до кінця цього року, інвестуючи в подальші дослідження та розробки.
Зіткнувшись з атаками на ШІ, серійні підприємці бачать можливість
За даними Gartner, дві з п'яти організацій у всіх кібератаках на штучний інтелект у 2022 році зазнали порушень конфіденційності ШІ або інцидентів безпеки, і чверть цих атак були зловмисними.
Агентство з кібербезпеки Великої Британії, Національний центр кібербезпеки, також попереджає, що «зловмисники атакують чат-ботів великомовних моделей, таких як ChatGPT, щоб отримати доступ до конфіденційної інформації, генерувати образливий контент і» спровокувати непередбачені наслідки. "
У дослідженні Forrester, проведеному на замовлення HiddenLayer, 86% людей були «дуже стурбовані або стурбовані» безпекою моделей машинного навчання своєї організації.
Більшість компаній-респондентів заявили, що наразі покладаються на ручні процеси для протидії загрозам моделей штучного інтелекту, а 80% респондентів очікують інвестувати в рішення, яке керує цілісністю та безпекою моделей машинного навчання протягом наступних 12 місяців.
Кібербезпека є особливо технічною та спеціалізованою порівняно з іншими галузями: очікується, що світовий ринок кібербезпеки досягне 403 мільярдів доларів США до 2027 року, зростаючи із середньорічним темпом зростання 12,5% з 2020 по 2027 рік, згідно з попереднім дослідженням журналу Fortune.
Співзасновниками HiddenLayer стали Крістофер Сестіто (генеральний директор), Таннер Бернс (головний науковий співробітник) і Джеймс Баллард (ІТ-директор). Вони працювали у своїй попередній компанії Cylance, стартапі з безпеки, який був придбаний BlackBerry. Ідея виникла після кібератаки на модель штучного інтелекту.
Кріс Сестіто, генеральний директор і співзасновник HiddenLayer, згадував: «Після того, як моделі машинного навчання, які ми захистили, були атаковані безпосередньо через наші продукти, ми очолили зусилля з порятунку і зрозуміли, що це буде величезною проблемою для будь-якої організації, яка впроваджує моделі машинного навчання в наших продуктах. Ми вирішили створити HiddenLayer, щоб інформувати компанії про цю серйозну загрозу та допомагати їм захищатися від атак. "
Сестіто керував дослідженням загроз у Cylance, Баллард очолював команду з кураторства даних Cylance, а Бернс був дослідником загроз.
Кріс Сестіто прокоментував ринкові можливості: «Ми знаємо, що майже кожен бізнес зараз використовує штучний інтелект у різних формах, але ми також знаємо, що жодна інша технологія не досягла такого широкого впровадження без безпеки. Ми прагнемо створювати найбільш безпроблемні рішення безпеки на ринку для клієнтів, які задовольняють цю незадоволену потребу. "
Коментуючи технологію, Кріс Сестіто сказав: «Багато фахівців з обробки даних покладаються на попередньо навчені моделі машинного навчання з відкритим вихідним кодом або власні моделі, щоб скоротити час аналізу та спростити тестування, а потім отримувати інформацію зі складних наборів даних. Використання загальнодоступних попередньо навчених моделей з відкритим вихідним кодом потенційно наражає організації на небезпеку переносити навчальні атаки з підроблених загальнодоступних моделей.
Наша платформа надає інструменти для захисту моделей штучного інтелекту від зловмисних атак, вразливостей та ін'єкцій шкідливого коду. Він відстежує входи та виходи систем штучного інтелекту, щоб перевірити цілісність моделей перед розгортанням. Він використовує методи спостереження лише за входами моделей і векторами (або математичними представленнями) вироблених ними результатів, не вимагаючи доступу до їх власних моделей. "
Тодд Грем, керуючий партнер M12, сказав: «Натхненні власним досвідом змагальних атак штучного інтелекту, засновники HiddenLayer створили платформу, яка необхідна для будь-якого бізнесу, що використовує технології штучного інтелекту та машинного навчання.
Їхній власний досвід роботи з цими атаками в поєднанні з їхнім баченням і новим підходом робить компанію найкращим рішенням для захисту цих моделей. З першої зустрічі із засновниками ми знали, що це велика ідея у сфері безпеки, і хотіли допомогти їм масштабуватися. "
Створіть платформу MLSec, яка комплексно захищає безпеку штучного інтелекту
Флагманський продукт HiddenLayer, Security Platform for Виявлення та запобігання кібератакам на системи, керовані машинним навчанням (MLSec), є першим у галузі рішенням MLDR (Machine Learning Detection and Response), яке захищає підприємства та їхніх клієнтів від нових векторів атак.
Платформа MLSec складається з HiddenLayer MLDR, ModelScanner і Security Audit Reporting.
Платформа MLSec від HiddenLayer поставляється з простою, але потужною інформаційною панеллю, яка дозволяє менеджерам безпеки з першого погляду побачити, чи знаходяться їхні корпоративні моделі машинного навчання/штучного інтелекту в безпечному стані. Він також автоматично визначає пріоритетність проблем безпеки та попереджень залежно від їх серйозності, а також зберігає дані для відповідності, аудиту та звітності, які підприємство, можливо, буде зобов'язане виконати.
Його рішення MLDR використовує підхід, заснований на машинному навчанні, для аналізу мільярдів взаємодій моделей щохвилини для виявлення зловмисної активності без доступу або попередніх знань про модель машинного навчання користувача або конфіденційні навчальні дані. Він здатний виявляти атаки на моделі машинного навчання та реагувати на них, захищаючи інтелектуальну власність та комерційну таємницю від крадіжки або фальсифікації, гарантуючи, що користувачі не зазнають атак.
HiddenLayer також пропонує консультаційні послуги для команд експертів зі змагального машинного навчання (AML), які можуть проводити оцінку загроз, навчати персонал клієнтів з кібербезпеки та DevOps, а також проводити тренування «червоної команди», щоб переконатися, що захист клієнтів працює належним чином.
Типи атак, від яких може захистити платформа MLSec від HiddenLayer
Висновки/вилучення: Атаки екстракції передбачають, що зловмисники маніпулюють вхідними даними моделі, аналізують вихідні дані та виводять межі рішень для реконструкції навчальних даних, вилучення параметрів моделі або здійснення крадіжки моделі, навчаючи альтернативну модель, яка наближається до цілі.
Крадіжка моделей машинного навчання: зловмисники крадуть плоди дорогих фреймворків машинного навчання.
Вилучення навчальних даних: Зловмисник може виконати атаку висновків членів, просто спостерігаючи за її результатом без доступу до параметрів моделі машинного навчання. Коли цільова модель навчається на конфіденційній інформації, висновки учасників можуть викликати занепокоєння щодо безпеки та конфіденційності.
Отруєння даними: Отруєння відбувається, коли зловмисник вводить нові, спеціально модифіковані дані в навчальний набір. Це обманює або підриває моделі машинного навчання, щоб забезпечити неточні, упереджені або зловмисні результати.
Впровадження моделі: Ін'єкція моделі — це техніка, яка покладається на модифікацію моделі машинного навчання шляхом вставки шкідливого модуля, який вводить певну таємну, шкідливу або небажану поведінку.
Викрадення моделі: ця атака може впровадити шкідливий код у існуючу модель PyTorch, яка викрадає всі файли в поточному каталозі на віддалений сервер.
HiddenLayer надає наступні специфічні послуги
Моделювання загроз: Оцініть загальне середовище AI/ML та ризик активів за допомогою інтерв'ю з виявленням та обговорень на основі сценаріїв.
Оцінка ризиків машинного навчання: Проведіть детальний аналіз життєвого циклу операцій зі штучним інтелектом клієнта та деталізуйте найважливіші моделі штучного інтелекту клієнта, щоб визначити ризик для організації поточних інвестицій у штучний інтелект/машинне навчання, а також зусилля та/або засоби контролю, необхідні для вдосконалення.
Тренінг для експертів: Проводить цілоденне навчання для команд з науки про дані та безпеки, щоб допомогти їм отримати захист від цих атак і загроз проти штучного інтелекту.
Red Team Assessment: Команда Adversarial Machine Learning Research (AMLR) змоделює атаку зловмисника, щоб оцінити існуючий захист і виправити вразливості.
Сканування моделей AI/ML: використовуйте сканер цілісності моделі HiddenLayer для тестування та перевірки наявних моделей AI/ML на предмет загроз (наприклад, зловмисного програмного забезпечення) та фальсифікації.
Послуги з виявлення та реагування на машинне навчання (MLDR) :*Вміло впроваджуйте та інтегруйте продукти MLDR HiddenLayer у середовища AI/ML, надаючи командам з науки про дані та безпеки можливості та видимість, необхідні для запобігання атакам, скорочення часу реагування та максимізації ефективності моделі.
Співпраця з гігантами для посилення екологічного будівництва
На додаток до створення продуктів і платформ, HiddenLayer також має сильних партнерів, Databricks має партнерство, щоб зробити платформу MLSec доступною для корпоративних користувачів, які розгортають моделі штучного інтелекту в озерах даних Databricks. Це забезпечує безпеку штучного інтелекту з рівня озера даних.
Завдяки стратегічному співробітництву з Intel конфіденційні обчислення на Intel SGX і сканер моделі машинного навчання HiddenLayer об'єднані, щоб забезпечити апаратне та програмне інтегроване рішення безпеки штучного інтелекту.
Ці дві стратегічні співпраці зробили всю екосистему HiddenLayer більш повною, а також завоювали прихильність клієнтів, які отримали кілька великих клієнтів у сферах фінансів та державного управління.
Штучний інтелект перейшов у практичну стадію, і з'явилися безпечні підприємницькі можливості для штучного інтелекту
Безпека для ШІ, особливо на рівні моделі, вже є певною потребою, і Protect AI, яка спеціалізується на безпеці моделей ШІ, раніше отримала раунд фінансування серії А на суму 35 мільйонів доларів США під керівництвом Evolution Equity Partners та Salesforce Ventures.
За словами Сестіто, засновника HiddenLayer, у міру зростання ринку ШІ одночасно зростатиме і ринок безпеки ШІ, і крім Protect AI та HiddenLayer, у сфері безпеки ШІ також працюють такі компанії, як Robust Intelligence, CalypsoAI, Halcyon та Troj.ai.
Наприклад, Ten Eleven Ventures, ранній інвестор HiddenLayer, також інвестував у початковий раунд у розмірі 20 мільйонів доларів від Halcyon, компанії, яка зосереджується на засобах захисту від програм-вимагачів зі штучним інтелектом, які допомагають користувачам програмного забезпечення штучного інтелекту запобігати атакам і швидко відновлюватися після них.
У міру того, як ця хвиля штучного інтелекту переходить від стадії концептуального хайпу до стадії фактичного застосування, від підприємництва великих моделей до підприємництва з використанням додатків штучного інтелекту, безпека ШІ стає все більш важливою. Незалежно від того, чи йдеться про забезпечення безпеки моделей ШІ, чи про захист безпеки додатків штучного інтелекту, розвиток безпеки ШІ може ще більше поглибити проникнення ШІ на стороні змісту та на стороні підприємства.
За кордоном вже є велика кількість стартапів у сфері безпеки штучного інтелекту, і на китайському ринку такий самий попит також існує, і ми очікуємо, що місцеві видатні підприємці рухатимуться в цьому важливому підприємницькому напрямку.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Щоб повністю захистити безпеку ШІ, HiddenLayer отримав 50 мільйонів доларів фінансування серії А
Першоджерело: Альфа-комуна
Безпека моделей штучного інтелекту дуже важлива як для компаній, що займаються застосуванням штучного інтелекту, так і для користувачів і клієнтів, які використовують програми штучного інтелекту. Для компаній, що займаються штучним інтелектом, захищаючи безпеку моделей штучного інтелекту, також варто звернути увагу на можливість захистити вихідні дані та алгоритми від витоку, не збільшуючи при цьому зайвих витрат на роботу.
Компанія під назвою HiddenLayer створила комплексну платформу безпеки, яка забезпечує безпеку штучного інтелекту за принципом plug-and-play, не додаючи зайвої складності на рівні моделі ШІ та не отримуючи доступу до необроблених даних та алгоритмів.
Нещодавно компанія отримала раунд серії А на суму 50 мільйонів доларів США під керівництвом M12 і Moore Strategic Ventures за участю Booz Allen Ventures, IBM Ventures, Capital One Ventures і Ten Eleven Ventures (яка очолила свій початковий раунд), що є найбільшим раундом фінансування серії А в галузі безпеки штучного інтелекту на сьогоднішній день.
HiddenLayer допоміг захистити моделі AI/ML, які використовуються кількома компаніями зі списку Fortune 100 у таких сферах, як фінанси та кібербезпека.
Він також сформував стратегічні партнерські відносини з Intel і Databricks, отримавши такі нагороди, як «Найбільш інноваційний стартап» RSAC і «Найперспективніший стартап на ранній стадії» SC Media. За минулий рік компанія збільшила свою робочу силу майже в чотири рази і планує збільшити штат з 50 до 90 до кінця цього року, інвестуючи в подальші дослідження та розробки.
Зіткнувшись з атаками на ШІ, серійні підприємці бачать можливість
За даними Gartner, дві з п'яти організацій у всіх кібератаках на штучний інтелект у 2022 році зазнали порушень конфіденційності ШІ або інцидентів безпеки, і чверть цих атак були зловмисними.
Агентство з кібербезпеки Великої Британії, Національний центр кібербезпеки, також попереджає, що «зловмисники атакують чат-ботів великомовних моделей, таких як ChatGPT, щоб отримати доступ до конфіденційної інформації, генерувати образливий контент і» спровокувати непередбачені наслідки. "
У дослідженні Forrester, проведеному на замовлення HiddenLayer, 86% людей були «дуже стурбовані або стурбовані» безпекою моделей машинного навчання своєї організації.
Більшість компаній-респондентів заявили, що наразі покладаються на ручні процеси для протидії загрозам моделей штучного інтелекту, а 80% респондентів очікують інвестувати в рішення, яке керує цілісністю та безпекою моделей машинного навчання протягом наступних 12 місяців.
Кібербезпека є особливо технічною та спеціалізованою порівняно з іншими галузями: очікується, що світовий ринок кібербезпеки досягне 403 мільярдів доларів США до 2027 року, зростаючи із середньорічним темпом зростання 12,5% з 2020 по 2027 рік, згідно з попереднім дослідженням журналу Fortune.
Кріс Сестіто, генеральний директор і співзасновник HiddenLayer, згадував: «Після того, як моделі машинного навчання, які ми захистили, були атаковані безпосередньо через наші продукти, ми очолили зусилля з порятунку і зрозуміли, що це буде величезною проблемою для будь-якої організації, яка впроваджує моделі машинного навчання в наших продуктах. Ми вирішили створити HiddenLayer, щоб інформувати компанії про цю серйозну загрозу та допомагати їм захищатися від атак. "
Сестіто керував дослідженням загроз у Cylance, Баллард очолював команду з кураторства даних Cylance, а Бернс був дослідником загроз.
Кріс Сестіто прокоментував ринкові можливості: «Ми знаємо, що майже кожен бізнес зараз використовує штучний інтелект у різних формах, але ми також знаємо, що жодна інша технологія не досягла такого широкого впровадження без безпеки. Ми прагнемо створювати найбільш безпроблемні рішення безпеки на ринку для клієнтів, які задовольняють цю незадоволену потребу. "
Коментуючи технологію, Кріс Сестіто сказав: «Багато фахівців з обробки даних покладаються на попередньо навчені моделі машинного навчання з відкритим вихідним кодом або власні моделі, щоб скоротити час аналізу та спростити тестування, а потім отримувати інформацію зі складних наборів даних. Використання загальнодоступних попередньо навчених моделей з відкритим вихідним кодом потенційно наражає організації на небезпеку переносити навчальні атаки з підроблених загальнодоступних моделей.
Наша платформа надає інструменти для захисту моделей штучного інтелекту від зловмисних атак, вразливостей та ін'єкцій шкідливого коду. Він відстежує входи та виходи систем штучного інтелекту, щоб перевірити цілісність моделей перед розгортанням. Він використовує методи спостереження лише за входами моделей і векторами (або математичними представленнями) вироблених ними результатів, не вимагаючи доступу до їх власних моделей. "
Тодд Грем, керуючий партнер M12, сказав: «Натхненні власним досвідом змагальних атак штучного інтелекту, засновники HiddenLayer створили платформу, яка необхідна для будь-якого бізнесу, що використовує технології штучного інтелекту та машинного навчання.
Їхній власний досвід роботи з цими атаками в поєднанні з їхнім баченням і новим підходом робить компанію найкращим рішенням для захисту цих моделей. З першої зустрічі із засновниками ми знали, що це велика ідея у сфері безпеки, і хотіли допомогти їм масштабуватися. "
Створіть платформу MLSec, яка комплексно захищає безпеку штучного інтелекту
Флагманський продукт HiddenLayer, Security Platform for Виявлення та запобігання кібератакам на системи, керовані машинним навчанням (MLSec), є першим у галузі рішенням MLDR (Machine Learning Detection and Response), яке захищає підприємства та їхніх клієнтів від нових векторів атак.
Платформа MLSec складається з HiddenLayer MLDR, ModelScanner і Security Audit Reporting.
Його рішення MLDR використовує підхід, заснований на машинному навчанні, для аналізу мільярдів взаємодій моделей щохвилини для виявлення зловмисної активності без доступу або попередніх знань про модель машинного навчання користувача або конфіденційні навчальні дані. Він здатний виявляти атаки на моделі машинного навчання та реагувати на них, захищаючи інтелектуальну власність та комерційну таємницю від крадіжки або фальсифікації, гарантуючи, що користувачі не зазнають атак.
HiddenLayer також пропонує консультаційні послуги для команд експертів зі змагального машинного навчання (AML), які можуть проводити оцінку загроз, навчати персонал клієнтів з кібербезпеки та DevOps, а також проводити тренування «червоної команди», щоб переконатися, що захист клієнтів працює належним чином.
Типи атак, від яких може захистити платформа MLSec від HiddenLayer
Висновки/вилучення: Атаки екстракції передбачають, що зловмисники маніпулюють вхідними даними моделі, аналізують вихідні дані та виводять межі рішень для реконструкції навчальних даних, вилучення параметрів моделі або здійснення крадіжки моделі, навчаючи альтернативну модель, яка наближається до цілі.
Крадіжка моделей машинного навчання: зловмисники крадуть плоди дорогих фреймворків машинного навчання.
Вилучення навчальних даних: Зловмисник може виконати атаку висновків членів, просто спостерігаючи за її результатом без доступу до параметрів моделі машинного навчання. Коли цільова модель навчається на конфіденційній інформації, висновки учасників можуть викликати занепокоєння щодо безпеки та конфіденційності.
Отруєння даними: Отруєння відбувається, коли зловмисник вводить нові, спеціально модифіковані дані в навчальний набір. Це обманює або підриває моделі машинного навчання, щоб забезпечити неточні, упереджені або зловмисні результати.
Впровадження моделі: Ін'єкція моделі — це техніка, яка покладається на модифікацію моделі машинного навчання шляхом вставки шкідливого модуля, який вводить певну таємну, шкідливу або небажану поведінку.
Викрадення моделі: ця атака може впровадити шкідливий код у існуючу модель PyTorch, яка викрадає всі файли в поточному каталозі на віддалений сервер.
HiddenLayer надає наступні специфічні послуги
Моделювання загроз: Оцініть загальне середовище AI/ML та ризик активів за допомогою інтерв'ю з виявленням та обговорень на основі сценаріїв.
Оцінка ризиків машинного навчання: Проведіть детальний аналіз життєвого циклу операцій зі штучним інтелектом клієнта та деталізуйте найважливіші моделі штучного інтелекту клієнта, щоб визначити ризик для організації поточних інвестицій у штучний інтелект/машинне навчання, а також зусилля та/або засоби контролю, необхідні для вдосконалення.
Тренінг для експертів: Проводить цілоденне навчання для команд з науки про дані та безпеки, щоб допомогти їм отримати захист від цих атак і загроз проти штучного інтелекту.
Red Team Assessment: Команда Adversarial Machine Learning Research (AMLR) змоделює атаку зловмисника, щоб оцінити існуючий захист і виправити вразливості.
Сканування моделей AI/ML: використовуйте сканер цілісності моделі HiddenLayer для тестування та перевірки наявних моделей AI/ML на предмет загроз (наприклад, зловмисного програмного забезпечення) та фальсифікації.
Послуги з виявлення та реагування на машинне навчання (MLDR) :*Вміло впроваджуйте та інтегруйте продукти MLDR HiddenLayer у середовища AI/ML, надаючи командам з науки про дані та безпеки можливості та видимість, необхідні для запобігання атакам, скорочення часу реагування та максимізації ефективності моделі.
Співпраця з гігантами для посилення екологічного будівництва
На додаток до створення продуктів і платформ, HiddenLayer також має сильних партнерів, Databricks має партнерство, щоб зробити платформу MLSec доступною для корпоративних користувачів, які розгортають моделі штучного інтелекту в озерах даних Databricks. Це забезпечує безпеку штучного інтелекту з рівня озера даних.
Ці дві стратегічні співпраці зробили всю екосистему HiddenLayer більш повною, а також завоювали прихильність клієнтів, які отримали кілька великих клієнтів у сферах фінансів та державного управління.
Штучний інтелект перейшов у практичну стадію, і з'явилися безпечні підприємницькі можливості для штучного інтелекту
Безпека для ШІ, особливо на рівні моделі, вже є певною потребою, і Protect AI, яка спеціалізується на безпеці моделей ШІ, раніше отримала раунд фінансування серії А на суму 35 мільйонів доларів США під керівництвом Evolution Equity Partners та Salesforce Ventures.
За словами Сестіто, засновника HiddenLayer, у міру зростання ринку ШІ одночасно зростатиме і ринок безпеки ШІ, і крім Protect AI та HiddenLayer, у сфері безпеки ШІ також працюють такі компанії, як Robust Intelligence, CalypsoAI, Halcyon та Troj.ai.
Наприклад, Ten Eleven Ventures, ранній інвестор HiddenLayer, також інвестував у початковий раунд у розмірі 20 мільйонів доларів від Halcyon, компанії, яка зосереджується на засобах захисту від програм-вимагачів зі штучним інтелектом, які допомагають користувачам програмного забезпечення штучного інтелекту запобігати атакам і швидко відновлюватися після них.
У міру того, як ця хвиля штучного інтелекту переходить від стадії концептуального хайпу до стадії фактичного застосування, від підприємництва великих моделей до підприємництва з використанням додатків штучного інтелекту, безпека ШІ стає все більш важливою. Незалежно від того, чи йдеться про забезпечення безпеки моделей ШІ, чи про захист безпеки додатків штучного інтелекту, розвиток безпеки ШІ може ще більше поглибити проникнення ШІ на стороні змісту та на стороні підприємства.
За кордоном вже є велика кількість стартапів у сфері безпеки штучного інтелекту, і на китайському ринку такий самий попит також існує, і ми очікуємо, що місцеві видатні підприємці рухатимуться в цьому важливому підприємницькому напрямку.