Безопасность моделей ИИ очень важна как для компаний, занимающихся разработкой приложений для ИИ, так и для пользователей и клиентов, использующих приложения ИИ. Для ИИ-компаний, защищая безопасность моделей ИИ, также стоит обратить внимание на возможность защитить исходные данные и алгоритмы от утечки, не увеличивая при этом лишние затраты на работу.
Компания под названием HiddenLayer создала комплексную платформу безопасности, которая обеспечивает безопасность ИИ plug-and-play без добавления ненужной сложности на уровне модели ИИ или доступа к необработанным данным и алгоритмам.
Недавно компания получила раунд серии А на сумму $50 млн, возглавляемый M12 и Moore Strategic Ventures, при участии Booz Allen Ventures, IBM Ventures, Capital One Ventures и Ten Eleven Ventures (которая возглавила посевной раунд), что является крупнейшим раундом финансирования серии А в области безопасности ИИ на сегодняшний день.
HiddenLayer помог защитить модели искусственного интеллекта и машинного обучения, используемые несколькими компаниями из списка Fortune 100 в таких областях, как финансы и кибербезопасность.
Компания также установила стратегические партнерские отношения с Intel и Databricks, получив такие награды, как «Самый инновационный стартап» по версии RSAC и «Самый многообещающий стартап на ранней стадии» по версии SC Media. За последний год компания почти в четыре раза увеличила штат сотрудников и планирует увеличить штат сотрудников с 50 до 90 человек к концу этого года, продолжая инвестировать в исследования и разработки.
Столкнувшись с атаками на ИИ, серийные предприниматели видят возможность
По данным Gartner, две из пяти организаций во всех кибератаках на ИИ в 2022 году пострадали от нарушений конфиденциальности ИИ или инцидентов безопасности, и четверть этих атак были злонамеренными.
Агентство по кибербезопасности Великобритании, Национальный центр кибербезопасности, также предупреждает, что «злоумышленники атакуют чат-ботов с большим языком, таких как ChatGPT, чтобы получить доступ к конфиденциальной информации, создать оскорбительный контент и» вызвать непредвиденные последствия. "
В исследовании, проведенном Forrester по заказу HiddenLayer, 86% людей были «очень обеспокоены или обеспокоены» безопасностью моделей машинного обучения в своих организациях.
Большинство опрошенных компаний заявили, что в настоящее время они полагаются на ручные процессы для противодействия угрозам моделей ИИ, а 80% респондентов планируют инвестировать в решение, которое управляет целостностью и безопасностью моделей машинного обучения в течение следующих 12 месяцев.
Согласно предыдущему исследованию журнала Fortune, мировой рынок кибербезопасности, как ожидается, достигнет 403 миллиардов долларов к 2027 году, а среднегодовой темп роста составит 12,5% с 2020 по 2027 год.
Компания HiddenLayer была основана Кристофером Сестито (генеральный директор), Таннером Бернсом (главный научный сотрудник) и Джеймсом Баллардом (директор по информационным технологиям). Они работали в своей предыдущей компании, Cylance, стартапе в области безопасности, который был приобретен BlackBerry. Идея возникла после кибератаки на модель ИИ.
Крис Сестито, генеральный директор и соучредитель HiddenLayer, вспоминает: «После того, как модели машинного обучения, которые мы защитили, были атакованы непосредственно через наши продукты, мы возглавили спасательные усилия и поняли, что это будет огромной проблемой для любой организации, развертывающей модели машинного обучения в наших продуктах. Мы решили создать HiddenLayer, чтобы рассказать компаниям об этой серьезной угрозе и помочь им защититься от атак. "
Сестито руководил исследованием угроз в Cylance, Баллард возглавлял команду по курированию данных Cylance, а Бернс был исследователем угроз.
Крис Сестито прокомментировал рыночные возможности: «Мы знаем, что почти каждый бизнес в настоящее время использует ИИ во многих формах, но мы также знаем, что ни одна другая технология не достигла такого широкого распространения без безопасности. Мы стремимся создавать самые удобные решения безопасности на рынке для клиентов, которые удовлетворяют эту неудовлетворенную потребность. "
Комментируя технологию, Крис Сестито сказал: «Многие специалисты по обработке и анализу данных полагаются на предварительно обученные модели машинного обучения с открытым исходным кодом или проприетарные модели машинного обучения, чтобы сократить время анализа и упростить тестирование, а затем извлекать ценную информацию из сложных наборов данных. Использование общедоступных предварительно обученных моделей с открытым исходным кодом потенциально подвергает организации риску переноса обучающих атак с подделанных общедоступных моделей.
Наша платформа предоставляет инструменты для защиты моделей ИИ от вредоносных атак, уязвимостей и внедрения вредоносного кода. Он отслеживает входные и выходные данные систем ИИ, чтобы проверить целостность моделей перед развертыванием. Он использует методы для наблюдения только за входными данными моделей и векторами (или математическими представлениями) выходных данных, производимых ими, не требуя доступа к их собственным моделям. "
Тодд Грэм (Todd Graham), управляющий партнер M12, сказал: «Вдохновленные собственным опытом борьбы с вредоносными атаками ИИ, основатели HiddenLayer создали платформу, которая необходима для любого бизнеса, использующего технологии искусственного интеллекта и машинного обучения.
Их непосредственный опыт борьбы с этими атаками в сочетании с их видением и новым подходом делает компанию лучшим решением для защиты этих моделей. С первой встречи с основателями мы знали, что это большая идея в сфере безопасности, и хотели помочь им масштабироваться. "
Создать платформу MLSec, которая комплексно защищает безопасность ИИ
Флагманский продукт HiddenLayer, платформа безопасности для обнаружения и предотвращения кибератак на системы, управляемые машинным обучением (MLSec), является первым в отрасли решением MLDR (Machine Learning Detection and Response), которое защищает предприятия и их клиентов от новых векторов атак.
Платформа MLSec состоит из HiddenLayer MLDR, ModelScanner и Security Audit Reporting.
Платформа MLSec от HiddenLayer поставляется с простой, но мощной панелью управления, которая позволяет менеджерам по безопасности с первого взгляда увидеть, находятся ли их корпоративные модели машинного обучения и искусственного интеллекта в безопасном состоянии. Кроме того, он автоматически определяет приоритеты проблем безопасности и предупреждений в зависимости от их серьезности, а также сохраняет данные для обеспечения соответствия требованиям, аудита и отчетности, которые могут потребоваться предприятию.
Решение MLDR использует основанный на машинном обучении подход к анализу миллиардов взаимодействий моделей каждую минуту для выявления вредоносной активности без доступа к модели машинного обучения пользователя или конфиденциальным обучающим данным или предварительного знания. Он способен обнаруживать и реагировать на атаки на модели машинного обучения, защищая интеллектуальную собственность и коммерческую тайну от кражи или подделки, гарантируя, что пользователи не будут атакованы.
HiddenLayer также предлагает консультационные услуги для команд экспертов по вредоносному машинному обучению (AML), которые могут проводить оценку угроз, обучать специалистов по кибербезопасности и DevOps клиентов, а также проводить учения «красной команды», чтобы гарантировать, что защита клиентов работает должным образом.
Типы атак, от которых может защитить платформа MLSec от HiddenLayer
Логический вывод/извлечение: атаки с извлечением заключаются в том, что злоумышленники манипулируют входными данными модели, анализируют выходные данные и выводят границы решений для реконструкции обучающих данных, извлечения параметров модели или кражи модели путем обучения альтернативной модели, которая аппроксимирует цель.
Извлечение обучающих данных: злоумышленник может выполнить атаку с выводом элемента, просто наблюдая за его выходными данными без доступа к параметрам модели машинного обучения. Когда целевая модель обучается на конфиденциальной информации, вывод элементов может вызвать проблемы с безопасностью и конфиденциальностью.
Отравление данных: отравление происходит, когда злоумышленник внедряет новые, специально измененные данные в обучающий набор. Это обманывает или подрывает модели машинного обучения, чтобы получить неточные, предвзятые или вредоносные результаты.
Внедрение модели: Внедрение модели — это метод, основанный на изменении модели машинного обучения путем вставки вредоносного модуля, который вводит какое-либо секретное, вредоносное или нежелательное поведение.
Перехват модели: эта атака может внедрить вредоносный код в существующую модель PyTorch, который извлекает все файлы в текущем каталоге на удаленный сервер.
HiddenLayer предоставляет следующие специфические сервисы
Моделирование угроз: оценка общей среды ИИ/МО и рисков активов с помощью интервью по обнаружению и обсуждений на основе сценариев.
Оценка рисков машинного обучения: Проведите подробный анализ жизненного цикла операций ИИ клиента и детализируйте наиболее важные модели ИИ клиента, чтобы определить риск для организации текущих инвестиций в ИИ/МО, а также усилия и/или средства контроля, необходимые для улучшения.
Экспертное обучение: обеспечивает однодневное обучение для специалистов по обработке и анализу данных и безопасности, чтобы помочь им получить защиту от этих атак и угроз для ИИ.
Red Team Assessment: Команда Adversarial Machine Learning Research (AMLR) будет моделировать атаку злоумышленника, чтобы оценить существующие средства защиты и устранить уязвимости.
Сканирование моделей AI/ML: используйте сканер целостности моделей HiddenLayer для тестирования и проверки существующих моделей AI/ML на наличие угроз (например, вредоносных программ) и несанкционированного доступа.
Услуги по внедрению MLD Detection and Response (MLDR) :*Профессионально внедряйте и интегрируйте продукты MLDR HiddenLayer в среды искусственного интеллекта и машинного обучения, предоставляя командам по обработке и анализу данных и безопасности возможности и прозрачность, необходимые для предотвращения атак, сокращения времени отклика и максимальной эффективности модели.
Сотрудничество с гигантами для усиления экологического строительства
Помимо создания продуктов и платформ, у HiddenLayer также есть сильные партнеры, Databricks имеет партнерство, чтобы сделать платформу MLSec доступной для корпоративных пользователей, развертывающих модели ИИ в озерах данных Databricks. Это обеспечивает безопасность ИИ на уровне озера данных.
Благодаря стратегическому сотрудничеству с корпорацией Intel конфиденциальные вычисления на базе Intel SGX и сканер моделей машинного обучения HiddenLayer объединяются в аппаратное и программное решение для обеспечения безопасности на основе искусственного интеллекта.
Это два стратегических сотрудничества сделали всю экосистему HiddenLayer более полной, а также завоевали благосклонность клиентов, которые приобрели несколько крупных клиентов в области финансов и государственного управления.
ИИ перешел в практическую стадию, и появились безопасные возможности для предпринимательства с помощью ИИ
Безопасность для ИИ, особенно на уровне модели, уже является определенной потребностью, и Protect AI, которая специализируется на безопасности моделей ИИ, ранее получила раунд финансирования серии А в размере 35 миллионов долларов США, возглавляемый Evolution Equity Partners и Salesforce Ventures.
По словам Сестито, основателя HiddenLayer, по мере роста рынка ИИ одновременно будет расти и рынок безопасности ИИ, и помимо Protect AI и HiddenLayer в области безопасности ИИ также работают такие компании, как Robust Intelligence, CalypsoAI, Halcyon и Troj.ai.
Например, Ten Eleven Ventures, ранний инвестор HiddenLayer, также инвестировал в посевной раунд в размере 20 миллионов долларов от Halcyon, компании, которая специализируется на инструментах защиты от программ-вымогателей ИИ, которые помогают пользователям программного обеспечения ИИ предотвращать атаки и быстро восстанавливаться после них.
По мере того, как эта волна ИИ переходит от стадии концептуальной шумихи к стадии фактического применения, от предпринимательства с крупными моделями к предпринимательству с применением ИИ, безопасность ИИ становится все более и более важной. Независимо от того, идет ли речь об обеспечении безопасности моделей ИИ или защите безопасности приложений ИИ, разработка безопасности ИИ может еще больше углубить проникновение ИИ на стороне оглавления и на стороне предприятия.
За рубежом уже существует большое количество стартапов в области безопасности ИИ, и на китайском рынке также существует такой же спрос, и мы ожидаем, что местные выдающиеся предприниматели перейдут в эту важную предпринимательскую сферу.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Чтобы полностью защитить безопасность ИИ, HiddenLayer получила финансирование серии А в размере 50 миллионов долларов США
Первоисточник: Альфа Коммуна
Безопасность моделей ИИ очень важна как для компаний, занимающихся разработкой приложений для ИИ, так и для пользователей и клиентов, использующих приложения ИИ. Для ИИ-компаний, защищая безопасность моделей ИИ, также стоит обратить внимание на возможность защитить исходные данные и алгоритмы от утечки, не увеличивая при этом лишние затраты на работу.
Компания под названием HiddenLayer создала комплексную платформу безопасности, которая обеспечивает безопасность ИИ plug-and-play без добавления ненужной сложности на уровне модели ИИ или доступа к необработанным данным и алгоритмам.
Недавно компания получила раунд серии А на сумму $50 млн, возглавляемый M12 и Moore Strategic Ventures, при участии Booz Allen Ventures, IBM Ventures, Capital One Ventures и Ten Eleven Ventures (которая возглавила посевной раунд), что является крупнейшим раундом финансирования серии А в области безопасности ИИ на сегодняшний день.
HiddenLayer помог защитить модели искусственного интеллекта и машинного обучения, используемые несколькими компаниями из списка Fortune 100 в таких областях, как финансы и кибербезопасность.
Компания также установила стратегические партнерские отношения с Intel и Databricks, получив такие награды, как «Самый инновационный стартап» по версии RSAC и «Самый многообещающий стартап на ранней стадии» по версии SC Media. За последний год компания почти в четыре раза увеличила штат сотрудников и планирует увеличить штат сотрудников с 50 до 90 человек к концу этого года, продолжая инвестировать в исследования и разработки.
Столкнувшись с атаками на ИИ, серийные предприниматели видят возможность
По данным Gartner, две из пяти организаций во всех кибератаках на ИИ в 2022 году пострадали от нарушений конфиденциальности ИИ или инцидентов безопасности, и четверть этих атак были злонамеренными.
Агентство по кибербезопасности Великобритании, Национальный центр кибербезопасности, также предупреждает, что «злоумышленники атакуют чат-ботов с большим языком, таких как ChatGPT, чтобы получить доступ к конфиденциальной информации, создать оскорбительный контент и» вызвать непредвиденные последствия. "
В исследовании, проведенном Forrester по заказу HiddenLayer, 86% людей были «очень обеспокоены или обеспокоены» безопасностью моделей машинного обучения в своих организациях.
Большинство опрошенных компаний заявили, что в настоящее время они полагаются на ручные процессы для противодействия угрозам моделей ИИ, а 80% респондентов планируют инвестировать в решение, которое управляет целостностью и безопасностью моделей машинного обучения в течение следующих 12 месяцев.
Согласно предыдущему исследованию журнала Fortune, мировой рынок кибербезопасности, как ожидается, достигнет 403 миллиардов долларов к 2027 году, а среднегодовой темп роста составит 12,5% с 2020 по 2027 год.
Крис Сестито, генеральный директор и соучредитель HiddenLayer, вспоминает: «После того, как модели машинного обучения, которые мы защитили, были атакованы непосредственно через наши продукты, мы возглавили спасательные усилия и поняли, что это будет огромной проблемой для любой организации, развертывающей модели машинного обучения в наших продуктах. Мы решили создать HiddenLayer, чтобы рассказать компаниям об этой серьезной угрозе и помочь им защититься от атак. "
Сестито руководил исследованием угроз в Cylance, Баллард возглавлял команду по курированию данных Cylance, а Бернс был исследователем угроз.
Крис Сестито прокомментировал рыночные возможности: «Мы знаем, что почти каждый бизнес в настоящее время использует ИИ во многих формах, но мы также знаем, что ни одна другая технология не достигла такого широкого распространения без безопасности. Мы стремимся создавать самые удобные решения безопасности на рынке для клиентов, которые удовлетворяют эту неудовлетворенную потребность. "
Комментируя технологию, Крис Сестито сказал: «Многие специалисты по обработке и анализу данных полагаются на предварительно обученные модели машинного обучения с открытым исходным кодом или проприетарные модели машинного обучения, чтобы сократить время анализа и упростить тестирование, а затем извлекать ценную информацию из сложных наборов данных. Использование общедоступных предварительно обученных моделей с открытым исходным кодом потенциально подвергает организации риску переноса обучающих атак с подделанных общедоступных моделей.
Наша платформа предоставляет инструменты для защиты моделей ИИ от вредоносных атак, уязвимостей и внедрения вредоносного кода. Он отслеживает входные и выходные данные систем ИИ, чтобы проверить целостность моделей перед развертыванием. Он использует методы для наблюдения только за входными данными моделей и векторами (или математическими представлениями) выходных данных, производимых ими, не требуя доступа к их собственным моделям. "
Тодд Грэм (Todd Graham), управляющий партнер M12, сказал: «Вдохновленные собственным опытом борьбы с вредоносными атаками ИИ, основатели HiddenLayer создали платформу, которая необходима для любого бизнеса, использующего технологии искусственного интеллекта и машинного обучения.
Их непосредственный опыт борьбы с этими атаками в сочетании с их видением и новым подходом делает компанию лучшим решением для защиты этих моделей. С первой встречи с основателями мы знали, что это большая идея в сфере безопасности, и хотели помочь им масштабироваться. "
Создать платформу MLSec, которая комплексно защищает безопасность ИИ
Флагманский продукт HiddenLayer, платформа безопасности для обнаружения и предотвращения кибератак на системы, управляемые машинным обучением (MLSec), является первым в отрасли решением MLDR (Machine Learning Detection and Response), которое защищает предприятия и их клиентов от новых векторов атак.
Платформа MLSec состоит из HiddenLayer MLDR, ModelScanner и Security Audit Reporting.
Решение MLDR использует основанный на машинном обучении подход к анализу миллиардов взаимодействий моделей каждую минуту для выявления вредоносной активности без доступа к модели машинного обучения пользователя или конфиденциальным обучающим данным или предварительного знания. Он способен обнаруживать и реагировать на атаки на модели машинного обучения, защищая интеллектуальную собственность и коммерческую тайну от кражи или подделки, гарантируя, что пользователи не будут атакованы.
HiddenLayer также предлагает консультационные услуги для команд экспертов по вредоносному машинному обучению (AML), которые могут проводить оценку угроз, обучать специалистов по кибербезопасности и DevOps клиентов, а также проводить учения «красной команды», чтобы гарантировать, что защита клиентов работает должным образом.
Типы атак, от которых может защитить платформа MLSec от HiddenLayer
Логический вывод/извлечение: атаки с извлечением заключаются в том, что злоумышленники манипулируют входными данными модели, анализируют выходные данные и выводят границы решений для реконструкции обучающих данных, извлечения параметров модели или кражи модели путем обучения альтернативной модели, которая аппроксимирует цель.
Кража моделей машинного обучения: злоумышленники крадут плоды дорогостоящих платформ машинного обучения.
Извлечение обучающих данных: злоумышленник может выполнить атаку с выводом элемента, просто наблюдая за его выходными данными без доступа к параметрам модели машинного обучения. Когда целевая модель обучается на конфиденциальной информации, вывод элементов может вызвать проблемы с безопасностью и конфиденциальностью.
Отравление данных: отравление происходит, когда злоумышленник внедряет новые, специально измененные данные в обучающий набор. Это обманывает или подрывает модели машинного обучения, чтобы получить неточные, предвзятые или вредоносные результаты.
Внедрение модели: Внедрение модели — это метод, основанный на изменении модели машинного обучения путем вставки вредоносного модуля, который вводит какое-либо секретное, вредоносное или нежелательное поведение.
Перехват модели: эта атака может внедрить вредоносный код в существующую модель PyTorch, который извлекает все файлы в текущем каталоге на удаленный сервер.
HiddenLayer предоставляет следующие специфические сервисы
Моделирование угроз: оценка общей среды ИИ/МО и рисков активов с помощью интервью по обнаружению и обсуждений на основе сценариев.
Оценка рисков машинного обучения: Проведите подробный анализ жизненного цикла операций ИИ клиента и детализируйте наиболее важные модели ИИ клиента, чтобы определить риск для организации текущих инвестиций в ИИ/МО, а также усилия и/или средства контроля, необходимые для улучшения.
Экспертное обучение: обеспечивает однодневное обучение для специалистов по обработке и анализу данных и безопасности, чтобы помочь им получить защиту от этих атак и угроз для ИИ.
Red Team Assessment: Команда Adversarial Machine Learning Research (AMLR) будет моделировать атаку злоумышленника, чтобы оценить существующие средства защиты и устранить уязвимости.
Сканирование моделей AI/ML: используйте сканер целостности моделей HiddenLayer для тестирования и проверки существующих моделей AI/ML на наличие угроз (например, вредоносных программ) и несанкционированного доступа.
Услуги по внедрению MLD Detection and Response (MLDR) :*Профессионально внедряйте и интегрируйте продукты MLDR HiddenLayer в среды искусственного интеллекта и машинного обучения, предоставляя командам по обработке и анализу данных и безопасности возможности и прозрачность, необходимые для предотвращения атак, сокращения времени отклика и максимальной эффективности модели.
Сотрудничество с гигантами для усиления экологического строительства
Помимо создания продуктов и платформ, у HiddenLayer также есть сильные партнеры, Databricks имеет партнерство, чтобы сделать платформу MLSec доступной для корпоративных пользователей, развертывающих модели ИИ в озерах данных Databricks. Это обеспечивает безопасность ИИ на уровне озера данных.
Это два стратегических сотрудничества сделали всю экосистему HiddenLayer более полной, а также завоевали благосклонность клиентов, которые приобрели несколько крупных клиентов в области финансов и государственного управления.
ИИ перешел в практическую стадию, и появились безопасные возможности для предпринимательства с помощью ИИ
Безопасность для ИИ, особенно на уровне модели, уже является определенной потребностью, и Protect AI, которая специализируется на безопасности моделей ИИ, ранее получила раунд финансирования серии А в размере 35 миллионов долларов США, возглавляемый Evolution Equity Partners и Salesforce Ventures.
По словам Сестито, основателя HiddenLayer, по мере роста рынка ИИ одновременно будет расти и рынок безопасности ИИ, и помимо Protect AI и HiddenLayer в области безопасности ИИ также работают такие компании, как Robust Intelligence, CalypsoAI, Halcyon и Troj.ai.
Например, Ten Eleven Ventures, ранний инвестор HiddenLayer, также инвестировал в посевной раунд в размере 20 миллионов долларов от Halcyon, компании, которая специализируется на инструментах защиты от программ-вымогателей ИИ, которые помогают пользователям программного обеспечения ИИ предотвращать атаки и быстро восстанавливаться после них.
По мере того, как эта волна ИИ переходит от стадии концептуальной шумихи к стадии фактического применения, от предпринимательства с крупными моделями к предпринимательству с применением ИИ, безопасность ИИ становится все более и более важной. Независимо от того, идет ли речь об обеспечении безопасности моделей ИИ или защите безопасности приложений ИИ, разработка безопасности ИИ может еще больше углубить проникновение ИИ на стороне оглавления и на стороне предприятия.
За рубежом уже существует большое количество стартапов в области безопасности ИИ, и на китайском рынке также существует такой же спрос, и мы ожидаем, что местные выдающиеся предприниматели перейдут в эту важную предпринимательскую сферу.