PwC: расшифровка рисков и проблем безопасности, связанных с генеративным искусственным интеллектом

Источник: ПвК.

Источник изображения: сгенерировано Unbounded AI

Влияние волны продуктов генеративного ИИ на корпоративную безопасность

Ожидается, что ряд генеративных продуктов ИИ, таких как ChatGPT, освободит сотрудников от утомительных и повторяющихся задач, и сотрудники смогут посвятить больше времени и энергии работе, которая более ценна для компании. Однако с точки зрения корпоративной безопасности продукты генеративного ИИ могут создавать новые риски, что является палкой о двух концах для предприятий.

01 Угроза кибератак усилилась

Генеративный ИИ снижает входной барьер для хакеров. Хакеры могут использовать генеративный ИИ для быстрой интеграции различных методов кибератак, удобного «оружия» методов атак и, возможно, для создания инновационных методов атак. Группа кибербезопасности PwC четко заметила, что в последние месяцы количество атак с использованием социальной инженерии, таких как фишинговые электронные письма, полученные клиентами, значительно увеличилось, что совпадает с широким использованием ChatGPT; ChatGPT также оказался более обманчивым для фишинговых сайтов пакетной генерации.

02 Утечка конфиденциальных корпоративных данных

Эксперты по безопасности обеспокоены возможной утечкой конфиденциальных данных предприятия, а неправильное поведение сотрудников при вводе данных может привести к тому, что конфиденциальные данные останутся в базе данных продуктов генеративного ИИ. Политика конфиденциальности OpenAI показывает, что контент, введенный пользователями при использовании ChatGPT, будет использоваться для обучения модели алгоритма ИИ. Кроме того, ChatGPT подвергается серьезным проблемам с безопасностью: из-за уязвимостей в библиотеке с открытым исходным кодом некоторые пользователи могут видеть заголовки истории разговоров других пользователей. В настоящее время многие технологические гиганты, такие как Amazon и Microsoft, напоминают своим сотрудникам не делиться конфиденциальными данными с ChatGPT.

03 Генеративный риск отравления ИИ

Отравление обучающих данных – это распространенная угроза безопасности, с которой сталкивается генеративный ИИ. Вредоносные данные негативно скажутся на результатах алгоритмов ИИ. Если управление операциями в значительной степени зависит от генеративного ИИ, по критическим вопросам могут быть приняты неверные решения. С другой стороны, у генеративного ИИ также есть потенциальные проблемы «предвзятости». Подобно деятельности «100 бутылок яда для ИИ», в которой приняли участие многие известные эксперты и ученые, в процессе разработки или использования ИИ предприятия должны активно реагировать на угрозу отравления ИИ стратегическим образом.

04Проблема защиты конфиденциальности

Этап предварительного обучения генеративного ИИ требует сбора и анализа большого количества данных, которые могут включать личную информацию многих клиентов и сотрудников. Если генеративный ИИ не может должным образом защитить и анонимизировать эту личную информацию, это может привести к утечке конфиденциальной информации, и эта личная информация может даже использоваться для анализа поведения пользователей и предположений о них. Например, на рынке приложений для мобильных телефонов полно программного обеспечения для создания изображений.Пользователям нужно всего лишь загрузить несколько своих аватаров, а программное обеспечение может создавать составные фотографии разных сцен и тем. Однако то, как компании-разработчики программного обеспечения используют аватары, загруженные этими пользователями, несет ли это защиту конфиденциальности и другие риски безопасности, заслуживает внимания и ответа.

05 Риск соответствия корпоративной безопасности

В отсутствие эффективных мер управления массовое внедрение продуктов генеративного ИИ может привести к проблемам с соблюдением требований безопасности, что, несомненно, является огромной проблемой для менеджеров по безопасности предприятия. Несколько дней назад было объявлено о временных мерах по управлению генеративными службами искусственного интеллекта, которые были рассмотрены и одобрены Управлением киберпространства Китая и одобрены шестью департаментами, включая Национальную комиссию по развитию и реформам и Министерство образования. вступить в силу август 151 2. В нем выдвигаются основные требования с точки зрения развития технологий и управления, спецификации услуг, надзора и инспекции, юридической ответственности, а также устанавливается базовая структура соответствия для внедрения генеративного ИИ.

Узнайте о реальных сценариях угроз безопасности генеративного ИИ

После понимания рисков безопасности, связанных с генеративным ИИ, далее будет проанализировано, как проблема возникает в более конкретном сценарии угроз безопасности, и изучено незаметное влияние генеративного ИИ на безопасность предприятия.

01 Атака с использованием социальной инженерии

Всемирно известный хакер Кевин Митник однажды сказал: «Самое слабое звено в цепочке безопасности — это человеческий фактор». Обычная тактика хакеров социальной инженерии состоит в том, чтобы использовать ласковые слова, чтобы заманить корпоративных сотрудников, а появление генеративного ИИ значительно облегчило атаки социальной инженерии. Генеративный ИИ может генерировать очень реалистичный поддельный контент, включая поддельные новости, поддельные сообщения в социальных сетях, мошеннические электронные письма и многое другое. Этот поддельный контент может вводить пользователей в заблуждение, распространять ложную информацию или заставлять сотрудников принимать неверные решения. Генеративный ИИ можно даже использовать для синтеза звука или видео, чтобы они выглядели реальными, что может быть использовано для совершения мошенничества или фальсификации доказательств. Муниципальное бюро общественной безопасности города Баотоу, Бюро по расследованию преступлений в телекоммуникационной сети, обнародовало дело о мошенничестве в сфере телекоммуникаций с использованием интеллектуальной технологии искусственного интеллекта.

02 Неосознанные нарушения со стороны сотрудников

Многие производители технологий начали активно развивать направление генеративного ИИ, интегрируя большое количество функций генеративного ИИ в продукты и услуги. Сотрудники могут непреднамеренно использовать продукты генеративного ИИ, не ознакомившись внимательно с условиями использования перед их использованием. Когда сотрудники предприятия используют генеративный ИИ, они могут вводить контент, содержащий конфиденциальную информацию, такую как финансовые данные, информация о проектах, секреты компании и т. д., что может привести к утечке конфиденциальной информации предприятия. Чтобы предотвратить раскрытие конфиденциальной корпоративной информации с помощью генеративного ИИ, предприятиям необходимо принять комплексные меры безопасности, в том числе усовершенствовать технологию защиты от утечки данных и ограничить поведение сотрудников в Интернете; в то же время им необходимо обеспечить обучение сотрудников безопасности для повышения безопасности данных. и конфиденциальность бдительность ждать. Как только нарушение сотрудника обнаружено, компания должна немедленно оценить последствия и принять своевременные меры.

03 Неизбежная дискриминация и предрассудки

Причина, по которой генеративный ИИ может иметь дискриминацию и предвзятость, в основном связана с характеристиками его обучающих данных и дизайна модели. Данные обучения из Интернета отражают реальные предубеждения, включая такие аспекты, как раса, пол, культура, религия и социальный статус. Во время обработки обучающих данных может быть недостаточно мер по проверке и очистке, чтобы исключить необъективные данные. Точно так же может не уделяться достаточно внимания уменьшению предвзятости при разработке модели и выборе алгоритма для генеративного ИИ. Алгоритмические модели улавливают отклонения в обучающих данных по мере обучения, что приводит к аналогичным отклонениям в сгенерированном тексте. Хотя устранение предвзятости и дискриминации в генеративном ИИ является сложной задачей, существуют шаги, которые предприятия могут предпринять, чтобы смягчить их3.

04 Нарушение конфиденциальности

В процессе использования продуктов генеративного ИИ, чтобы обеспечить эффективную автоматизацию и персонализированные услуги, предприятия и частные лица могут идти на некоторые компромиссы с точки зрения защиты конфиденциальности, позволяя генеративному ИИ собирать некоторые личные данные. В дополнение к тому, что пользователи раскрывают контент личной конфиденциальности генеративному ИИ во время использования, генеративный ИИ может также анализировать контент, введенный пользователем, и использовать алгоритмы для спекуляции на личной информации, предпочтениях или поведении пользователя, что еще больше нарушает конфиденциальность пользователя. Десенсибилизация и анонимизация данных являются распространенной мерой защиты конфиденциальности, но это может привести к потере части информации о данных, тем самым снижая точность модели генерации.Необходимо найти баланс между защитой личной конфиденциальности и качеством генерируемого контента. . Как поставщик генеративного ИИ, он должен предоставить пользователям прозрачное заявление о политике конфиденциальности, чтобы информировать их о сборе, использовании и обмене данными, чтобы пользователи могли принимать обоснованные решения.

05 Основные тенденции в области соблюдения нормативных требований

С текущей точки зрения, риски соблюдения законодательства, с которыми сталкивается генеративный ИИ, в основном связаны с «контентными нарушениями законов и правил» и «нарушением прав интеллектуальной собственности». В отсутствие надзора генеративный ИИ может генерировать незаконный или неприемлемый контент, который может содержать незаконные или незаконные элементы, такие как оскорбления, клевета, порнография, насилие; с другой стороны, генеративный ИИ может генерировать контент на основе существующего защищенного авторским правом контента, который может привести к нарушению прав интеллектуальной собственности. Предприятия, использующие генеративный ИИ, должны проводить проверки соответствия, чтобы убедиться, что их приложения соответствуют применимым нормам и стандартам, и избежать ненужных юридических рисков. Предприятия должны сначала оценить, соответствуют ли продукты, которые они используют, положениям «Временных мер для администрирования генеративных услуг искусственного интеллекта». В то же время им необходимо уделять пристальное внимание обновлениям и изменениям соответствующих законов и правил, и вносить своевременные коррективы для обеспечения соответствия. Когда предприятия используют генеративный ИИ с поставщиками или партнерами, им необходимо уточнить права и обязанности каждой стороны, а также оговорить соответствующие обязательства и ограничения в договоре.

Как отдельные лица и компании могут активно реагировать на риски и проблемы, связанные с генеративным ИИ

Отдельные пользователи и корпоративные сотрудники должны понимать, что, пользуясь различными удобствами, предоставляемыми генеративным искусственным интеллектом, им все же необходимо усилить защиту своей личной конфиденциальности и другой конфиденциальной информации.

01Избегайте раскрытия личной информации

Прежде чем использовать продукты генеративного ИИ, сотрудники должны убедиться, что поставщик услуг будет разумно защищать конфиденциальность и безопасность пользователей, внимательно прочитать политику конфиденциальности и условия использования и попытаться выбрать надежного поставщика, проверенного общественностью. Старайтесь не вводить личные данные о конфиденциальности во время использования и используйте виртуальные удостоверения или анонимную информацию в сценариях, которые не требуют реальной идентификационной информации.Любые возможные конфиденциальные данные необходимо запутать перед вводом. В Интернете, особенно в социальных сетях и на публичных форумах, сотрудники должны избегать чрезмерного обмена личной информацией, такой как имена, адреса, номера телефонов и т. д., и не раскрывать информацию на общедоступных веб-сайтах и в контенте.

02 Избегайте создания вводящего в заблуждение контента

Из-за ограничений технических принципов генеративного ИИ результаты неизбежно будут вводящими в заблуждение или предвзятыми.Отраслевые эксперты также постоянно изучают, как избежать риска отравления данных. Для важной информации сотрудники должны проверять ее из нескольких независимых и надежных источников, и если одна и та же информация появляется только в одном месте, может потребоваться дополнительное расследование для подтверждения ее подлинности. Выясните, подтверждается ли информация, изложенная в результатах, вескими доказательствами.Если нет существенной основы, вам, возможно, придется скептически относиться к информации. Выявление заблуждений и предвзятости генеративного ИИ требует от пользователей сохранять критическое мышление, постоянно повышать свою цифровую грамотность и понимать, как безопасно использовать его продукты и услуги.

По сравнению с открытым отношением отдельных пользователей, предприятия все еще ждут и наблюдают за генеративным ИИ, Внедрение генеративного ИИ — это одновременно возможность и вызов для предприятий. Предприятиям необходимо учитывать общие риски и заблаговременно проводить некоторые ответные стратегические развертывания.PwC рекомендует предприятиям рассмотреть возможность начала соответствующей работы со следующих аспектов.

01 Оценка безопасности корпоративной сети выявляет недостатки защиты

Проблема номер один, стоящая перед предприятиями, по-прежнему заключается в том, как защититься от кибератак следующего поколения, вызванных генеративным искусственным интеллектом. Для предприятий крайне важно оценить текущее состояние сетевой безопасности, определить, обладает ли предприятие достаточными возможностями обнаружения и защиты для борьбы с этими атаками, определить потенциальные уязвимости защиты сетевой безопасности и принять соответствующие меры по усилению, чтобы активно бороться с ними. Для достижения вышеуказанных целей группа кибербезопасности PwC рекомендует предприятиям проводить учения по наступательному и оборонительному противоборству на основе этих реальных сценариев угроз кибератак, то есть «конфронтации красных и синих» по кибербезопасности. Из различных сценариев атак мы можем заранее обнаружить возможные недостатки защиты сетевой безопасности и всесторонне и систематически устранять недостатки защиты, чтобы защитить ИТ-активы предприятия и безопасность данных.

02 Разверните внутреннюю тестовую среду генеративного ИИ на предприятии

Чтобы понять технические принципы генеративного ИИ и лучше контролировать результаты моделей генеративного ИИ, предприятия могут рассмотреть возможность создания собственной тестовой среды генеративного ИИ внутри компании, чтобы предотвратить неконтролируемые генеративные ИИ. Потенциальные угрозы продуктов ИИ для корпоративных данных. Проводя тестирование в изолированной среде, компании могут убедиться, что для разработки ИИ доступны точные и непредвзятые данные, и могут более уверенно исследовать и оценивать производительность модели, не рискуя раскрытием конфиденциальных данных. Изолированная тестовая среда также позволяет избежать отравления данных и других внешних атак на генеративный ИИ и поддерживать стабильность модели генеративного ИИ.

03Разработайте стратегию управления рисками для генеративного ИИ

Предприятия должны как можно скорее включить генеративный ИИ в целевую область управления рисками, а также дополнить и изменить структуру и стратегию управления рисками. Проведите оценку рисков для бизнес-сценариев с помощью генеративного ИИ, выявите потенциальные риски и уязвимости в системе безопасности, сформулируйте соответствующие планы рисков и уточните контрмеры и распределение ответственности. Установите строгую систему управления доступом, чтобы гарантировать, что только авторизованный персонал может получить доступ и использовать продукты генеративного ИИ, одобренные предприятием. В то же время поведение пользователей при использовании должно регулироваться, а сотрудники предприятия должны быть обучены генеративному управлению рисками ИИ, чтобы повысить осведомленность сотрудников о безопасности и способности справляться с ними. Предприниматели также должны применять подход к конфиденциальности при разработке генеративных приложений ИИ, чтобы конечные пользователи знали, как будут использоваться предоставленные ими данные и какие данные будут сохранены.

04 Создайте специальную рабочую группу по исследованию генеративного ИИ

Предприятия могут накапливать профессиональные знания и навыки внутри организации для совместного изучения потенциальных возможностей и рисков, связанных с технологией генеративного ИИ, и приглашать для участия в рабочей группе членов, которые разбираются в смежных областях, включая экспертов по управлению данными, экспертов по модели ИИ, экспертов в области бизнеса, и эксперты по соблюдению законодательства ждут. Руководству предприятия следует обеспечить, чтобы члены рабочей группы имели доступ к данным и ресурсам, необходимым им для исследования и экспериментирования, и в то же время поощрять участников рабочей группы экспериментировать и проверять их в тестовых средах, чтобы лучше понять потенциальные возможности и возможности генеративного ИИ. сценарии могут сбалансировать риски, чтобы получить преимущества от применения передовых технологий.

Заключение

Разработка и применение генеративного ИИ оказывает большое влияние на технологии, что может вызвать новую революцию в производительности. Генеративный ИИ — это мощная технология, сочетающая достижения в таких областях, как глубокое обучение, обработка естественного языка и большие данные, позволяющая компьютерным системам генерировать контент на человеческом языке. Предприятия и сотрудники должны контролировать эту мощную технологию и следить за тем, чтобы ее разработка и применение осуществлялись в рамках закона, этики и социальной ответственности, что станет важным вопросом в будущем. Экспертная группа PwC по искусственному интеллекту занимается изучением того, как помочь компаниям создать полный механизм управления генеративным искусственным интеллектом4, чтобы компании могли применять и развивать эту новую технологию с большей уверенностью, что поможет компаниям присоединиться к In the wave технологии искусственного интеллекта, генеративный искусственный интеллект может предоставить предприятиям устойчивые конкурентные преимущества.

Примечание

1. Временные меры по администрированию сервисов генеративного искусственного интеллекта_Ведомственные документы Государственного совета_ChinaGov.com

2. Инновации и управление: интерпретация последних тенденций регулирования в области генеративного искусственного интеллекта.

3. Понимание алгоритмической предвзятости и как завоевать доверие к ИИ

4. Управление рисками генеративного ИИ: PwC

Отказ от ответственности: информация в этой статье предназначена только для общих информационных целей и не может считаться исчерпывающей, а также не представляет собой юридические, налоговые или другие профессиональные консультации или услуги от PwC. Учреждения-члены PwC не несут ответственности за любые убытки, причиненные каким-либо субъектом в связи с использованием содержания данной статьи.