PwC: Декодування ризиків безпеці та викликів, пов’язаних із Generative AI

Джерело: PwC

Джерело зображення: створено Unbounded AI

Вплив хвилі генеративних продуктів ШІ на безпеку підприємства

Очікується, що низка генеративних продуктів штучного інтелекту, таких як ChatGPT, звільнить співробітників від виснажливих і повторюваних завдань, і вони зможуть приділяти більше часу та енергії роботі, яка є більш цінною для компанії. Однак, з точки зору безпеки підприємства, генеративні продукти штучного інтелекту можуть створити нові ризики, що є двосічним мечем для підприємств.

01 Посилилася загроза кібератак

Generative AI знижує бар’єр доступу для хакерів. Хакери можуть використовувати генеративний ШІ для швидкої інтеграції різних методів кібератак, зручного «озброєння» методів атак і, можливо, досягнення інноваційних методів атак. Команда кібербезпеки PwC чітко помітила, що атаки соціальної інженерії, такі як фішингові електронні листи, отримані клієнтами, значно почастішали за останні місяці, що збігається з широким використанням ChatGPT; ChatGPT також виявилося більш оманливим для фішингових сайтів пакетного створення.

02 Витік корпоративних конфіденційних даних

Експерти з безпеки стурбовані можливим витоком корпоративних конфіденційних даних, а неправильна поведінка співробітників може призвести до того, що конфіденційні дані залишаться в базі даних генеративних продуктів ШІ. Політика конфіденційності OpenAI показує, що вміст, який користувачі вводять під час використання ChatGPT, використовуватиметься для навчання моделі алгоритму AI. Крім того, у ChatGPT є серйозні проблеми з безпекою. Через уразливості бібліотеки з відкритим кодом деякі користувачі можуть бачити заголовки історії розмов інших користувачів. Зараз багато технологічних гігантів, таких як Amazon і Microsoft, нагадали своїм співробітникам не ділитися конфіденційними даними з ChatGPT.

03 Ризик генеративного отруєння ШІ

Отруєння навчальними даними є поширеною загрозою безпеці, з якою стикається генеративний ШІ. Шкідливі дані негативно впливатимуть на результати роботи алгоритмів ШІ. Якщо управління операціями значною мірою покладається на генеративний ШІ, у критичних питаннях можуть бути прийняті неправильні рішення. З іншого боку, генеративний ШІ також має потенційні проблеми з «упередженням». Подібно до заходу «100 пляшок отрути для штучного інтелекту», в якому брали участь багато відомих експертів і вчених, у процесі розробки або використання штучного інтелекту підприємства повинні активно реагувати на загрозу отруєння штучним інтелектом у стратегічний спосіб.

04Проблеми захисту конфіденційності

Етап попереднього навчання генеративного штучного інтелекту потребує збору великої кількості даних і аналізу даних, які можуть включати особисту інформацію багатьох клієнтів і співробітників. Якщо генеративний штучний інтелект не може належним чином захистити та анонімізувати цю особисту інформацію, це може призвести до витоку конфіденційності, і ця особиста інформація може навіть використовуватися для аналізу та спекуляцій щодо поведінки користувачів. Наприклад, ринок додатків для мобільних телефонів переповнений програмним забезпеченням для створення зображень. Користувачам потрібно лише завантажити кілька своїх аватарів, і програмне забезпечення зможе генерувати складені фотографії різних сцен і тем. Проте те, як компанії-виробники програмного забезпечення використовують аватари, завантажені цими користувачами, чи принесе це захист конфіденційності та інші ризики безпеці, варте уваги та відповіді.

05 Ризик відповідності корпоративній безпеці

За відсутності ефективних заходів управління масове впровадження генеративних продуктів штучного інтелекту може призвести до проблем з дотриманням вимог безпеки, що, безсумнівно, є величезною проблемою для менеджерів із безпеки підприємства. Кілька днів тому було оголошено про тимчасові заходи щодо управління службами генеративного штучного інтелекту, які були розглянуті та схвалені Адміністрацією кіберпростору Китаю та схвалені шістьма департаментами, включаючи Національну комісію розвитку та реформ і Міністерство освіти. набуває чинності 151 2 серпня. Він висуває основні вимоги з точки зору розвитку технологій та управління, специфікації послуг, нагляду та інспекції та юридичної відповідальності, а також встановлює базову структуру відповідності для впровадження генеративного ШІ.

Дізнайтеся про реальні сценарії загроз безпеці генеративного ШІ

Після розуміння ризиків безпеці, створених генеративним штучним інтелектом, далі буде проаналізовано, як проблема виникає в більш конкретному сценарії загрози безпеці, і досліджено непомітний вплив генеративного штучного інтелекту на безпеку підприємства.

01 Атака соціальної інженерії

Всесвітньо відомий хакер Кевін Мітнік якось сказав: «Найслабшою ланкою в ланцюжку безпеки є людський фактор». Звичайна тактика хакерів соціальної інженерії полягає в використанні солодких слів, щоб заманити корпоративних співробітників, а поява генеративного ШІ значно полегшила атаки соціальної інженерії. Генеративний штучний інтелект може генерувати надзвичайно реалістичний фейковий контент, зокрема фейкові новини, фейкові публікації в соціальних мережах, шахрайські електронні листи тощо. Цей підроблений вміст може вводити користувачів в оману, поширювати неправдиву інформацію або обманом змушувати співробітників приймати неправильні рішення. Генеративний штучний інтелект можна навіть використовувати для синтезу звуку чи відео, щоб вони виглядали справжніми, що можна було б використовувати для шахрайства чи фальсифікації доказів. Бюро розслідування злочинів телекомунікаційної мережі муніципального Бюро громадської безпеки Баотоу оприлюднило справу про телекомунікаційне шахрайство за допомогою інтелектуальної технології AI.Злочинці викрали 4,3 мільйона юанів за 10 хвилин за допомогою технології зміни обличчя AI.

02 Неусвідомлені порушення працівниками

Багато виробників технологій почали активно прокладати шлях генеративного ШІ, інтегруючи велику кількість генеративних функцій ШІ в продукти та послуги. Співробітники можуть випадково використовувати генеративні продукти штучного інтелекту, не уважно прочитавши умови використання перед їх використанням. Коли співробітники підприємства використовують генеративний штучний інтелект, вони можуть вводити вміст із конфіденційною інформацією, такою як фінансові дані, інформація про проект, секрети компанії тощо, що може призвести до витоку конфіденційної інформації підприємства. Щоб запобігти розкриттю конфіденційної інформації за допомогою генеративного штучного інтелекту, підприємствам необхідно вжити комплексних заходів безпеки: у тому числі покращити технологію захисту від витоку даних і обмежити поведінку співробітників в Інтернеті; в той же час вони повинні забезпечити навчання безпеки для співробітників, щоб покращити захист даних і конфіденційність пильність чекати. Після виявлення порушення працівником компанія має негайно оцінити наслідки та вчасно вжити заходів.

03 Неминуча дискримінація та упередження

Причина, чому генеративний ШІ може мати дискримінацію та упередженість, головним чином пов’язана з характеристиками його навчальних даних і дизайну моделі. Навчальні дані з Інтернету відображають упередження в реальному світі, включаючи такі аспекти, як раса, стать, культура, релігія та соціальний статус. Під час обробки навчальних даних може бути недостатньо заходів скринінгу та очищення, щоб виключити упереджені дані. Так само може бути недостатньо уваги приділено зменшенню упередженості в дизайні моделі та виборі алгоритму для генеративного ШІ. Алгоритмічні моделі виявляють упередження в навчальних даних під час навчання, що призводить до подібних упереджень у згенерованому тексті. Хоча усунення упередженості та дискримінації з боку генеративного штучного інтелекту є складним завданням, існують кроки, які компанії можуть вжити, щоб допомогти пом’якшити їх3.

04 Порушення захисту конфіденційності

У процесі використання генеративних продуктів штучного інтелекту з метою забезпечення ефективної автоматизації та персоналізованих послуг підприємства та окремі особи можуть піти на певні компроміси щодо захисту конфіденційності, дозволяючи генеративному штучному інтелекту збирати деякі особисті дані. Окрім того, що під час використання користувачі розкривають генеруючому штучному інтелекту вміст особистої конфіденційності, генеративний штучний інтелект також може аналізувати вміст, введений користувачем, і використовувати алгоритми для спекуляції на особистій інформації, уподобаннях або поведінці користувача, ще більше порушуючи конфіденційність користувача. Десенсибілізація та анонімізація даних є поширеним заходом захисту конфіденційності, але це може призвести до втрати певної інформації даних, тим самим знижуючи точність моделі генерації. Необхідно знайти баланс між захистом особистої конфіденційності та якістю створеного вмісту . Як генеративний постачальник штучного інтелекту він повинен надавати користувачам прозору заяву про політику конфіденційності, щоб інформувати їх про збір, використання та обмін даними, щоб користувачі могли приймати обґрунтовані рішення.

05 основних тенденцій у відповідності нормативним вимогам

З нинішньої точки зору, ризики дотримання законодавства, з якими стикається генеративний ШІ, в основному походять від «порушення законів і нормативних актів щодо вмісту» та «порушення інтелектуальної власності». За відсутності нагляду генеративний ШІ може створювати незаконний або невідповідний контент, який може включати незаконні або незаконні елементи, такі як образи, наклеп, порнографія, насильство; з іншого боку, генеративний ШІ може створювати контент на основі існуючого захищеного авторським правом вмісту, який може призвести до порушення інтелектуальної власності. Підприємства, які використовують генеративний штучний інтелект, повинні перевіряти відповідність, щоб переконатися, що їхні додатки відповідають відповідним нормам і стандартам, і уникнути непотрібних юридичних ризиків. Підприємства повинні спочатку оцінити, чи продукти, які вони використовують, відповідають положенням «Тимчасових заходів щодо адміністрування послуг генеративного штучного інтелекту». Водночас вони повинні приділяти пильну увагу оновленням і змінам відповідних законів і нормативних актів, і своєчасно вносити корективи для забезпечення відповідності. Коли підприємства використовують генеративний штучний інтелект з постачальниками або партнерами, їм необхідно уточнити права та обов’язки кожної сторони та передбачити відповідні зобов’язання та обмеження в контракті.

Як окремі особи та компанії можуть активно долати ризики та виклики генеративного ШІ

Окремі користувачі та корпоративні співробітники повинні усвідомити, що, користуючись різноманітними зручностями, які приносить генеративний штучний інтелект, їм все ж потрібно посилити захист своєї особистої конфіденційності та іншої конфіденційної інформації.

01 Уникайте розголошення особистої конфіденційності

Перш ніж використовувати генеративні продукти штучного інтелекту, співробітники повинні переконатися, що постачальник послуг розумно захищатиме конфіденційність і безпеку користувачів, уважно ознайомитися з політикою конфіденційності та умовами користувача та намагатися вибрати надійного постачальника, який був перевірений громадськістю. Намагайтеся уникати введення особистих конфіденційних даних під час використання та використовуйте віртуальні ідентифікаційні дані або анонімну інформацію в сценаріях, які не потребують справжньої ідентифікаційної інформації. Будь-які можливі конфіденційні дані потрібно маскувати перед введенням. В Інтернеті, особливо в соціальних мережах і публічних форумах, співробітники повинні уникати надмірного поширення особистої інформації, такої як імена, адреси, номери телефонів тощо, і не легко розкривати інформацію на загальнодоступних веб-сайтах і в контенті.

02 Уникайте створення оманливого вмісту

Через обмеження технічних принципів генеративного штучного інтелекту результати неминуче будуть оманливими або упередженими.Фахівці галузі також постійно вивчають, як уникнути ризику отруєння даних. Співробітники повинні перевіряти важливу інформацію з кількох незалежних і надійних джерел, і якщо та сама інформація з’являється лише в одному місці, може знадобитися додаткове дослідження, щоб підтвердити її достовірність. Дізнайтеся, чи підтверджується інформація, наведена в результатах, переконливими доказами. Якщо немає суттєвої підстави, можливо, вам доведеться поставитися до інформації скептично. Щоб виявити оману та упередженість генеративного штучного інтелекту, користувачі повинні зберігати критичне мислення, постійно вдосконалювати свою цифрову грамотність і розуміти, як безпечно використовувати його продукти та послуги.

Порівняно з відкритим ставленням окремих користувачів, підприємства все ще чекають і спостерігають за генеративним ШІ. Впровадження генеративного ШІ є одночасно можливістю та викликом для підприємств. Підприємствам необхідно заздалегідь проаналізувати загальні ризики та розгорнути деякі стратегічні заходи реагування.PwC рекомендує підприємствам почати відповідну роботу з таких аспектів.

01 Оцінка безпеки корпоративної мережі прояснює недоліки захисту

Проблема номер один, яка стоїть перед підприємствами, залишається як захиститися від наступного покоління кібератак, спричинених генеративним ШІ. Для підприємств вкрай важливо оцінити поточний стан безпеки мережі, визначити, чи має підприємство достатні можливості виявлення безпеки та захисту, щоб впоратися з цими атаками, визначити потенційні вразливості безпеки мережі та вжити відповідних заходів посилення для активної боротьби з ними. Для досягнення вищезазначених цілей команда PwC з кібербезпеки рекомендує підприємствам проводити тренування протидії наступальному та оборонному протистоянню на основі цих реальних сценаріїв загрози кібератак, тобто «червоного та синього протистояння» кібербезпеки. З різних сценаріїв атак ми можемо заздалегідь виявити можливі недоліки захисту мережевої безпеки та комплексно та систематично виправляти недоліки захисту, щоб захистити ІТ-активи підприємства та захист даних.

02 Розгортання внутрішнього генеративного тестового середовища підприємства

Щоб зрозуміти технічні принципи генеративного ШІ та краще контролювати результати генеративних моделей ШІ, підприємства можуть розглянути можливість створення власного внутрішнього тестового середовища генеративного ШІ, щоб запобігти неконтрольованим генеративним ШІ. Потенційні загрози продуктів ШІ корпоративним даним. Проводячи тестування в ізольованому середовищі, компанії можуть переконатися, що точні та за своєю суттю вільні від упереджень дані доступні для розробки штучного інтелекту, а також можуть більш впевнено досліджувати та оцінювати продуктивність моделі, не ризикуючи розголом конфіденційних даних. Ізольоване тестове середовище також може уникнути отруєння даних та інших зовнішніх атак на генеративний ШІ та підтримувати стабільність моделі генеративного ШІ.

03 Створення стратегії управління ризиками для генеративного ШІ

Підприємствам слід якнайшвидше включити генеративний ШІ в цільову сферу управління ризиками, а також доповнити та змінити структуру та стратегію управління ризиками. Проводьте оцінку ризиків для бізнес-сценаріїв за допомогою генеративного штучного інтелекту, визначайте потенційні ризики та вразливі місця в безпеці, формулюйте відповідні плани ризиків і уточнюйте контрзаходи та розподіл відповідальності. Встановіть сувору систему керування доступом, щоб гарантувати, що лише авторизований персонал може отримати доступ і використовувати генеративні продукти ШІ, схвалені підприємством. Водночас слід регулювати поведінку користувачів у використанні, а співробітників підприємства слід навчати генеративному управлінню ризиками штучного інтелекту, щоб підвищити обізнаність працівників щодо безпеки та спроможність справлятися з ними. Підприємці також повинні прийняти підхід до конфіденційності при розробці генеративних програм штучного інтелекту, щоб кінцеві користувачі знали, як використовуватимуться надані ними дані та які дані зберігатимуться.

04 Створіть спеціальну робочу групу з досліджень генеративного ШІ

Підприємства можуть збирати професійні знання та навички всередині організації, щоб спільно досліджувати потенційні можливості та ризики генеративної технології штучного інтелекту, а також запрошувати членів, які розуміються на суміжних галузях, брати участь у робочій групі, включаючи експертів з управління даними, експертів з моделей штучного інтелекту, експертів у сфері бізнесу, і експерти з дотримання законодавства чекають. Керівництво підприємства має гарантувати, що члени робочої групи мають доступ до даних і ресурсів, необхідних для дослідження та експериментів, одночасно заохочуючи членів робочої групи експериментувати та перевіряти в тестових середовищах, щоб краще зрозуміти потенційні можливості та можливості генеративного ШІ. сценарії можуть збалансувати ризики, щоб отримати вигоди від застосування передових технологій.

Висновок

Розробка та застосування генеративного штучного інтелекту має великий вплив на технології, що може спровокувати нову революцію в продуктивності. Generative AI — це потужна технологія, яка поєднує досягнення в таких сферах, як глибоке навчання, обробка природної мови та великі дані, щоб комп’ютерні системи могли створювати вміст людською мовою. Підприємства та співробітники повинні контролювати цю потужну технологію та гарантувати, що її розробка та застосування здійснюються в рамках закону, етики та соціальної відповідальності.Це буде важливим питанням у майбутньому. Команда експертів зі штучного інтелекту PwC прагне дослідити, як допомогти компаніям створити повний генеративний механізм управління штучним інтелектом4, щоб компанії могли спокійніше застосовувати та розвивати цю нову технологію, що допоможе компаніям приєднатися до хвилі In технології ШІ, генеративний ШІ може надати підприємствам стійкі конкурентні переваги.

Примітка

1. Тимчасові заходи щодо управління службами генеративного штучного інтелекту_Departmental Documents of the State Council_ChinaGov.com

2. Інновації та управління: Інтерпретація останніх регуляторних тенденцій у генеративному штучному інтелекті

3. Розуміння упередженості алгоритмів і того, як побудувати довіру до ШІ

4. Управління генеративними ризиками ШІ: PwC

Відмова від відповідальності: інформація в цій статті надається лише для загальної інформації та не вважається вичерпною, а також не є юридичною, податковою чи іншою професійною консультацією чи послугами від PwC. Організації-члени PwC не несуть відповідальності за будь-які збитки, спричинені будь-яким суб’єктом через використання вмісту цієї статті.