ШІ-атака та захист за фішинговим листом

Перше джерело: New Knowledge of Science and Technology

Автор: Чжан Дао

Джерело зображення: створено Unbounded AI‌

Generative AI перетворює сферу транскордонної електронної комерції на «Нову Північну М’янму» в Інтернеті. Останнім часом багато продавців повідомили про отримання «фішингових електронних листів», замаскованих під офіційні електронні листи Amazon, які вилучають важливу інформацію про обліковий запис продавця через надані шкідливі посилання. Деякі люди були обдурені і втратили аж 400 000 лише за одну ніч. Судан є однією з щасливих жертв. В електронному листі, який він отримав на початку вересня, адреса відправника була дуже схожа на офіційну адресу Amazon, а вміст був вмілою імітацією стилю сповіщень Amazon, закликаючи продавців оновити контактну інформацію для екстрених випадків. Дотримуючись інструкцій в електронному листі, вас буде спрямовано на веб-сайт, який виглядає як "Amazon", і попросять ввести вашу електронну адресу, пароль і код двоетапної перевірки. Якщо вас обдурять, ви незабаром отримаєте сповіщення про «віддалений вхід у магазин» від справжнього офіційного представника Amazon.

Результати виявлення вбивці ChatGPT GPTZero

**Султан негайно зупинив свої втрати, коли зрозумів, що щось не так. Він також використав технічні інструменти для аналізу вмісту електронної пошти, який показав, що існує 90% ймовірність того, що він був створений ШІ. **Нові технології знову стоять на роздоріжжі між добром і злом.

01 Generative AI «робить зло»

Судан часто користується Інтернетом удома та за кордоном. Він не знайомий із ChatGPT і неодноразово відчував це. Він також чув, що ChatGPT може певним чином обходити механізм безпеки та створювати незаконний та аморальний вміст. Чого він ще не усвідомив, так це те, що технологія «втечі з в’язниці» ChatGPT була повторена кілька разів, і тепер на ринку є навіть більш просунута версія «злого GPT», і фішинговий електронний лист, який зустрівся цього разу, міг бути написаний цією версією. . **Більш відомі «злісні» версії GPT — це WormGPT і FraudGPT, обидві з яких можуть швидко впроваджувати фішингові шахрайства електронною поштою. ** У березні 2021 року вийшов WormGPT, а в червні цього року його розробники почали продавати права на використання на хакерських форумах. На відміну від ChatGPT, WormGPT не встановлює обмежень, які заважають відповідати на запитання, пов’язані з незаконною діяльністю, побудований на основі дещо застарілої моделі GPT-J з відкритим кодом 2021 року та спеціально навчається на даних, пов’язаних із розробкою зловмисного програмного забезпечення. Щоб оцінити потенційні ризики, дослідницька група аналітичної компанії Slashnext перевірила атаки BEC (Business Email Fraud). Під час експерименту вони попросили WormGPT створити електронний лист, щоб змусити нічого не підозрювати менеджера облікового запису оплатити фальшивий рахунок.

Фішингові листи, створені WormGPT

Результати шокують. Електронні листи, створені WormGPT, не тільки дуже переконливі, але й дуже розумні в тактиці, повністю демонструючи його здатність здійснювати складні фішингові та BEC-атаки. Інша модель злої мови під назвою FraudGPT була представлена в липні цього року. Починаючи з 22 липня, розробник рекламував продукт на кількох форумах, називаючи його необмеженою альтернативою ChatGPT. Згідно з повідомленнями, FraudGPT оновлюється кожні один-два тижні та використовує різноманітні моделі штучного інтелекту в рамках архітектури. Ціни на цей інструмент залежать від передплати та коштують 200 доларів на місяць або 1700 доларів на рік.

Скріншот форуму, що демонструє функціональність FraudGPT

Команда дослідників безпеки Netenrich придбала та протестувала його. Інтерфейс FraudGPT дуже схожий на ChatGPT.Історія запитів користувача відображається зліва, а вікно чату займає більшу частину інтерфейсу. Користувачеві достатньо ввести запитання в області «Задати питання», і система згенерує для них відповідні відповіді.

FraudGPT генерує фішингові листи

Під час тесту дослідники наказали FraudGPT створити фішинговий електронний лист, пов’язаний з банком. Користувачі просто форматують запитання, щоб включити назву конкретного банку, а FraudGPT займається рештою. Цей інструмент також вказує користувачам, де розмістити шкідливі посилання у вмісті електронної пошти, і може додатково створити сторінку входу для шахрайства, спонукаючи жертв надати особисту інформацію. **Аналітики кажуть, що FraudGPT може стати ідеальним інструментом для запуску ефективних фішингових і BEC-атак, що призведе до масштабного фінансового шахрайства та крадіжки даних. ** Існує більше двох активних «злих GPT». Буквально в середині серпня експерти в області мережевої безпеки показали ще один інструмент для боротьби з кіберзлочинністю на основі GPT під назвою EvilGPT. Ця програма схожа на FraudGPT і WormGPT. Вона може допомагати створювати зловмисне програмне забезпечення, фішингові електронні листи, перехоплювати посилання та виявляти слабкі місця в безпеці корпоративної мережі. Якщо вищевказаний GPT буде заборонено або видалено з якоїсь причини, він буде доступний на ринку як альтернатива. У той же час він також використовує модель ціноутворення на основі підписки, щоб залучити потенційних користувачів до покупки. EvilGPT — лише верхівка айсберга, який було виявлено останніми тижнями. **З часом може з’явитися більше шкідливих інструментів і програм на основі технології штучного інтелекту. **

02 Завдяки «благословенню» ШІ фішингові листи важко виявити

Фішингові електронні листи не є чужими для практиків транскордонної електронної комерції, але цього разу Судан ледь не потрапив у нього.На додаток до випадкової недбалості, важливу роль зіграло «благословення» генеративного штучного інтелекту. У минулому ефективним способом виявлення фішингових електронних листів було звернення уваги на орфографічні та граматичні помилки слів у вмісті. Згідно з даними, близько 50% фішингових листів надходять з Росії, Німеччини та Китаю. Більшість підробленого вмісту, надісланого з цих неангломовних країн, містить ненормальну граматику або формулювання, що не відповідає офіційному та стандартному стилю електронної пошти.

Неперевірені фішингові листи

Насправді, щоб запобігти натисканню співробітниками електронних листів зі зловмисними посиланнями або витоку інформації для входу, багато компаній електронної комерції проводять тренінги, щоб нагадати їм про орфографічні помилки, незвичайну граматику та інші помилки, які можуть припускатися неносії англійської мови. **Однак сучасна генеративна технологія ШІ може повністю усунути ці традиційні функції розпізнавання. Цей фішинговий електронний лист Amazon не містить граматичних помилок. ** Еван Рейзер, генеральний директор компанії з безпеки електронної пошти Abnormal Security, нещодавно зазначив це в інтерв’ю.Досконалі фішингові електронні листи, створені генеративною платформою штучного інтелекту, майже не відрізняються від справжніх електронних листів, тому їх важко ідентифікувати з першого погляду. «Коли ви дивитеся на ці електронні листи, у вашому мозку не відбувається нічого, що попереджає вас про те, що це може бути фішингова атака», — сказав він. **Найстрашніше те, що уникати мовних помилок — це лише базова навичка, яку демонструє генеративний штучний інтелект у фішингових електронних листах. Сильніші можливості обману та введення в оману смертельніші. ** Завдяки здатності штучного інтелекту імітувати людське письмо вміст фішингових електронних листів може включати створення відчуття терміновості, заохочення одержувачів натискати посилання або електронні листи соціальної інженерії, замасковані під запити на грошові перекази. Коли одержувач натискає посилання, його система може бути заражена шкідливим кодом. Наведений вище сценарій підроблених електронних листів Amazon – це сценарій, створений штучним інтелектом, терміновий для продавців. Багато продавців відчули, що щось не так, уважно переглянувши вміст електронного листа, однак вони все одно виконували вказівки в електронному листі, бо хвилювалися, що могли пропустити важливу інформацію. **Крім того, генеративний штучний інтелект також може зробити фішингові електронні листи більш агресивними. **Вони можуть отримувати особисту інформацію із соціальних платформ, новинних порталів, онлайн-форумів та інших джерел, щоб створювати більш цілеспрямовані привабливі електронні листи. Це було завдання, на виконання якого зазвичай потрібні були місяці. Якщо зловмисник має доступ до цієї конфіденційної інформації, він може вставити в електронний лист більш переконливі деталі або імітувати спосіб написання. «Зараз злочинці просто захоплюють ці електронні листи, автоматично вводять їх у велику модель, а потім дають їй команду створити електронний лист, який посилається на останні п’ять онлайн-розмов, — зазначає Еван Рейзер. — Завдання, яке зараз могло зайняти вісім годин, може тепер це займає лише вісім секунд». Навіть зловмисники з обмеженими технічними можливостями можуть використовувати генеративний штучний інтелект для написання коду VBA. Вони просто вказують штучному інтелекту вбудувати шкідливу URL-адресу в код, і коли користувач відкриває файл, наприклад Excel, система автоматично завантажує та запускає шкідливе програмне забезпечення.

У минулому такі системи, як ChatGPT і Bard, мали вбудовані засоби захисту, щоб максимально запобігти створенню зловмисного вмісту, але в міру того, як з’являється все більше шкідливих версій GPT, безпека електронної пошти постає перед величезною проблемою. 21 серпня 2023 року міжнародна група досліджень безпеки Perception Point і Osterman Research спільно опублікували звіт під назвою «Роль штучного інтелекту в безпеці електронної пошти». Звіт показує тривожну тенденцію того, як кіберзлочинці використовують штучний інтелект для посилення та ускладнення загроз електронної пошти, таких як фішинг і атаки BEC. **У цьому дослідженні зазначається, що кіберзлочинці швидко використовують інструменти штучного інтелекту для захисту своїх інтересів, причому 91,1% організацій повідомили, що зазнавали атак на електронну пошту за допомогою штучного інтелекту. **

**03 Рішення: використовувати AI для боротьби з AI? **

**Під загрозою штучного інтелекту попередній метод покладатися на досвід, щоб уникнути фішингових пасток електронної пошти, більше не є ефективним. Новий контрзахід може полягати у використанні ШІ для боротьби з ШІ. **Кілька компаній з кібербезпеки інтегрували генеративний штучний інтелект у свої продукти, намагаючись вжити заходів до того, як ними можна буде зловживати у великих масштабах. Постачальники використовують штучний інтелект для покращення можливостей і процесів безпеки електронної пошти. Наприклад, щоб отримати уявлення про звички та характеристики кожного відправника й одержувача, модель штучного інтелекту розроблена для відображення моделей спілкування для кожного члена організації. Зокрема, хто надсилатиме їм повідомлення? Який зміст повідомлення? Коли і звідки надсилаються ці повідомлення? Інші зазвичай копіюють чи є лише один одержувач? Які електронні адреси використовує кожен відправник? Коротше кажучи, ШІ використовується для створення профілю звичайної поведінки кожної людини. Крім того, для виявлення незвичайних шаблонів надсилання електронних листів постачальник поєднує такі стратегії: аналіз базових шаблонів надсилання за допомогою технології соціальних графів; ідентифікація схожих або тісно пов’язаних електронних адрес; ідентифікація повідомлень, що містять методи соціальної інженерії; і виявлення самозванців. Теги та інші бренд- пов’язані візуальні елементи та класифікація тону, емоцій і стилю в електронних листах. Усі наведені вище стратегії допомагають виявляти аномальні електронні листи, призначені для того, щоб заплутати людський розум. Хоча люди, які пройшли навчання з питань безпеки, також можуть виявити ці аномальні сигнали, тільки штучний інтелект може інтегрувати всі параметри аналізу на швидкості мережі, щоб забезпечити безперервне та надійне виявлення в умовах масових повідомлень. Рішення зі штучним інтелектом також можуть використовувати кілька моделей машинного навчання для ідентифікації інформації зі шкідливим вмістом. Ці моделі розробляються, адаптуються та оновлюються на основі набору даних інформації, позначеної як шкідлива або нешкідлива. Деякі постачальники використовують генеративну технологію штучного інтелекту для генерації додаткових вибіркових даних із відомої шкідливої інформації, яка забезпечує багатші високоякісні навчальні дані для моделей машинного навчання. **Єдиний, хто може перемогти ШІ, це ШІ. ** Насправді багато організацій уже використовують ШІ для захисту електронної пошти. За даними Osterman Research, протягом останніх двох років чотири з п’яти організацій розгорнули або активно просувають рішення безпеки електронної пошти на основі штучного інтелекту як доповнення до звичайних засобів захисту.

Серед них є два основні способи запровадження штучного інтелекту для посилення безпеки електронної пошти: з одного боку, існуючі постачальники безпеки електронної пошти інтегрують захист штучного інтелекту у свої продукти; з іншого боку, організації свідомо шукають нові рішення з підтримкою штучного інтелекту. За останні два роки п’ята частина респондентів досі не прийняла таких рішень: 12,7% не впровадили жодних рішень, тоді як 6,0% активно вивчають та оцінюють можливі варіанти. **Згідно з даними Osterman Research, ШІ продемонстрував великі можливості для підвищення ефективності виявлення та посилення захисту. **

Організації мають певну ефективність виявлення, перш ніж прийняти рішення безпеки електронної пошти з розширеним штучним інтелектом. Але оскільки кіберзлочинці використовують штучний інтелект для вдосконалення своїх методів атак, організації, які не мають захисту від штучного інтелекту, виявлять серйозні проблеми з ефективністю виявлення. Лише будучи сильними, як диявол, ми можемо повернути зловмисників і захисників фішингових електронних листів до тієї самої вихідної лінії технології ШІ.

(персонажі статті — псевдоніми)

Довідка:

Понад 91% організацій стикалися з атаками на електронну пошту за допомогою штучного інтелекту та 84% очікують продовження використання ШІ для обходу існуючих систем безпеки WormGPT — генеративний інструмент штучного інтелекту, який кіберзлочинці використовують для атак компрометації бізнес-електронної пошти WormGPT і FraudGPT - зростання шкідливих LLM Генеративний штучний інтелект може революціонізувати електронну пошту для хакерів