«AI Хакер» наступає, як Agentic AI може стати новим захисником?

Автор: пампуючий гік

01 AI підйом: безпека в таємній війні під двосічним мечем технологій

З розвитком технологій штучного інтелекту загрози, з якими стикається кібербезпека, стають все більш складними. Методи атак не тільки стають більш ефективними та прихованими, але й породжують нові форми «AI хакерів», що викликає різноманітні нові кризи в галузі кібербезпеки.

По-перше, генеративний ШІ радикально змінює «точність» мережевого шахрайства.

Простіше кажучи, це означає інтелектуалізацію традиційних фішингових атак. Наприклад, у більш точних сценаріях зловмисники використовують відкриті соціальні дані для навчання AI-моделей, масово генеруючи персоналізовані фішингові електронні листи, імітуючи стиль написання або мовні звички конкретних користувачів, здійснюючи «кастомізоване» шахрайство, обходячи традиційні фільтри спаму та значно підвищуючи ймовірність успіху атаки.

Далі йдеться про найбільш відомі широкій аудиторії глибокі підробки (Deepfake) та викрадення особистості. До того, як технології ШІ стали зрілими, традиційна "зміна обличчя" у шахрайських атаках, тобто BEC шахрайство, що розшифровується як "Business Email Compromise", полягає в тому, що зловмисник маскує відправника електронного листа під виглядом вашого керівника, колеги або ділового партнера, щоб обманом отримати комерційну інформацію або гроші, або ж отримати інші важливі дані.

Тепер "зміна обличчя" дійсно відбулася. Технологія заміни облич і зміни голосу, створена штучним інтелектом, може підробляти особистості громадських діячів або друзів і родичів для шахрайства, маніпулювання громадською думкою і навіть політичного втручання. Буквально два місяці тому фінансовий директор компанії в Шанхаї отримав запрошення на відеоконференцію від «голови», який стверджував, що терміново виплатить «депозит за співпрацю за кордоном» через обмін обличчями ШІ, а директор перерахував на призначений рахунок 3,8 мільйона юанів відповідно до інструкцій.

Третє - це автоматизовані атаки та використання вразливостей. Прогрес технологій ШІ призводить до того, що велика кількість сценаріїв переходить до інтелектуалізації та автоматизації, і мережеві атаки не є винятком. Зловмисники можуть використовувати ШІ для автоматичного сканування системних вразливостей, створення динамічного коду атак і здійснення швидких, безрозбірливих атак на ціль, наприклад, атаки нульового дня, які, виявивши вразливість, негайно пишуть і виконують шкідливу програму, в той час як традиційні системи захисту важко реагують в реальному часі.

Саме цього року, під час Китайського Нового року, веб-сайт DeepSeek зазнав масштабної DDoS-атаки обсягом 3,2 Тбіт/с. Хакери одночасно через API проникли та впровадили зразки для боротьби, змінюючи ваги моделей, що призвело до паралічу основних послуг на 48 годин, безпосередні економічні збитки перевищили десятки мільйонів доларів. Після розслідування було виявлено сліди тривалої інфільтрації з боку NSA США.

Забруднення даних і вразливості моделей також є новою загрозою. Зловмисники вбудовують неправдиву інформацію в дані для навчання ШІ (тобто отруєння даними) або використовують недоліки самої моделі, спонукаючи ШІ видавати помилкові результати — це може представляти пряму загрозу безпеці в ключових сферах і навіть призвести до ланцюгових катастрофічних наслідків, таких як система автономного водіння, яка через зразки, що протидіють, помилково ідентифікує «заборонено проїзд» як «знак обмеження швидкості», або медичний ШІ, що помилково класифікує доброякісну пухлину як злоякісну.

02 AI ще потребує AI лікування

З огляду на нові загрози в кібербезпеці, що викликані штучним інтелектом, традиційні методи захисту вже неефективні. Отже, які у нас є стратегії реагування?

Неважко помітити, що нинішня галузева згода вже вказує на «протистояння AI проти AI» — це не лише оновлення технічних засобів, а й зміна парадигми безпеки.

Існуючі спроби в основному поділяються на три великі категорії: технології захисту безпеки AI-моделей, галузеві оборонні додатки та більш макрорівневу співпрацю урядів і міжнародних організацій.

Ключовим моментом технологій захисту безпеки AI-моделей є внутрішнє зміцнення безпеки моделей.

Як приклад «джейлбрейку» у великих мовних моделях (LLM), їх механізми безпеки часто виявляються неефективними через загальні стратегії підказок для джейлбрейку — зловмисники систематично обходять вбудовані захисні шари моделі, спонукаючи ШІ генерувати насильницький, дискримінаційний або незаконний контент. Щоб запобігти «джейлбрейку» LLM, різні компанії, що займаються моделями, роблять спроби, наприклад, Anthropic у лютому цього року випустила «конституційний класифікатор».

Тут «конституція» відноситься до невід'ємних правил природної мови, які є заходом забезпечення при навчанні на синтетичних даних, шляхом визначення дозволеного та забороненого контенту, в режимі реального часу моніторячи вхідні та вихідні дані. У тестах за базовими умовами, модель Claude3.5 під захистом класифікатора підвищила успішний показник блокування спроб високого рівня «джейлбрейку» з 14% до 95%, що суттєво знизило ризик «джейлбрейку» ШІ.

Окрім моделей та більш загальних засобів захисту, галузеві рішення для захисту також заслуговують на увагу, оскільки сценічний захист в їх вертикальних областях стає ключовою точкою прориву: фінансовий сектор будує бар'єри проти шахрайства за допомогою AI моделей ризик-менеджменту та аналізу мультимодальних даних, а відкриті екосистеми швидко реагують на нульові загрози за допомогою технологій інтелектуального виявлення вразливостей, в той час як захист чутливої інформації підприємств спирається на динамічну систему управління, керовану AI.

Наприклад, рішення, представлене Cisco на Міжнародному тижні мереж у Сінгапурі, може в реальному часі перехоплювати запити співробітників на подання чутливих даних до ChatGPT і автоматично генерувати звіт про дотримання норм для оптимізації управлінського замкнутого циклу.

На макрорівні співпраця урядів з міжнародними міжрегіональними ініціативами також прискорюється. Агентство з кібербезпеки Сінгапуру опублікувало «Посібник з безпеки систем штучного інтелекту», який через вимоги до локалізації розгортання та механізмів шифрування даних обмежує зловживання генеративним ШІ, особливо встановлюючи стандарти захисту для ідентифікації підроблених особистостей ШІ в атаках фішингу; США, Великобританія та Канада одночасно запустили «Програму мережевих агентів ШІ», зосередившись на розробці надійних систем та оцінці реального часу APT-атак, зміцнюючи колективні оборонні можливості через спільну систему безпекової сертифікації.

Отже, які методи можуть максимізувати використання ШІ для вирішення викликів кібербезпеки в епоху ШІ?

«Майбутнє потребує безпечного інтелектуального центру на базі AI та побудови нової системи навколо цього центру.» На Другому форумі з інновацій у сфері кібербезпеки в Ухані засновник QingTeng Cloud Security Чжан Фу наголосив у своїй доповіді, що використання AI проти AI є ключем до майбутньої системи оборони в сфері кібербезпеки: «Протягом 3 років AI зламає існуючу безпекову індустрію та всі 2B галузі. Продукти будуть перезбудовані, що дозволить досягти раніше небачених ефективності та можливостей. Майбутні продукти призначені для AI, а не для людей.»

Серед ряду рішень, модель Security Copilot очевидно надає гарний приклад для «майбутні продукти призначені для AI»: рік тому Microsoft запустила інтелектуальний Microsoft Security Copilot як помічника для допомоги командам безпеки швидко та точно виявляти, розслідувати та реагувати на інциденти безпеки; місяць тому була знову випущена AI-інтелектуальна система для автоматичної допомоги в ключових сферах, таких як фішинг, безпека даних та управління ідентичністю.

Майкрософт додав шість нових власних AI інтелектів для розширення функцій Security Copilot. Три з них призначені для допомоги фахівцям з кібербезпеки в відборі сповіщень: інтелект для класифікації фішингів перевіряє фішингові сповіщення та фільтрує помилкові сповіщення; ще два аналізують сповіщення Purview, виявляючи випадки несанкціонованого використання бізнес-даних співробітниками.

Оптимізатор умов доступу співпрацює з Microsoft Entra, вказуючи на небезпечні правила доступу користувачів та генеруючи рішення для виправлення одним натисканням кнопки для адміністраторів. Агент виправлення вразливостей інтегрується з інструментом управління пристроями Intune, що допомагає швидко виявляти вразливі термінали та застосовувати патчі операційної системи. Агент інформаційних звітів про загрози генерує звіт про кіберзагрози, які можуть загрожувати системам організації.

03 Безформенність: супровід високорозвиненого інтелектуального агента рівня L4

Не випадково, в Україні, для досягнення справжнього рівня безпеки «автопілота», QingTeng Cloud Security представила повноцінний безпековий інтелект «无相». Як перший у світі продукт безпеки AI, який здійснив перехід від «допоміжного AI» до «автономного інтелекту» (Autopilot), його основний прорив полягає в переосмисленні традиційної моделі «пасивної реакції» інструментів, що робить його автономним, автоматичним та інтелектуальним.

Завдяки інтеграції машинного навчання, графа знань і технології автоматизованого прийняття рішень, Wuxiang може самостійно завершити весь процес виявлення загроз замкнутого циклу, оцінки впливу та реагування на них, реалізуючи автономне прийняття рішень і орієнтуючись на цілі в прямому сенсі цього слова. Його «Agentic AI Architecture» призначена для імітації спільної логіки людської команди безпеки: «мозок» інтегрує базу знань з мережевої безпеки для підтримки можливостей планування, «очі» сприймають динаміку мережевого середовища на тонкому рівні, гнучко викликають різноманітні ланцюжки інструментів безпеки «руками та ногами», а також формують ефективну мережу досліджень та суджень для обміну інформацією за допомогою співпраці кількох агентів, а також співпрацюють та обмінюються інформацією через розподіл праці.

З точки зору технічної реалізації, «Wuxiang» використовує «режим ReAct» (цикл «Діяй-Спостерігай-Думай-Діяй») і «Архітектура двох двигунів Plan AI + Action AI» для забезпечення динамічної корекції відхилень у складних завданнях. Наприклад, в аналізі APT-атак Plan AI виступає в ролі «організатора» для розбирання цілі завдання, а Action AI виступає в ролі «експерта з розслідування» для виконання аналізу журналів і моделювання загроз, які просуваються паралельно на основі спільних графіків знань у реальному часі.

На рівні функціональних модулів, «безформенний» створив повноцінну екосистему автономних рішень: моделювання образу інтелектуального агента для рефлексивного ітераційного мислення аналітика безпеки, динамічна оптимізація шляхів ухвалення рішень; інтеграція викликів інструментів для запиту журналів безпеки хоста, пошуку мережевої загрози та аналізу шкідливого коду на основі LLM; реальний моніторинг оточення для захоплення активів хоста та мережевої інформації; динамічне зберігання зв'язків між сутностями в знаннєвій графіці для підтримки ухвалення рішень; співпраця багатьох агентів через розподіл завдань та обмін інформацією, паралельне виконання завдань.

Наразі «Безформний» демонструє найкращі результати у трьох основних сценаріях застосування: оцінка тривог, аналіз походження та створення звітів про безпеку.

У традиційних операціях з безпеки виявлення автентичності масових сигналів тривоги займає багато часу та часу. Візьмемо для прикладу сигналізацію підвищення локальних привілеїв: агент дослідження та судження про безфазну тривогу автоматично аналізує характеристики загрози, викликає аналіз дозволів процесу, відстеження батьківського процесу, перевірку підпису програми та інші ланцюжки інструментів і, нарешті, визначає, що це помилкове спрацьовування — без ручного втручання. У існуючому тесті сигналізації Qingteng система досягла 100% покриття сигналу та точності суджень 99,99%, а також зменшила ручне робоче навантаження більш ніж на 95%.

Зіткнувшись із реальними загрозами, такими як атаки Webshell, агент швидко підтверджує ефективність атаки за допомогою витягування ознак коду, аналізу прав файлів та інших вимірювальних зв'язків. Традиційний глибокий аналіз, що вимагає співпраці кількох відділів і займає кілька днів (таких як відновлення шляхів розповсюдження, оцінка горизонтального впливу), тепер автоматично пов'язується системою з даними, такими як журнали хостів, мережевий трафік, базові поведінкові дані, генеруючи повний звіт про ланцюг атаки, що скорочує час реагування з "днів" до "хвилин".

"Наша основна мета - змінити відносини співпраці між AI та людиною, дозволяючи AI працювати як людина для реалізації переходу від L2 до L4, тобто від допоміжного водіння до високого рівня автоматизованого водіння." - поділився Ху Цзюнь, віце-президент з продуктів компанії Qingteng Lianchuang. "Зі збільшенням кількості сцен, в яких AI може адаптуватися, успішність прийняття рішень зростає, і він поступово може брати на себе більше відповідальності, що призведе до зміни розподілу відповідальності між людиною та AI."

У сцені аналізу походження спочатку спрацьовує тривога Webshell, що викликає співпрацю багатосистемної безпекової команди, керованої «безрозмірним ШІ»: «експерти з оцінки» на основі тривоги визначають файл one.jsp, генерують паралельні завдання з аналізу вмісту файлу, визначення автора, перевірки того ж каталогу та відстеження процесів, при цьому «безпековий розслідувач» викликає інструмент для аналізу журналів файлів, швидко визначаючи процес java (12606) як джерело запису, цей процес та пов'язаний хост 10.108.108.23 (виявлений через журнали доступу з високою частотою взаємодії) були включені до розслідування.

Штучний інтелект динамічно розширює підказки через картографію загроз, заглиблюючись з одного файлу на різні рівні до процесів і хостів, оцінюючи результати завдань, зведених експертами, для комплексної оцінки ризиків. Цей процес скорочує ручну перевірку, яка зазвичай триває від кількох годин до кількох днів, до кількох десятків хвилин, перевершуючи точність людських старших фахівців з безпеки у відновленні повного ланцюга атак, без сліпих зон у відстеженні горизонтальних переміщень, а оцінка червоної команди також показує, що уникнути її масштабного розслідування важко.

"Великі моделі кращі за людину, оскільки вони можуть ретельно перевірити всі кути, а не виключати малоймовірні ситуації на основі досвіду," пояснив Ху Цзюнь. "Це означає, що вони мають кращу як за широтою, так і за глибиною."

Після завершення розслідування складних атакуючих сценаріїв, упорядкування тривог та слідів розслідування та створення звіту часто займає багато часу та зусиль. Штучний інтелект може реалізувати однокнопкове підсумовування, чітко представляючи процес атаки у вигляді візуалізованої часової шкали, як у фільмі, послідовно демонструючи ключові вузли — система автоматично впорядковує ключові докази, формуючи ключові кадри атакуючого ланцюга та поєднуючи їх з контекстною інформацією середовища, в результаті чого створюється динамічна карта атакуючого ланцюга, що дозволяє представити всю траєкторію атаки інтуїтивно та об'ємно.

04 Висновок

Очевидно, що розвиток технологій штучного інтелекту створює подвійні виклики для кібербезпеки.

З одного боку, зловмисники використовують ШІ для автоматизації, персоналізації та маскування атак; з іншого боку, захисту необхідно прискорити технологічні інновації, посилюючи можливості виявлення та реагування за допомогою ШІ. У майбутньому змагання між сторонами в технологіях ШІ визначатиме загальну ситуацію в кібербезпеці, а вдосконалення безпечних інтелектуальних систем стане ключем до балансування ризиків і розвитку.

А безвідносний безпечний агент приніс нові зміни в архітектурі безпеки та когнітивному рівні.

«Безформний» за своєю суттю змінює спосіб використання ШІ, його проривність полягає в інтеграції багатовимірного сприйняття даних, генерації стратегій захисту та інтерпретованості рішень в органічну цілісність — від минулого використання ШІ як інструменту до надання ШІ можливостей для автономної та автоматизованої роботи.

Шляхом аналізу звітів, текстів, трафіку та інших гетерогенних даних система може виявляти ознаки APT-активності ще до того, як зловмисник створить повну атаку. Ще важливіше, що візуалізація процесу прийняття рішень дозволяє безпековим командам не лише бачити загрозу, але й розуміти логіку її еволюції, позбавляючи традиційні інструменти від «знати, але не розуміти» чорного ящика.

Суть цієї інновації полягає в переході від «латання дір» до «підготовки до негоди» у безпековому мисленні, що є новим визначенням правил атаки та захисту.

«Безформність» подібна до мисливця з цифровою інтуїцією: за допомогою миттєвого моделювання мікроскопічних характеристик поведінки, таких як операції з пам'яттю, вона може виділяти潜伏ні кастомні трояни з величезного шуму; механізм динамічного управління атакувальною поверхнею постійно оцінює ризик активів, забезпечуючи точне націлювання захисних ресурсів на ключові системи; а механізм інтелектуального перетворення інформації про загрози перетворює десятки тисяч попереджень на день у дієві інструкції захисту, навіть прогнозуючи напрямок еволюції варіантів атак — поки традиційні рішення все ще намагаються впоратися з вже відбувшимися вторгненнями, «безформність» вже проводить прогнозування та блокування наступних ходів атакуючого.

«Народження AI інтелектуальної центральної системи (високорівневий безпековий інтелект) повністю переформує ландшафт кібербезпеки. І єдине, що нам потрібно зробити, це скористатися цією можливістю». Чжан Фу道.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Поділіться
Прокоментувати
0/400
Немає коментарів
  • Закріпити