Лише через три дні після того, як Meta анонсувала нове покоління великої мовної моделі з відкритим кодом Llama 2, топ-менеджери компанії, Microsoft, OpenAI, Amazon, Anthropic та інші сім гігантів індустрії штучного інтелекту, а також керівники гарячих стартап-компаній знову зібралися в Білому домі в Сполучених Штатах.
Під час цієї події сім компаній підписали «Добровільні зобов’язання» (Voluntary Commitments), взявши на себе «8 основних зобов’язань» щодо безпеки, прозорості та ризиків технологій штучного інтелекту та досліджень і розробок.
Джерело зображення: створено Unbounded AI
Драма компанії AI «пошук нагляду» досягла невеликої кульмінації тут.
Оглядач NYT Кевін Руз написав статтю, детально пояснюючи, що сказано у «8 головних обіцянках» і які зміни вони спричинили.
Результат дослідження полягає в тому, що ці 8 зобов’язань, як-от тестування безпеки, обмін інформацією про безпеку штучного інтелекту, звітування про вразливості та «пріоритезація штучного інтелекту для вирішення соціальних проблем», здаються серйозними проблемами, а у відповідних зобов’язаннях бракує деталей. Багато з самих проблем були «розголошені» громадськості компаніями штучного інтелекту.
Цей «Лист про надання ресурсів» більше схожий на непряме «відображення результатів» кількох запитів регуляторів США до компаній ШІ за останні шість місяців, і, ймовірно, він не має особливого значення для реалізації. Однак регулятори кілька разів висловлювали занепокоєння щодо штучного інтелекту, вказуючи на те, що позиція уряду щодо застосування технології штучного інтелекту має найбільше значення цього шоу.
Нижче наведено інтерпретацію Кевіна Руза щодо 8 зобов’язань у «Листі про добровільні зобов’язання»:
** Зобов’язання 1: компанія зобов’язується проводити внутрішнє та зовнішнє тестування безпеки систем ШІ перед їх випуском. **
Усі ці компанії зі штучного інтелекту провели тести на безпеку своїх моделей, які часто називають «тестуванням червоної команди», перш ніж їх випустити. Певним чином, це насправді не нова обіцянка, вона розпливчаста. Не було надано жодної інформації про те, який вид тестування буде потрібно і ким.
У наступній заяві Білий дім лише зазначив, що тестування моделей штучного інтелекту «частково проводитиметься незалежними експертами» і зосереджуватиметься на «ризиках штучного інтелекту, таких як біозахист і кібербезпека, а також їх ширші суспільні наслідки».
Це гарна ідея, щоб компанії, що займаються штучним інтелектом, публічно взяли на себе зобов’язання продовжувати таке тестування та заохочувати більшу прозорість у процесі тестування. Існують також типи ризиків штучного інтелекту, як-от небезпека того, що моделі штучного інтелекту можуть бути використані для розробки біологічної зброї, які урядові та військові чиновники можуть краще оцінити, ніж компанії.
Я радий бачити, що індустрія штучного інтелекту узгоджує набір стандартних тестів безпеки, таких як тести Alignment Research Center на «самовідтворення» для попередніх моделей від OpenAI і Anthropic. Я також хотів би, щоб федеральний уряд фінансував такі тести, які можуть бути дорогими та вимагати інженерів із значними технічними знаннями. Зараз багато тестів безпеки фінансуються та контролюються корпораціями, що викликає очевидні проблеми конфлікту інтересів.
** Зобов’язання 2: компанія зобов’язується ділитися інформацією щодо управління ризиками штучного інтелекту в галузі та з урядом, громадянським суспільством і науковими колами. **
Ця обіцянка також трохи розпливчаста. Деякі з цих компаній опублікували інформацію про свої моделі штучного інтелекту — часто в наукових статтях або публікаціях корпоративних блогів. Деякі з цих компаній, зокрема OpenAI і Anthropic, також опублікували документи під назвою «Картки», в яких описано кроки, які вони вживають, щоб зробити ці моделі більш безпечними.
Але вони також іноді приховують інформацію, посилаючись на проблеми безпеки. Коли OpenAI випустив свою останню модель штучного інтелекту, GPT-4, цього року, він порушив галузеві конвенції, вирішивши не розкривати обсяг своїх навчальних даних або розмір моделі (метрика під назвою «параметри»). У компанії заявили, що відмовилися розголошувати інформацію через проблеми конкуренції та безпеки. Це також тип даних, який технологічні компанії люблять тримати подалі від конкурентів.
Згідно з цими новими зобов’язаннями, чи будуть компанії, що займаються штучним інтелектом, змушені розкривати таку інформацію? Що, якщо це ризикує прискорити гонку озброєнь ШІ?
Я підозрюю, що мета Білого дому полягає не в тому, щоб змусити компанії розкривати номери своїх параметрів, а радше в тому, щоб заохотити їх обмінюватися інформацією одна з одною про ризики, які створюють (або не створюють) їхні моделі.
Але навіть такий обмін інформацією може бути ризикованим. Якщо команда Google AI під час попереднього тестування завадить використанню нових моделей для розробки смертоносної біологічної зброї, чи повинна вона ділитися цією інформацією з Google? Чи дає це поганим акторам ідеї щодо того, як змусити менш захищену модель виконувати те саме завдання?
** Зобов’язання 3: Компанія зобов’язується інвестувати в кібербезпеку та заходи захисту від інсайдерських загроз, щоб захистити власну та неопубліковану модель ваги. **
Це питання дуже просте і не викликає суперечок серед інсайдерів ШІ, з якими я спілкувався. «Вага моделей» — це технічний термін, що стосується математичних інструкцій, які дають моделям штучного інтелекту здатність працювати. Якщо ви агент іноземного уряду (або конкуруючої компанії), який хоче створити власну версію ChatGPT або іншого продукту штучного інтелекту, ваги – це те, що ви хочете вкрасти. Компанії штучного інтелекту зацікавлені в жорсткому контролі за цим.
Проблема витоку маси моделі добре відома.
Наприклад, ваги для оригінальної мовної моделі LLaMA від Meta просочилися на 4chan та інші сайти лише через кілька днів після того, як модель була опублікована. Враховуючи ризик нових витоків і ймовірність того, що інші країни можуть бути зацікавлені в крадіжці технологій у американських компаній, вимагати від компаній штучного інтелекту інвестувати більше у власну безпеку виглядає простою проблемою.
** Зобов’язання 4: обидві компанії зобов’язуються сприяти виявленню сторонніми вразливостями у своїх системах штучного інтелекту та повідомляти про них. **
Я не зовсім впевнений, що це означає. Після того, як кожна компанія, що займається штучним інтелектом, випускає модель, вона виявляє прогалини у своїй моделі, як правило, через те, що користувачі намагаються зробити з моделлю погані речі або обійти «злам» у спосіб, який компанія не передбачила.
Білий дім пообіцяв вимагати від компаній створення «надійних механізмів звітності» про вразливості, але незрозуміло, що це може означати.
Кнопка зворотного зв’язку в додатку, подібна до тих, які дозволяють користувачам Facebook і Twitter повідомляти про образливі публікації? Програма винагороди за помилки, як та, яку OpenAI запустив цього року, щоб винагороджувати користувачів, які знаходять помилки в її системах? Є ще щось? Доведеться дочекатися більш детальної інформації.
** Зобов’язання 5: компанія прагне розробити надійні технічні механізми, щоб переконатися, що користувачі знають, коли контент створюється штучним інтелектом, наприклад системами водяних знаків. **
Це цікава ідея, але залишає багато можливостей для інтерпретації.
Поки що компанії зі штучним інтелектом намагалися розробити інструменти, які дозволяли б людям визначити, чи переглядають вони контент, створений ШІ. Для цього є вагомі технічні причини, але це справжня проблема, коли люди можуть видавати роботу, згенеровану ШІ, за свою (запитайте будь-якого вчителя середньої школи).
Багато з поточних інструментів, які рекламуються як здатні виявляти результати штучного інтелекту, насправді не можуть зробити це з будь-яким ступенем точності.
Я не сподіваюся, що це питання буде повністю вирішено, але я радий, що компанії готові працювати над цим.
**Зобов’язання 6: Компанії зобов’язуються публічно повідомляти про можливості, обмеження та області належного та неналежного використання своїх систем ШІ. **
Ще одне зобов’язання, яке звучить розумно, і має багато можливостей для ворушіння.
Як часто компаніям потрібно звітувати про можливості та обмеження своїх систем? Наскільки детальною має бути ця інформація? Зважаючи на те, що багато компаній, які створюють системи штучного інтелекту, здивовані можливостями своїх систем після факту, наскільки вони можуть насправді описати ці системи заздалегідь?
** Зобов’язання 7: Компанії зобов’язуються віддавати пріоритет дослідженням ризиків для суспільства, які можуть становити системи штучного інтелекту, включаючи уникнення шкідливих упереджень і дискримінації та захист конфіденційності. **
Зобов'язання щодо «пріоритезації досліджень» є нечітким зобов'язанням. Тим не менш, я вважаю, що це зобов’язання буде вітатися багатьма членами спільноти етики штучного інтелекту, які хочуть, щоб компанії ШІ надавали пріоритет запобіганню короткостроковій шкоді, як-от упередженості та дискримінації, а не хвилювалися про сценарії кінця світу, як це роблять люди з безпеки ШІ.
Якщо вас бентежить різниця між «етикою штучного інтелекту» та «безпекою штучного інтелекту», знайте, що в дослідницькій спільноті штучного інтелекту є дві ворогуючі фракції, кожна з яких вважає, що інша зосереджена на запобіганні шкоди від помилок.
** Зобов’язання 8: обидві компанії зобов’язуються розробляти та розгортати передові системи штучного інтелекту, щоб допомогти вирішити найбільші виклики суспільства. **
Я не думаю, що багато хто буде сперечатися, що передовий штучний інтелект не слід використовувати для вирішення найбільших проблем суспільства. Я б не погодився з тим, що Білий дім назвав профілактику раку та пом’якшення кліматичних змін двома сферами, на яких він хоче, щоб компанії ШІ зосередилися.
Проте дещо ускладнює цю мету те, що в дослідженнях штучного інтелекту речі, які спочатку здаються нудними, як правило, мають серйозніші наслідки.
Деякі методи, використані AlphaGo від DeepMind, системою штучного інтелекту, навченою грати в настільну гру Go, були надзвичайно корисними для передбачення тривимірної структури білків, що є головним відкриттям, яке просуває фундаментальні наукові дослідження.
Загалом угоди Білого дому з компаніями штучного інтелекту виглядають швидше символічними, ніж суттєвими. Немає жодних механізмів примусу, які б гарантували дотримання компаніями цих зобов’язань, багато з яких відображають запобіжні заходи, які вже вжили компанії ШІ.
Тим не менш, це розумний перший крок.
Згода дотримуватися цих правил свідчить про те, що компанії зі штучним інтелектом навчилися на невдачах перших технологічних компаній, які чекали, поки не потрапили в проблеми, перш ніж вступати в контакти з урядами. У Вашингтоні, принаймні, коли справа доходить до регулювання технологій, варто з’явитися раніше.
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Сім гігантів ШІ дали 8 головних обіцянок у Білому домі. Що вони обіцяли?
Лише через три дні після того, як Meta анонсувала нове покоління великої мовної моделі з відкритим кодом Llama 2, топ-менеджери компанії, Microsoft, OpenAI, Amazon, Anthropic та інші сім гігантів індустрії штучного інтелекту, а також керівники гарячих стартап-компаній знову зібралися в Білому домі в Сполучених Штатах.
Під час цієї події сім компаній підписали «Добровільні зобов’язання» (Voluntary Commitments), взявши на себе «8 основних зобов’язань» щодо безпеки, прозорості та ризиків технологій штучного інтелекту та досліджень і розробок.
Драма компанії AI «пошук нагляду» досягла невеликої кульмінації тут.
Оглядач NYT Кевін Руз написав статтю, детально пояснюючи, що сказано у «8 головних обіцянках» і які зміни вони спричинили.
Результат дослідження полягає в тому, що ці 8 зобов’язань, як-от тестування безпеки, обмін інформацією про безпеку штучного інтелекту, звітування про вразливості та «пріоритезація штучного інтелекту для вирішення соціальних проблем», здаються серйозними проблемами, а у відповідних зобов’язаннях бракує деталей. Багато з самих проблем були «розголошені» громадськості компаніями штучного інтелекту.
Цей «Лист про надання ресурсів» більше схожий на непряме «відображення результатів» кількох запитів регуляторів США до компаній ШІ за останні шість місяців, і, ймовірно, він не має особливого значення для реалізації. Однак регулятори кілька разів висловлювали занепокоєння щодо штучного інтелекту, вказуючи на те, що позиція уряду щодо застосування технології штучного інтелекту має найбільше значення цього шоу.
Нижче наведено інтерпретацію Кевіна Руза щодо 8 зобов’язань у «Листі про добровільні зобов’язання»:
** Зобов’язання 1: компанія зобов’язується проводити внутрішнє та зовнішнє тестування безпеки систем ШІ перед їх випуском. **
Усі ці компанії зі штучного інтелекту провели тести на безпеку своїх моделей, які часто називають «тестуванням червоної команди», перш ніж їх випустити. Певним чином, це насправді не нова обіцянка, вона розпливчаста. Не було надано жодної інформації про те, який вид тестування буде потрібно і ким.
У наступній заяві Білий дім лише зазначив, що тестування моделей штучного інтелекту «частково проводитиметься незалежними експертами» і зосереджуватиметься на «ризиках штучного інтелекту, таких як біозахист і кібербезпека, а також їх ширші суспільні наслідки».
Це гарна ідея, щоб компанії, що займаються штучним інтелектом, публічно взяли на себе зобов’язання продовжувати таке тестування та заохочувати більшу прозорість у процесі тестування. Існують також типи ризиків штучного інтелекту, як-от небезпека того, що моделі штучного інтелекту можуть бути використані для розробки біологічної зброї, які урядові та військові чиновники можуть краще оцінити, ніж компанії.
Я радий бачити, що індустрія штучного інтелекту узгоджує набір стандартних тестів безпеки, таких як тести Alignment Research Center на «самовідтворення» для попередніх моделей від OpenAI і Anthropic. Я також хотів би, щоб федеральний уряд фінансував такі тести, які можуть бути дорогими та вимагати інженерів із значними технічними знаннями. Зараз багато тестів безпеки фінансуються та контролюються корпораціями, що викликає очевидні проблеми конфлікту інтересів.
** Зобов’язання 2: компанія зобов’язується ділитися інформацією щодо управління ризиками штучного інтелекту в галузі та з урядом, громадянським суспільством і науковими колами. **
Ця обіцянка також трохи розпливчаста. Деякі з цих компаній опублікували інформацію про свої моделі штучного інтелекту — часто в наукових статтях або публікаціях корпоративних блогів. Деякі з цих компаній, зокрема OpenAI і Anthropic, також опублікували документи під назвою «Картки», в яких описано кроки, які вони вживають, щоб зробити ці моделі більш безпечними.
Але вони також іноді приховують інформацію, посилаючись на проблеми безпеки. Коли OpenAI випустив свою останню модель штучного інтелекту, GPT-4, цього року, він порушив галузеві конвенції, вирішивши не розкривати обсяг своїх навчальних даних або розмір моделі (метрика під назвою «параметри»). У компанії заявили, що відмовилися розголошувати інформацію через проблеми конкуренції та безпеки. Це також тип даних, який технологічні компанії люблять тримати подалі від конкурентів.
Згідно з цими новими зобов’язаннями, чи будуть компанії, що займаються штучним інтелектом, змушені розкривати таку інформацію? Що, якщо це ризикує прискорити гонку озброєнь ШІ?
Я підозрюю, що мета Білого дому полягає не в тому, щоб змусити компанії розкривати номери своїх параметрів, а радше в тому, щоб заохотити їх обмінюватися інформацією одна з одною про ризики, які створюють (або не створюють) їхні моделі.
Але навіть такий обмін інформацією може бути ризикованим. Якщо команда Google AI під час попереднього тестування завадить використанню нових моделей для розробки смертоносної біологічної зброї, чи повинна вона ділитися цією інформацією з Google? Чи дає це поганим акторам ідеї щодо того, як змусити менш захищену модель виконувати те саме завдання?
** Зобов’язання 3: Компанія зобов’язується інвестувати в кібербезпеку та заходи захисту від інсайдерських загроз, щоб захистити власну та неопубліковану модель ваги. **
Це питання дуже просте і не викликає суперечок серед інсайдерів ШІ, з якими я спілкувався. «Вага моделей» — це технічний термін, що стосується математичних інструкцій, які дають моделям штучного інтелекту здатність працювати. Якщо ви агент іноземного уряду (або конкуруючої компанії), який хоче створити власну версію ChatGPT або іншого продукту штучного інтелекту, ваги – це те, що ви хочете вкрасти. Компанії штучного інтелекту зацікавлені в жорсткому контролі за цим.
Проблема витоку маси моделі добре відома.
Наприклад, ваги для оригінальної мовної моделі LLaMA від Meta просочилися на 4chan та інші сайти лише через кілька днів після того, як модель була опублікована. Враховуючи ризик нових витоків і ймовірність того, що інші країни можуть бути зацікавлені в крадіжці технологій у американських компаній, вимагати від компаній штучного інтелекту інвестувати більше у власну безпеку виглядає простою проблемою.
** Зобов’язання 4: обидві компанії зобов’язуються сприяти виявленню сторонніми вразливостями у своїх системах штучного інтелекту та повідомляти про них. **
Я не зовсім впевнений, що це означає. Після того, як кожна компанія, що займається штучним інтелектом, випускає модель, вона виявляє прогалини у своїй моделі, як правило, через те, що користувачі намагаються зробити з моделлю погані речі або обійти «злам» у спосіб, який компанія не передбачила.
Білий дім пообіцяв вимагати від компаній створення «надійних механізмів звітності» про вразливості, але незрозуміло, що це може означати.
Кнопка зворотного зв’язку в додатку, подібна до тих, які дозволяють користувачам Facebook і Twitter повідомляти про образливі публікації? Програма винагороди за помилки, як та, яку OpenAI запустив цього року, щоб винагороджувати користувачів, які знаходять помилки в її системах? Є ще щось? Доведеться дочекатися більш детальної інформації.
** Зобов’язання 5: компанія прагне розробити надійні технічні механізми, щоб переконатися, що користувачі знають, коли контент створюється штучним інтелектом, наприклад системами водяних знаків. **
Це цікава ідея, але залишає багато можливостей для інтерпретації.
Поки що компанії зі штучним інтелектом намагалися розробити інструменти, які дозволяли б людям визначити, чи переглядають вони контент, створений ШІ. Для цього є вагомі технічні причини, але це справжня проблема, коли люди можуть видавати роботу, згенеровану ШІ, за свою (запитайте будь-якого вчителя середньої школи).
Багато з поточних інструментів, які рекламуються як здатні виявляти результати штучного інтелекту, насправді не можуть зробити це з будь-яким ступенем точності.
Я не сподіваюся, що це питання буде повністю вирішено, але я радий, що компанії готові працювати над цим.
**Зобов’язання 6: Компанії зобов’язуються публічно повідомляти про можливості, обмеження та області належного та неналежного використання своїх систем ШІ. **
Ще одне зобов’язання, яке звучить розумно, і має багато можливостей для ворушіння.
Як часто компаніям потрібно звітувати про можливості та обмеження своїх систем? Наскільки детальною має бути ця інформація? Зважаючи на те, що багато компаній, які створюють системи штучного інтелекту, здивовані можливостями своїх систем після факту, наскільки вони можуть насправді описати ці системи заздалегідь?
** Зобов’язання 7: Компанії зобов’язуються віддавати пріоритет дослідженням ризиків для суспільства, які можуть становити системи штучного інтелекту, включаючи уникнення шкідливих упереджень і дискримінації та захист конфіденційності. **
Зобов'язання щодо «пріоритезації досліджень» є нечітким зобов'язанням. Тим не менш, я вважаю, що це зобов’язання буде вітатися багатьма членами спільноти етики штучного інтелекту, які хочуть, щоб компанії ШІ надавали пріоритет запобіганню короткостроковій шкоді, як-от упередженості та дискримінації, а не хвилювалися про сценарії кінця світу, як це роблять люди з безпеки ШІ.
Якщо вас бентежить різниця між «етикою штучного інтелекту» та «безпекою штучного інтелекту», знайте, що в дослідницькій спільноті штучного інтелекту є дві ворогуючі фракції, кожна з яких вважає, що інша зосереджена на запобіганні шкоди від помилок.
** Зобов’язання 8: обидві компанії зобов’язуються розробляти та розгортати передові системи штучного інтелекту, щоб допомогти вирішити найбільші виклики суспільства. **
Я не думаю, що багато хто буде сперечатися, що передовий штучний інтелект не слід використовувати для вирішення найбільших проблем суспільства. Я б не погодився з тим, що Білий дім назвав профілактику раку та пом’якшення кліматичних змін двома сферами, на яких він хоче, щоб компанії ШІ зосередилися.
Проте дещо ускладнює цю мету те, що в дослідженнях штучного інтелекту речі, які спочатку здаються нудними, як правило, мають серйозніші наслідки.
Деякі методи, використані AlphaGo від DeepMind, системою штучного інтелекту, навченою грати в настільну гру Go, були надзвичайно корисними для передбачення тривимірної структури білків, що є головним відкриттям, яке просуває фундаментальні наукові дослідження.
Загалом угоди Білого дому з компаніями штучного інтелекту виглядають швидше символічними, ніж суттєвими. Немає жодних механізмів примусу, які б гарантували дотримання компаніями цих зобов’язань, багато з яких відображають запобіжні заходи, які вже вжили компанії ШІ.
Тим не менш, це розумний перший крок.
Згода дотримуватися цих правил свідчить про те, що компанії зі штучним інтелектом навчилися на невдачах перших технологічних компаній, які чекали, поки не потрапили в проблеми, перш ніж вступати в контакти з урядами. У Вашингтоні, принаймні, коли справа доходить до регулювання технологій, варто з’явитися раніше.