Рано вранці середи за пекінським часом OpenAI, американський технологічний стартап, опублікував оголошення про початок глобального набору членів мережі «червоної команди» з метою залучення зовнішніх сил для виявлення недоліків і ризиків у ШІ. системи заздалегідь.
(Джерело: OpenAI)
Концепція так званої мережі «червоної команди» або Red Teaming походить від військового моделювання. **Тобто знайдіть команду людей для імітації уявного «ворога», щоб перевірити рівень готовності вашої сторони («синя команда»). **У сфері штучного інтелекту завдання «червоної команди» полягає в тому, щоб імітувати хакерів або інших потенційно небезпечних людей і намагатися знайти лазівки у великих мовних моделях, щоб запобігти сприянню штучного інтелекту в незаконних цілях, таких як загроза соціальному захисту. в реальному суспільстві.
OpenAI каже, що протягом останніх кількох років експерти в різних галузях допомагали тестувати неопубліковані моделі. Тепер це сформувати «регулярну силу», щоб залучити велику кількість людей з різних регіонів, різних мов, різних професійних сфер і Люди з досвідом працюють разом, щоб зробити моделі ШІ безпечнішими. **На відміну від минулого, коли лише набирали групу людей для централізованого тестування перед виходом важливої версії в Інтернет, OpenAI дозволить невизначеній кількості учасників проводити тестування протягом усього циклу розробки на основі попиту.
У той же час ця мережа «червоної команди» також стане глобальною експертною бібліотекою OpenAI, а OpenAI також забезпечить платформу для спілкування між членами «червоної команди». OpenAI також перераховує деякі напрямки експертів, яких вони сподіваються найняти, на своєму офіційному веб-сайті, але також підкреслює, що він не обмежується цими сферами.
Когнітивна наука: когнітивна наука
Хімія: Хімія
Біологія: Біологія
Фізика: Фізика
Інформатика: Інформатика
Стеганографія:стеганографія
Політологія: Політологія
Психологія: Психологія
Переконання: Переконання
Економіка: Економіка
Антропология: Антропологія
Соціологія: Соціологія
HCI (Human-Computer Interaction): взаємодія людини з комп’ютером
Справедливість і упередженість: Справедливість і упередженість
Вирівнювання: цільове вирівнювання
Освіта: Освіта
Охорона здоров'я: медичне обслуговування
Закон: Закон
Безпека дітей: Безпека дітей
Кібербезпека: мережева безпека
Фінанси: Фінанси
Неправдива/дезінформація：Неправдива/неправдива інформація
Політичне використання: політичне застосування
Конфіденційність: конфіденційність
Біометрія: Біометрія
Мови та лінгвістика: мова та лінгвістика
До речі, OpenAI також заявив, що буде виплачувати винагороду учасникам, які беруть участь у проекті «червоної команди» (але не уточнив, скільки буде платити). OpenAI також підкреслив, що проекти, які беруть участь у «червоній команді», зазвичай вимагають підписання угоди про конфіденційність або збереження мовчання протягом невизначеного періоду часу.
OpenAI заявила, що канал подачі заявок залишатиметься відкритим до 1 грудня цього року.Компанія розглядатиме заявки на постійній основі та згодом оцінюватиме, чи потрібен подальший відкритий набір.
Члени «червоної команди» OpenAI, які вийшли на сцену
Як зазначає OpenAI, «червона команда» існує вже давно, і багато її членів вже отримали публічні інтерв’ю від ЗМІ.
У викривальній статті в Financial Times у квітні цього року Ендрю Уайт, професор хімічної інженерії в Університеті Рочестера в Сполучених Штатах, сказав, що він брав участь у випробуванні «червоної команди» GPT-4** і що метою його атаки було використання ChatGPT для створення абсолютно нового нейротоксину. Уайт сказав, що він використовував функцію «плагіна», щоб передати великій моделі статті з хімії та каталоги виробників хімікатів, і велика модель навіть знайшла йому місце, де він міг виробляти свій гіпотетичний токсин. **
Вайт сказав, що великі моделі можуть згодом допомогти багатьом людям проводити хімічні експерименти швидше й точніше, але також існує серйозна небезпека, що деякі люди використовуватимуть штучний інтелект для проведення небезпечних експериментів.
Отримавши відгук від Вайта, OpenAI вніс зміни в систему, щоб гарантувати, що вона не відповідатиме на подібні запитання. За даними ЗМІ, близько 10 членів "червоної команди" з різним досвідом - юристи, викладачі, співробітники контролю ризиків, дослідники безпеки тощо. Більшість із них розташовані в США та Європі. Вони розповіли, що за кілька місяців до виходу GPT-4 вони витратили приблизно 10-40 годин на тестування системи та отримували близько 100 доларів на годину.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
OpenAI оголошує про відкритий набір у мережу «червоної команди», ось-ось з’явиться суперекспертна бібліотека, орієнтована на ШІ
**Джерело: **Financial Associated Press
Редактор Ши Чженчен
Рано вранці середи за пекінським часом OpenAI, американський технологічний стартап, опублікував оголошення про початок глобального набору членів мережі «червоної команди» з метою залучення зовнішніх сил для виявлення недоліків і ризиків у ШІ. системи заздалегідь.
Концепція так званої мережі «червоної команди» або Red Teaming походить від військового моделювання. **Тобто знайдіть команду людей для імітації уявного «ворога», щоб перевірити рівень готовності вашої сторони («синя команда»). **У сфері штучного інтелекту завдання «червоної команди» полягає в тому, щоб імітувати хакерів або інших потенційно небезпечних людей і намагатися знайти лазівки у великих мовних моделях, щоб запобігти сприянню штучного інтелекту в незаконних цілях, таких як загроза соціальному захисту. в реальному суспільстві.
OpenAI каже, що протягом останніх кількох років експерти в різних галузях допомагали тестувати неопубліковані моделі. Тепер це сформувати «регулярну силу», щоб залучити велику кількість людей з різних регіонів, різних мов, різних професійних сфер і Люди з досвідом працюють разом, щоб зробити моделі ШІ безпечнішими. **На відміну від минулого, коли лише набирали групу людей для централізованого тестування перед виходом важливої версії в Інтернет, OpenAI дозволить невизначеній кількості учасників проводити тестування протягом усього циклу розробки на основі попиту.
У той же час ця мережа «червоної команди» також стане глобальною експертною бібліотекою OpenAI, а OpenAI також забезпечить платформу для спілкування між членами «червоної команди». OpenAI також перераховує деякі напрямки експертів, яких вони сподіваються найняти, на своєму офіційному веб-сайті, але також підкреслює, що він не обмежується цими сферами.
До речі, OpenAI також заявив, що буде виплачувати винагороду учасникам, які беруть участь у проекті «червоної команди» (але не уточнив, скільки буде платити). OpenAI також підкреслив, що проекти, які беруть участь у «червоній команді», зазвичай вимагають підписання угоди про конфіденційність або збереження мовчання протягом невизначеного періоду часу.
OpenAI заявила, що канал подачі заявок залишатиметься відкритим до 1 грудня цього року.Компанія розглядатиме заявки на постійній основі та згодом оцінюватиме, чи потрібен подальший відкритий набір.
Члени «червоної команди» OpenAI, які вийшли на сцену
Як зазначає OpenAI, «червона команда» існує вже давно, і багато її членів вже отримали публічні інтерв’ю від ЗМІ.
У викривальній статті в Financial Times у квітні цього року Ендрю Уайт, професор хімічної інженерії в Університеті Рочестера в Сполучених Штатах, сказав, що він брав участь у випробуванні «червоної команди» GPT-4** і що метою його атаки було використання ChatGPT для створення абсолютно нового нейротоксину. Уайт сказав, що він використовував функцію «плагіна», щоб передати великій моделі статті з хімії та каталоги виробників хімікатів, і велика модель навіть знайшла йому місце, де він міг виробляти свій гіпотетичний токсин. **
Вайт сказав, що великі моделі можуть згодом допомогти багатьом людям проводити хімічні експерименти швидше й точніше, але також існує серйозна небезпека, що деякі люди використовуватимуть штучний інтелект для проведення небезпечних експериментів.
Отримавши відгук від Вайта, OpenAI вніс зміни в систему, щоб гарантувати, що вона не відповідатиме на подібні запитання. За даними ЗМІ, близько 10 членів "червоної команди" з різним досвідом - юристи, викладачі, співробітники контролю ризиків, дослідники безпеки тощо. Більшість із них розташовані в США та Європі. Вони розповіли, що за кілька місяців до виходу GPT-4 вони витратили приблизно 10-40 годин на тестування системи та отримували близько 100 доларів на годину.