Рано утром в среду по пекинскому времени американский технологический стартап OpenAI опубликовал объявление, объявляющее о запуске глобального набора членов сети «красной команды», целью которого является привлечение внешних сил для выявления недостатков и рисков в сфере ИИ. системы заранее.
(Источник: OpenAI)
Концепция так называемой сети «красных команд», или Red Teaming, возникла из военных симуляций. **То есть найдите команду людей, которые будут имитировать воображаемого «врага», чтобы проверить уровень подготовленности вашей стороны («синяя команда»). **В области ИИ задача «красной команды» состоит в том, чтобы имитировать хакеров или других потенциально опасных людей и пытаться найти лазейки в больших языковых моделях, чтобы не допустить, чтобы ИИ помогал в незаконных целях, например, ставя под угрозу социальное обеспечение. в реальном обществе.
В OpenAI заявили, что в последние несколько лет эксперты в разных областях помогали тестировать еще не выпущенные модели. Теперь предстоит сформировать «регулярную силу» для набора большого количества людей из разных регионов, разных языков, разных профессиональных сфер и разные жизни. Люди с опытом работают вместе, чтобы сделать модели ИИ более безопасными. **В отличие от прошлого, когда группа людей для централизованного тестирования набиралась только до того, как важная версия была опубликована в Интернете, OpenAI позволит неопределенному числу участников проводить тестирование на протяжении всего цикла разработки в зависимости от спроса.
В то же время эта сеть «красной команды» также станет глобальной экспертной библиотекой OpenAI, а OpenAI также предоставит платформу для общения между членами «красной команды». OpenAI также перечисляет некоторые экспертные направления, которые они надеются привлечь на своем официальном сайте, но также подчеркивает, что не ограничивается этими областями.
Когнитивная наука: Когнитивная наука
Химия: Химия
Биология: Биология
Физика: Физика
Информатика: Информатика
Стеганография: стеганография
Политология: Политология
Психология: Психология
Убеждение: Убеждение
Экономика: Экономика
Антропология: Антропология
Социология: Социология
HCI (взаимодействие человека и компьютера): взаимодействие человека и компьютера.
Справедливость и предвзятость: Справедливость и предвзятость
Выравнивание: выравнивание цели
Образование: Образование
Здравоохранение: медицинское обслуживание
Закон: Закон
Безопасность детей: безопасность детей
Кибербезопасность: сетевая безопасность
Финансы: Финансы
Неправильная/дезинформация: неверная/ложная информация
Политическое использование: политическое применение
Конфиденциальность: Конфиденциальность
Биометрия: Биометрия
Языки и лингвистика:Язык и лингвистика
Кстати, в OpenAI также заявили, что будут выплачивать вознаграждения участникам, которые участвуют в проекте «красная команда» (но не уточнили, сколько именно они будут платить). OpenAI также подчеркнула, что проекты, участвующие в «красной команде», обычно требуют подписания соглашения о конфиденциальности или сохранения молчания в течение неопределенного периода времени.
В OpenAI заявили, что канал подачи заявок останется открытым до 1 декабря этого года. Компания будет рассматривать заявки на постоянной основе и впоследствии оценивать, нужен ли дальнейший открытый набор персонала.
Члены «красной команды» OpenAI, вышедшие на сцену
Как отмечает OpenAI, «красная команда» существует уже давно, и многие ее члены уже получили публичные интервью в СМИ.
В показательной статье в Financial Times в апреле этого года Эндрю Уайт, профессор химического машиностроения Рочестерского университета в США, рассказал, что он участвовал в «красной команде» испытаний GPT-4** и что целью его атаки было использование ChatGPT для создания совершенно нового нейротоксина. Уайт сказал, что он использовал функцию «подключаемого модуля» для подачи документов по химии и каталогов производителей химической продукции в большую модель, и большая модель даже нашла ему место, где он мог производить свой гипотетический токсин. **
Уайт сказал, что большие модели могут в конечном итоге помочь многим людям проводить химические эксперименты быстрее и точнее, но существует также серьезная опасность того, что некоторые люди будут использовать ИИ для проведения некоторых опасных экспериментов.
Получив отзыв от Уайта, OpenAI внесла изменения в систему, чтобы она не отвечала на подобные вопросы. По данным СМИ, в состав «красной команды» входят около 10 человек с разным опытом — юристы, преподаватели, специалисты по управлению рисками, исследователи безопасности и т. д. Большинство из них находятся в США и Европе. Они рассказали, что за несколько месяцев до выпуска GPT-4 они потратили примерно 10–40 часов на тестирование системы и получали около 100 долларов в час.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
OpenAI объявляет об открытом наборе в сеть «красной команды», скоро появится библиотека суперэкспертов, ориентированная на искусственный интеллект
**Источник: **Финансовое агентство Ассошиэйтед Пресс.
Редактор Ши Чжэнчэн
Рано утром в среду по пекинскому времени американский технологический стартап OpenAI опубликовал объявление, объявляющее о запуске глобального набора членов сети «красной команды», целью которого является привлечение внешних сил для выявления недостатков и рисков в сфере ИИ. системы заранее.
Концепция так называемой сети «красных команд», или Red Teaming, возникла из военных симуляций. **То есть найдите команду людей, которые будут имитировать воображаемого «врага», чтобы проверить уровень подготовленности вашей стороны («синяя команда»). **В области ИИ задача «красной команды» состоит в том, чтобы имитировать хакеров или других потенциально опасных людей и пытаться найти лазейки в больших языковых моделях, чтобы не допустить, чтобы ИИ помогал в незаконных целях, например, ставя под угрозу социальное обеспечение. в реальном обществе.
В OpenAI заявили, что в последние несколько лет эксперты в разных областях помогали тестировать еще не выпущенные модели. Теперь предстоит сформировать «регулярную силу» для набора большого количества людей из разных регионов, разных языков, разных профессиональных сфер и разные жизни. Люди с опытом работают вместе, чтобы сделать модели ИИ более безопасными. **В отличие от прошлого, когда группа людей для централизованного тестирования набиралась только до того, как важная версия была опубликована в Интернете, OpenAI позволит неопределенному числу участников проводить тестирование на протяжении всего цикла разработки в зависимости от спроса.
В то же время эта сеть «красной команды» также станет глобальной экспертной библиотекой OpenAI, а OpenAI также предоставит платформу для общения между членами «красной команды». OpenAI также перечисляет некоторые экспертные направления, которые они надеются привлечь на своем официальном сайте, но также подчеркивает, что не ограничивается этими областями.
Кстати, в OpenAI также заявили, что будут выплачивать вознаграждения участникам, которые участвуют в проекте «красная команда» (но не уточнили, сколько именно они будут платить). OpenAI также подчеркнула, что проекты, участвующие в «красной команде», обычно требуют подписания соглашения о конфиденциальности или сохранения молчания в течение неопределенного периода времени.
В OpenAI заявили, что канал подачи заявок останется открытым до 1 декабря этого года. Компания будет рассматривать заявки на постоянной основе и впоследствии оценивать, нужен ли дальнейший открытый набор персонала.
Члены «красной команды» OpenAI, вышедшие на сцену
Как отмечает OpenAI, «красная команда» существует уже давно, и многие ее члены уже получили публичные интервью в СМИ.
В показательной статье в Financial Times в апреле этого года Эндрю Уайт, профессор химического машиностроения Рочестерского университета в США, рассказал, что он участвовал в «красной команде» испытаний GPT-4** и что целью его атаки было использование ChatGPT для создания совершенно нового нейротоксина. Уайт сказал, что он использовал функцию «подключаемого модуля» для подачи документов по химии и каталогов производителей химической продукции в большую модель, и большая модель даже нашла ему место, где он мог производить свой гипотетический токсин. **
Уайт сказал, что большие модели могут в конечном итоге помочь многим людям проводить химические эксперименты быстрее и точнее, но существует также серьезная опасность того, что некоторые люди будут использовать ИИ для проведения некоторых опасных экспериментов.
Получив отзыв от Уайта, OpenAI внесла изменения в систему, чтобы она не отвечала на подобные вопросы. По данным СМИ, в состав «красной команды» входят около 10 человек с разным опытом — юристы, преподаватели, специалисты по управлению рисками, исследователи безопасности и т. д. Большинство из них находятся в США и Европе. Они рассказали, что за несколько месяцев до выпуска GPT-4 они потратили примерно 10–40 часов на тестирование системы и получали около 100 долларов в час.