Разработчик ChatGPT OpenAI заявил в среду (5-е число), что компания планирует инвестировать значительные ресурсы и создать новую исследовательскую группу, чтобы гарантировать, что ее искусственный интеллект (ИИ) безопасен для людей, и в конечном итоге добиться самоконтроля ИИ.
«Огромная сила сверхразума может… привести к бесправию человека или даже к его исчезновению», — написали в своем блоге соучредитель OpenAI Илья Суцкевер и Ян Лейке, глава группы AI Consistency, которой поручено повышение безопасности системы. .
«В настоящее время у нас нет решения для манипулирования или управления потенциально сверхразумным ИИ и предотвращения его выхода из-под контроля», — написали они.
Согласование ИИ означает необходимость того, чтобы поведение ИИ соответствовало интересам и ожиданиям дизайнера.
20% вычислительной мощности используется для решения проблемы выхода ИИ из-под контроля
Они предсказывают, что сверхразумный ИИ (то есть системы, более умные, чем люди) может появиться в этом десятилетии (к 2030 году) и что людям потребуются более совершенные технологии, чем сейчас, для управления сверхразумным ИИ, поэтому они должны быть в так называемом прорыве. в исследовании AI Consistency Study, в котором основное внимание уделяется обеспечению того, чтобы искусственный интеллект был полезен для людей.
По их словам, при поддержке Microsoft (Майкрософт) **OpenAI потратит 20% своих вычислительных мощностей в ближайшие четыре года на решение проблемы выхода ИИ из-под контроля. **Кроме того, компания формирует новую команду для организации этой работы, которая называется Super Consistency Team.
Сообщается, что цель команды состоит в том, чтобы создать исследователя искусственного интеллекта «человеческого уровня», который затем может быть расширен за счет большого количества вычислительных мощностей. OpenAI говорит, что это означает, что они будут использовать обратную связь от человека для обучения системы ИИ, обучать систему ИИ для помощи в оценке человеком, а затем, наконец, обучать систему ИИ проводить фактическое исследование согласованности.
Эксперт опрошен
Однако этот шаг был поставлен под сомнение экспертами, как только о нем было объявлено. Коннор Лихи, сторонник безопасности ИИ, сказал, что план OpenAI был в корне ошибочным, потому что рудиментарная версия ИИ, которая могла бы достичь «человеческого уровня», могла выйти из-под контроля и нанести ущерб, прежде чем ее можно было бы использовать для решения проблем безопасности ИИ. "
"Вы должны решить проблему согласованности, прежде чем вы сможете построить интеллект человеческого уровня, иначе вы не сможете контролировать его по умолчанию. Лично я не думаю, что это особенно хороший или безопасный план", — сказал он в интервью.
Потенциальные опасности ИИ уже давно вызывают серьезную озабоченность у исследователей ИИ и общественности. В апреле группа лидеров и экспертов отрасли ИИ подписала открытое письмо с призывом ввести мораторий на обучение систем ИИ, более мощных, чем новая модель OpenAI GPT-4, как минимум на шесть месяцев, сославшись на их потенциальные риски для общества и человечества.
Недавний опрос показал, что более двух третей американцев обеспокоены возможным негативным воздействием ИИ, а 61% считают, что ИИ может угрожать человеческой цивилизации.
Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Супер ИИ выйдет в течение семи лет, OpenAI намерен вложить «большие деньги», чтобы предотвратить выход из-под контроля
**Источник: **Финансовая ассоциация
Под редакцией Хуан Цзюньчжи
Разработчик ChatGPT OpenAI заявил в среду (5-е число), что компания планирует инвестировать значительные ресурсы и создать новую исследовательскую группу, чтобы гарантировать, что ее искусственный интеллект (ИИ) безопасен для людей, и в конечном итоге добиться самоконтроля ИИ.
«В настоящее время у нас нет решения для манипулирования или управления потенциально сверхразумным ИИ и предотвращения его выхода из-под контроля», — написали они.
20% вычислительной мощности используется для решения проблемы выхода ИИ из-под контроля
Они предсказывают, что сверхразумный ИИ (то есть системы, более умные, чем люди) может появиться в этом десятилетии (к 2030 году) и что людям потребуются более совершенные технологии, чем сейчас, для управления сверхразумным ИИ, поэтому они должны быть в так называемом прорыве. в исследовании AI Consistency Study, в котором основное внимание уделяется обеспечению того, чтобы искусственный интеллект был полезен для людей.
По их словам, при поддержке Microsoft (Майкрософт) **OpenAI потратит 20% своих вычислительных мощностей в ближайшие четыре года на решение проблемы выхода ИИ из-под контроля. **Кроме того, компания формирует новую команду для организации этой работы, которая называется Super Consistency Team.
Эксперт опрошен
Однако этот шаг был поставлен под сомнение экспертами, как только о нем было объявлено. Коннор Лихи, сторонник безопасности ИИ, сказал, что план OpenAI был в корне ошибочным, потому что рудиментарная версия ИИ, которая могла бы достичь «человеческого уровня», могла выйти из-под контроля и нанести ущерб, прежде чем ее можно было бы использовать для решения проблем безопасности ИИ. "
"Вы должны решить проблему согласованности, прежде чем вы сможете построить интеллект человеческого уровня, иначе вы не сможете контролировать его по умолчанию. Лично я не думаю, что это особенно хороший или безопасный план", — сказал он в интервью.
Потенциальные опасности ИИ уже давно вызывают серьезную озабоченность у исследователей ИИ и общественности. В апреле группа лидеров и экспертов отрасли ИИ подписала открытое письмо с призывом ввести мораторий на обучение систем ИИ, более мощных, чем новая модель OpenAI GPT-4, как минимум на шесть месяцев, сославшись на их потенциальные риски для общества и человечества.
Недавний опрос показал, что более двух третей американцев обеспокоены возможным негативным воздействием ИИ, а 61% считают, что ИИ может угрожать человеческой цивилизации.