Розробник ChatGPT OpenAI заявив у середу (5 числа), що компанія планує інвестувати значні ресурси та створити нову дослідницьку групу, щоб переконатися, що її штучний інтелект (ШІ) безпечний для людей, і врешті-решт досягти самоконтролю ШІ.
«Величезна потужність суперінтелекту може... призвести до позбавлення людських можливостей або навіть до вимирання», — написали в блозі співзасновник OpenAI Ілля Суцкевер і Ян Лейке, керівник команди AI Consistency, яка займається покращенням безпеки системи. .
«Наразі у нас немає рішення для маніпулювання чи контролю потенційно надрозумного ШІ та запобігання його виходу з-під контролю», — написали вони.
Вирівнювання ШІ стосується потреби, щоб поведінка ШІ відповідала інтересам і очікуванням дизайнера.
20% обчислювальної потужності використовується для вирішення проблеми ШІ з-під контролю
Вони прогнозують, що надрозумний штучний інтелект (тобто системи, розумніші за людину) може з’явитися в цьому десятилітті (до 2030 року), і що людям знадобляться кращі технології, ніж зараз, щоб контролювати надрозумний штучний інтелект, тому вони повинні бути в так званому прориві. у дослідженні узгодженості штучного інтелекту, яке зосереджується на тому, щоб штучний інтелект був корисним для людей.
За їх словами, за підтримки Microsoft (Microsoft) **OpenAI витратить 20% своєї обчислювальної потужності в наступні чотири роки, щоб вирішити проблему виходу з-під контролю ШІ. **Крім того, компанія формує нову команду для організації цієї роботи під назвою Super Consistency Team.
Повідомляється, що мета команди полягає в тому, щоб створити дослідника штучного інтелекту «людського рівня», який потім може бути розширений великою кількістю обчислювальної потужності. OpenAI каже, що це означає, що вони використовуватимуть зворотний зв’язок людини для навчання системи штучного інтелекту, навчання системи штучного інтелекту для допомоги в оцінюванні людиною, а потім, нарешті, навчання системи штучного інтелекту для фактичного дослідження узгодженості.
Опитано експерта
Однак цей крок був поставлений під сумнів експертами, щойно він був оголошений. Коннор Ліхі, прихильник безпеки штучного інтелекту, сказав, що план OpenAI є фундаментально помилковим, оскільки рудиментарна версія штучного інтелекту, яка може досягти «людського рівня», може вийти з-під контролю та спричинити хаос, перш ніж її можна буде використовувати для вирішення проблем безпеки ШІ. "
"Ви повинні вирішити проблему узгодженості, перш ніж ви зможете створити інтелект на рівні людини, інакше ви не зможете контролювати його за замовчуванням. Я особисто не вважаю, що це особливо хороший або безпечний план", - сказав він в інтерв'ю.
Потенційна небезпека штучного інтелекту вже давно є головною проблемою для дослідників штучного інтелекту та громадськості. У квітні група лідерів індустрії штучного інтелекту та експертів підписала відкритий лист із закликом до мораторію на навчання систем штучного інтелекту, потужніших за нову модель GPT-4 OpenAI, щонайменше на шість місяців, посилаючись на потенційні ризики для суспільства та людства.
Недавнє опитування показало, що понад дві третини американців стурбовані можливим негативним впливом ШІ, а 61% вважають, що ШІ може загрожувати людській цивілізації.
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Super AI вийде протягом семи років, OpenAI має намір інвестувати «великі гроші», щоб не вийти з-під контролю
**Джерело: **Фінансова асоціація
За редакцією Хуан Цзюньчжі
Розробник ChatGPT OpenAI заявив у середу (5 числа), що компанія планує інвестувати значні ресурси та створити нову дослідницьку групу, щоб переконатися, що її штучний інтелект (ШІ) безпечний для людей, і врешті-решт досягти самоконтролю ШІ.
«Наразі у нас немає рішення для маніпулювання чи контролю потенційно надрозумного ШІ та запобігання його виходу з-під контролю», — написали вони.
20% обчислювальної потужності використовується для вирішення проблеми ШІ з-під контролю
Вони прогнозують, що надрозумний штучний інтелект (тобто системи, розумніші за людину) може з’явитися в цьому десятилітті (до 2030 року), і що людям знадобляться кращі технології, ніж зараз, щоб контролювати надрозумний штучний інтелект, тому вони повинні бути в так званому прориві. у дослідженні узгодженості штучного інтелекту, яке зосереджується на тому, щоб штучний інтелект був корисним для людей.
За їх словами, за підтримки Microsoft (Microsoft) **OpenAI витратить 20% своєї обчислювальної потужності в наступні чотири роки, щоб вирішити проблему виходу з-під контролю ШІ. **Крім того, компанія формує нову команду для організації цієї роботи під назвою Super Consistency Team.
Опитано експерта
Однак цей крок був поставлений під сумнів експертами, щойно він був оголошений. Коннор Ліхі, прихильник безпеки штучного інтелекту, сказав, що план OpenAI є фундаментально помилковим, оскільки рудиментарна версія штучного інтелекту, яка може досягти «людського рівня», може вийти з-під контролю та спричинити хаос, перш ніж її можна буде використовувати для вирішення проблем безпеки ШІ. "
"Ви повинні вирішити проблему узгодженості, перш ніж ви зможете створити інтелект на рівні людини, інакше ви не зможете контролювати його за замовчуванням. Я особисто не вважаю, що це особливо хороший або безпечний план", - сказав він в інтерв'ю.
Потенційна небезпека штучного інтелекту вже давно є головною проблемою для дослідників штучного інтелекту та громадськості. У квітні група лідерів індустрії штучного інтелекту та експертів підписала відкритий лист із закликом до мораторію на навчання систем штучного інтелекту, потужніших за нову модель GPT-4 OpenAI, щонайменше на шість місяців, посилаючись на потенційні ризики для суспільства та людства.
Недавнє опитування показало, що понад дві третини американців стурбовані можливим негативним впливом ШІ, а 61% вважають, що ШІ може загрожувати людській цивілізації.