El desarrollador de ChatGPT, OpenAI, dijo el miércoles (5) que la compañía planea invertir recursos significativos y crear un nuevo equipo de investigación para garantizar que su inteligencia artificial (IA) sea segura para los humanos y eventualmente lograr la autosupervisión de la IA.
"El inmenso poder de una superinteligencia podría... llevar al desempoderamiento humano, o incluso a la extinción", escribieron el cofundador de OpenAI, Ilya Sutskever, y Jan Leike, jefe del equipo de consistencia de IA encargado de mejorar la seguridad del sistema, en una publicación de blog. .
"Actualmente, no tenemos una solución para manipular o controlar una IA potencialmente superinteligente y evitar que se salga de control", escribieron.
La alineación de la IA se refiere a la necesidad de que el comportamiento de la IA esté en línea con los intereses y expectativas del diseñador.
El 20 % de la potencia informática se utiliza para resolver el problema de la IA fuera de control
Predicen que la IA superinteligente (es decir, sistemas más inteligentes que los humanos) puede llegar en esta década (para 2030), y que los humanos necesitarán una tecnología mejor que la actual para controlar la IA superinteligente, por lo que necesitan estar en el llamado avance. en el Estudio de Consistencia de IA, que se enfoca en asegurar que la inteligencia artificial sea beneficiosa para los humanos.
Según ellos, con el apoyo de Microsoft (Microsoft), **OpenAI gastará el 20% de su poder de cómputo en los próximos cuatro años para resolver el problema de la IA fuera de control. **Además, la empresa está formando un nuevo equipo para organizar este trabajo, denominado Equipo de Súper Coherencia.
Se informa que el objetivo del equipo es crear un investigador de IA de "nivel humano", que luego se puede ampliar con una gran cantidad de potencia informática. OpenAI dice que esto significa que usarán comentarios humanos para entrenar el sistema de IA, entrenarán el sistema de IA para ayudar a la evaluación humana y finalmente entrenarán el sistema de IA para hacer el estudio de consistencia real.
Experto cuestionado
Sin embargo, esta medida ha sido cuestionada por los expertos nada más anunciarse. Connor Leahy, un defensor de la seguridad de la IA, dijo que el plan de OpenAI era fundamentalmente defectuoso porque una versión rudimentaria de la IA que podría alcanzar "niveles humanos" podría salirse de control y causar estragos antes de que pudiera usarse para resolver los problemas de seguridad de la IA. "
"Tienes que resolver el problema de la consistencia antes de que puedas construir inteligencia a nivel humano, de lo contrario no puedes controlarlo por defecto. Personalmente, no creo que sea un plan particularmente bueno o seguro", dijo en una entrevista.
Los peligros potenciales de la IA han sido durante mucho tiempo una de las principales preocupaciones de los investigadores de IA y del público. En abril, un grupo de líderes y expertos de la industria de la IA firmó una carta abierta pidiendo una moratoria en el entrenamiento de sistemas de IA más potentes que el nuevo modelo GPT-4 de OpenAI durante al menos seis meses, citando sus riesgos potenciales para la sociedad y la humanidad.
Una encuesta reciente encontró que más de dos tercios de los estadounidenses están preocupados por el posible impacto negativo de la IA, y el 61 % cree que la IA puede amenazar la civilización humana.
Ver originales
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Super AI saldrá dentro de siete años, OpenAI tiene la intención de invertir "mucho dinero" para evitar que se salga de control
**Fuente: **Asociación Financiera
Editado por Huang Junzhi
El desarrollador de ChatGPT, OpenAI, dijo el miércoles (5) que la compañía planea invertir recursos significativos y crear un nuevo equipo de investigación para garantizar que su inteligencia artificial (IA) sea segura para los humanos y eventualmente lograr la autosupervisión de la IA.
"Actualmente, no tenemos una solución para manipular o controlar una IA potencialmente superinteligente y evitar que se salga de control", escribieron.
El 20 % de la potencia informática se utiliza para resolver el problema de la IA fuera de control
Predicen que la IA superinteligente (es decir, sistemas más inteligentes que los humanos) puede llegar en esta década (para 2030), y que los humanos necesitarán una tecnología mejor que la actual para controlar la IA superinteligente, por lo que necesitan estar en el llamado avance. en el Estudio de Consistencia de IA, que se enfoca en asegurar que la inteligencia artificial sea beneficiosa para los humanos.
Según ellos, con el apoyo de Microsoft (Microsoft), **OpenAI gastará el 20% de su poder de cómputo en los próximos cuatro años para resolver el problema de la IA fuera de control. **Además, la empresa está formando un nuevo equipo para organizar este trabajo, denominado Equipo de Súper Coherencia.
Experto cuestionado
Sin embargo, esta medida ha sido cuestionada por los expertos nada más anunciarse. Connor Leahy, un defensor de la seguridad de la IA, dijo que el plan de OpenAI era fundamentalmente defectuoso porque una versión rudimentaria de la IA que podría alcanzar "niveles humanos" podría salirse de control y causar estragos antes de que pudiera usarse para resolver los problemas de seguridad de la IA. "
"Tienes que resolver el problema de la consistencia antes de que puedas construir inteligencia a nivel humano, de lo contrario no puedes controlarlo por defecto. Personalmente, no creo que sea un plan particularmente bueno o seguro", dijo en una entrevista.
Los peligros potenciales de la IA han sido durante mucho tiempo una de las principales preocupaciones de los investigadores de IA y del público. En abril, un grupo de líderes y expertos de la industria de la IA firmó una carta abierta pidiendo una moratoria en el entrenamiento de sistemas de IA más potentes que el nuevo modelo GPT-4 de OpenAI durante al menos seis meses, citando sus riesgos potenciales para la sociedad y la humanidad.
Una encuesta reciente encontró que más de dos tercios de los estadounidenses están preocupados por el posible impacto negativo de la IA, y el 61 % cree que la IA puede amenazar la civilización humana.