En la próxima película de ciencia ficción de Hollywood "The Founder of AI", una inteligencia artificial que se suponía que estaba al servicio de la humanidad detona una bomba nuclear en Los Ángeles.
Lo que es aún más ciencia ficción que la película es que, en realidad, las empresas de IA han comenzado a preocuparse de que tales escenarios aparezcan en el mundo real.
**Recientemente, OpenAI dijo que, debido a la preocupación por la seguridad de los sistemas de IA, la compañía está creando un equipo dedicado a hacer frente a los "riesgos catastróficos" que puede enfrentar la IA de vanguardia, incluidas las amenazas nucleares. **
De hecho, el CEO Sam Altman ha estado preocupado durante mucho tiempo por la amenaza de "extinción" que representa la IA para la humanidad, y anteriormente ha pedido una mayor regulación de la IA en varias ocasiones, incluso en consulta con el Congreso de los Estados Unidos. Sin embargo, un grupo de científicos, incluido el científico de Meta Yann LeCun, tienen una visión diferente de la regulación de la IA, argumentando que las capacidades de la IA aún son limitadas y que una regulación prematura no solo beneficiará a las grandes empresas, sino que también sofocará la innovación.
Esto pone de manifiesto el continuo desacuerdo de la industria sobre la regulación de la IA de vanguardia. Una regulación prematura puede limitar el desarrollo de la tecnología, pero la falta de regulación dificultará la gestión de los riesgos. Cómo lograr un equilibrio entre la tecnología y la prevención y la regulación, de modo que la IA pueda desarrollarse de manera eficiente y controlada de manera segura, sigue siendo un problema difícil en la industria.
01 IA, frontera o peligro
Recientemente, OpenAI dijo en una actualización que, debido a la preocupación por la seguridad de los sistemas de IA, la compañía está formando un nuevo equipo de "Preparación" para rastrear, evaluar y predecir el desarrollo de "modelos de vanguardia"** para prevenir los llamados "riesgos catastróficos", incluidos los problemas de ciberseguridad y las amenazas químicas, nucleares y biológicas. **
Fuente de la imagen: Sitio web oficial de OpenAI
El equipo estará liderado por Aleksander Madry, quien actualmente se encuentra en el cargo de director del Centro de Aprendizaje Automático Desplegable del MIT.
Además, el equipo tiene la tarea de desarrollar y mantener una "Política de desarrollo informada sobre riesgos" que detallará el enfoque de OpenAI para crear herramientas de evaluación y monitoreo de modelos de IA, las acciones de mitigación de riesgos de la empresa y la estructura de gobernanza que supervisa todo el proceso de desarrollo del modelo. Esta política tiene como objetivo complementar el trabajo de OpenAI en el campo de la seguridad de la IA y mantener la seguridad y la coherencia antes y después de la implementación.
OpenAI propone que la gestión de los posibles riesgos catastróficos de los modelos de IA de vanguardia requiere responder a las siguientes preguntas clave:
¿Qué tan peligroso es el uso indebido de un modelo de IA de vanguardia? **
¿Cómo establecer un marco sólido para monitorear, evaluar, predecir y prevenir los peligros de los modelos de IA de vanguardia? **
Si los modelos de IA de vanguardia se ven comprometidos, ¿cómo podrían explotarlos los actores maliciosos? **
En la actualización, OpenAI escribió: "Creemos... Los modelos de IA de vanguardia que superarán los modelos actuales de última generación tienen el potencial de beneficiar a toda la humanidad... Pero también plantean riesgos cada vez más graves".
**En los últimos tiempos, OpenAI ha enfatizado continuamente la seguridad de la IA y ha llevado a cabo una serie de acciones a nivel corporativo, a nivel de opinión pública e incluso a nivel político. **
Anteriormente, el 7 de julio, OpenAI anunció la formación de un nuevo equipo para explorar formas de guiar y controlar la "súper IA", codirigido por el cofundador y científico jefe de OpenAI, Ilya Sutskever, y el jefe de alineación, Jan Leike.
Sutskever y Leike habían pronosticado que la IA más allá de la inteligencia humana surgiría dentro de 10 años, diciendo que dicha IA no es necesariamente buena, por lo que es necesario estudiar formas de controlarla y limitarla.
Según los informes de la época, el equipo recibió la máxima prioridad y el apoyo del 20% de los recursos informáticos de la empresa, y su objetivo era resolver los principales retos técnicos del control de la super-"superIA" en los próximos cuatro años.
Para coincidir con el lanzamiento del equipo "Ready", Open AI también organizó un desafío para que personas ajenas a la empresa aportaran ideas sobre cómo la IA podría ser mal utilizada y causar daño en el mundo real, y los 10 mejores participantes recibirán un premio de $ 25,000 y un trabajo "listo".
02 Preocupación por "la IA puede llevar a la extinción humana"
El CEO de OpenAI, Sam Altman, ha estado preocupado de que la IA pueda conducir a la extinción de la humanidad.
En una audiencia del Congreso sobre el tema de la IA en mayo, Altman dijo que la IA debe ser regulada y que sin estándares regulatorios estrictos para la súper IA, habrá más peligros en los próximos 20 años.
A finales de mayo, Altman firmó una breve declaración con los directores ejecutivos de DeepMind de Google, Anthropic y varios investigadores destacados de IA, afirmando que "mitigar el riesgo de extinción inducida por la IA debería ser una de las prioridades globales, como es el caso de las pandemias y la guerra nuclear".
En la Cumbre Tecnológica de San Francisco en junio, Sam Altman mencionó que "no se debe confiar en una empresa, y ciertamente no en una persona" cuando se trata de tecnología de IA, argumentando que la tecnología en sí, sus beneficios, su acceso, su gobernanza, pertenecen a toda la humanidad.
Sin embargo, también hay quienes (representados por Elon Musk) acusan a Altman de "pedir regulación" solo para proteger el liderazgo de OpenAI. Sam Altman respondió en ese momento: "Creemos que debería haber más regulación de las grandes empresas y los modelos propietarios que están por encima de un cierto umbral de alta capacidad, y menos regulación de las nuevas empresas más pequeñas y los modelos de código abierto". Hemos visto los problemas a los que se enfrentan los países que están tratando de regular en exceso la tecnología, y eso no es lo que esperábamos".
"Las personas están entrenando modelos que están mucho más allá del tamaño de cualquier modelo que tengamos hoy en día, pero si se superan ciertos umbrales de capacidad, creo que debería haber un proceso de certificación, junto con auditorías externas y pruebas de seguridad", agregó. Además, estos modelos deben ser reportados al gobierno y deben estar sujetos al escrutinio del gobierno".
Contrariamente a la opinión de Altman, el 19 de octubre, el científico de Meta, Yann LeCun, expresó su oposición a la regulación prematura de la IA en una entrevista con el Financial Times.
Yann LeCun es miembro de la Academia Nacional de Ciencias, la Academia Nacional de Ingeniería y la Academia Francesa de Ciencias, y también es conocido por su trabajo en redes convolucionales, así como por el reconocimiento óptico de caracteres y la visión por computadora utilizando redes neuronales convolucionales (CNN).
En 2018, Yann LeCun ganó el Premio Turing (a menudo conocido como el "Premio Nobel de la informática") junto con Yoshua Bengio y Geoffrey Hinton, a quienes a menudo se les conoce como los "Padrinos de la Inteligencia Artificial" y los "Padrinos del Aprendizaje Profundo".
En la entrevista, Yann LeCun tiene una visión más negativa de la regulación de la IA en general, argumentando que regular los modelos de IA ahora es como regular los aviones a reacción en 1925 (antes de que se inventaran tales aviones), y que la regulación prematura de la IA solo fortalecerá el dominio de las grandes empresas tecnológicas y sofocará la competencia.
"Regular la investigación y el desarrollo de la IA es increíblemente contraproducente", dijo Yann LeCun, y agregó que la necesidad de regular la IA se deriva de la "arrogancia" o "superioridad" de algunas empresas tecnológicas líderes que creen que solo se puede confiar en ellas para desarrollar la IA de manera segura, "y quieren regular bajo el disfraz de la seguridad de la IA".
"Pero, de hecho, hasta que podamos diseñar un sistema que pueda igualar la capacidad de aprendizaje de los gatos, es demasiado pronto para debatir los riesgos que puede plantear la IA", dice Yann LeCun, y agrega que la generación actual de modelos de IA no es tan poderosa como afirman algunos investigadores, "no entienden cómo funciona el mundo, no tienen la capacidad de planificar, no tienen la capacidad de hacer un razonamiento real".
En su opinión, OpenAI y DeepMind de Google han sido "demasiado optimistas" sobre la complejidad del problema y, de hecho, se necesitarán varios "avances conceptuales" antes de que la IA alcance el nivel de inteligencia humana. Pero incluso entonces, la IA puede controlarse codificando "cualidades morales" en el sistema, al igual que las leyes ahora se pueden usar para regular el comportamiento humano.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Preocupada por la posibilidad de que la IA lance bombas nucleares sobre los humanos, OpenAI habla en serio
Fuente original: Geek Park
Autor: Lian Ran
En la próxima película de ciencia ficción de Hollywood "The Founder of AI", una inteligencia artificial que se suponía que estaba al servicio de la humanidad detona una bomba nuclear en Los Ángeles.
Lo que es aún más ciencia ficción que la película es que, en realidad, las empresas de IA han comenzado a preocuparse de que tales escenarios aparezcan en el mundo real.
**Recientemente, OpenAI dijo que, debido a la preocupación por la seguridad de los sistemas de IA, la compañía está creando un equipo dedicado a hacer frente a los "riesgos catastróficos" que puede enfrentar la IA de vanguardia, incluidas las amenazas nucleares. **
De hecho, el CEO Sam Altman ha estado preocupado durante mucho tiempo por la amenaza de "extinción" que representa la IA para la humanidad, y anteriormente ha pedido una mayor regulación de la IA en varias ocasiones, incluso en consulta con el Congreso de los Estados Unidos. Sin embargo, un grupo de científicos, incluido el científico de Meta Yann LeCun, tienen una visión diferente de la regulación de la IA, argumentando que las capacidades de la IA aún son limitadas y que una regulación prematura no solo beneficiará a las grandes empresas, sino que también sofocará la innovación.
Esto pone de manifiesto el continuo desacuerdo de la industria sobre la regulación de la IA de vanguardia. Una regulación prematura puede limitar el desarrollo de la tecnología, pero la falta de regulación dificultará la gestión de los riesgos. Cómo lograr un equilibrio entre la tecnología y la prevención y la regulación, de modo que la IA pueda desarrollarse de manera eficiente y controlada de manera segura, sigue siendo un problema difícil en la industria.
01 IA, frontera o peligro
Recientemente, OpenAI dijo en una actualización que, debido a la preocupación por la seguridad de los sistemas de IA, la compañía está formando un nuevo equipo de "Preparación" para rastrear, evaluar y predecir el desarrollo de "modelos de vanguardia"** para prevenir los llamados "riesgos catastróficos", incluidos los problemas de ciberseguridad y las amenazas químicas, nucleares y biológicas. **
El equipo estará liderado por Aleksander Madry, quien actualmente se encuentra en el cargo de director del Centro de Aprendizaje Automático Desplegable del MIT.
Además, el equipo tiene la tarea de desarrollar y mantener una "Política de desarrollo informada sobre riesgos" que detallará el enfoque de OpenAI para crear herramientas de evaluación y monitoreo de modelos de IA, las acciones de mitigación de riesgos de la empresa y la estructura de gobernanza que supervisa todo el proceso de desarrollo del modelo. Esta política tiene como objetivo complementar el trabajo de OpenAI en el campo de la seguridad de la IA y mantener la seguridad y la coherencia antes y después de la implementación.
OpenAI propone que la gestión de los posibles riesgos catastróficos de los modelos de IA de vanguardia requiere responder a las siguientes preguntas clave:
¿Qué tan peligroso es el uso indebido de un modelo de IA de vanguardia? ** ¿Cómo establecer un marco sólido para monitorear, evaluar, predecir y prevenir los peligros de los modelos de IA de vanguardia? ** Si los modelos de IA de vanguardia se ven comprometidos, ¿cómo podrían explotarlos los actores maliciosos? **
En la actualización, OpenAI escribió: "Creemos... Los modelos de IA de vanguardia que superarán los modelos actuales de última generación tienen el potencial de beneficiar a toda la humanidad... Pero también plantean riesgos cada vez más graves".
**En los últimos tiempos, OpenAI ha enfatizado continuamente la seguridad de la IA y ha llevado a cabo una serie de acciones a nivel corporativo, a nivel de opinión pública e incluso a nivel político. **
Anteriormente, el 7 de julio, OpenAI anunció la formación de un nuevo equipo para explorar formas de guiar y controlar la "súper IA", codirigido por el cofundador y científico jefe de OpenAI, Ilya Sutskever, y el jefe de alineación, Jan Leike.
Sutskever y Leike habían pronosticado que la IA más allá de la inteligencia humana surgiría dentro de 10 años, diciendo que dicha IA no es necesariamente buena, por lo que es necesario estudiar formas de controlarla y limitarla.
Según los informes de la época, el equipo recibió la máxima prioridad y el apoyo del 20% de los recursos informáticos de la empresa, y su objetivo era resolver los principales retos técnicos del control de la super-"superIA" en los próximos cuatro años.
Para coincidir con el lanzamiento del equipo "Ready", Open AI también organizó un desafío para que personas ajenas a la empresa aportaran ideas sobre cómo la IA podría ser mal utilizada y causar daño en el mundo real, y los 10 mejores participantes recibirán un premio de $ 25,000 y un trabajo "listo".
02 Preocupación por "la IA puede llevar a la extinción humana"
El CEO de OpenAI, Sam Altman, ha estado preocupado de que la IA pueda conducir a la extinción de la humanidad.
En una audiencia del Congreso sobre el tema de la IA en mayo, Altman dijo que la IA debe ser regulada y que sin estándares regulatorios estrictos para la súper IA, habrá más peligros en los próximos 20 años.
A finales de mayo, Altman firmó una breve declaración con los directores ejecutivos de DeepMind de Google, Anthropic y varios investigadores destacados de IA, afirmando que "mitigar el riesgo de extinción inducida por la IA debería ser una de las prioridades globales, como es el caso de las pandemias y la guerra nuclear".
En la Cumbre Tecnológica de San Francisco en junio, Sam Altman mencionó que "no se debe confiar en una empresa, y ciertamente no en una persona" cuando se trata de tecnología de IA, argumentando que la tecnología en sí, sus beneficios, su acceso, su gobernanza, pertenecen a toda la humanidad.
Sin embargo, también hay quienes (representados por Elon Musk) acusan a Altman de "pedir regulación" solo para proteger el liderazgo de OpenAI. Sam Altman respondió en ese momento: "Creemos que debería haber más regulación de las grandes empresas y los modelos propietarios que están por encima de un cierto umbral de alta capacidad, y menos regulación de las nuevas empresas más pequeñas y los modelos de código abierto". Hemos visto los problemas a los que se enfrentan los países que están tratando de regular en exceso la tecnología, y eso no es lo que esperábamos".
"Las personas están entrenando modelos que están mucho más allá del tamaño de cualquier modelo que tengamos hoy en día, pero si se superan ciertos umbrales de capacidad, creo que debería haber un proceso de certificación, junto con auditorías externas y pruebas de seguridad", agregó. Además, estos modelos deben ser reportados al gobierno y deben estar sujetos al escrutinio del gobierno".
Contrariamente a la opinión de Altman, el 19 de octubre, el científico de Meta, Yann LeCun, expresó su oposición a la regulación prematura de la IA en una entrevista con el Financial Times.
Yann LeCun es miembro de la Academia Nacional de Ciencias, la Academia Nacional de Ingeniería y la Academia Francesa de Ciencias, y también es conocido por su trabajo en redes convolucionales, así como por el reconocimiento óptico de caracteres y la visión por computadora utilizando redes neuronales convolucionales (CNN).
En 2018, Yann LeCun ganó el Premio Turing (a menudo conocido como el "Premio Nobel de la informática") junto con Yoshua Bengio y Geoffrey Hinton, a quienes a menudo se les conoce como los "Padrinos de la Inteligencia Artificial" y los "Padrinos del Aprendizaje Profundo".
En la entrevista, Yann LeCun tiene una visión más negativa de la regulación de la IA en general, argumentando que regular los modelos de IA ahora es como regular los aviones a reacción en 1925 (antes de que se inventaran tales aviones), y que la regulación prematura de la IA solo fortalecerá el dominio de las grandes empresas tecnológicas y sofocará la competencia.
"Regular la investigación y el desarrollo de la IA es increíblemente contraproducente", dijo Yann LeCun, y agregó que la necesidad de regular la IA se deriva de la "arrogancia" o "superioridad" de algunas empresas tecnológicas líderes que creen que solo se puede confiar en ellas para desarrollar la IA de manera segura, "y quieren regular bajo el disfraz de la seguridad de la IA".
"Pero, de hecho, hasta que podamos diseñar un sistema que pueda igualar la capacidad de aprendizaje de los gatos, es demasiado pronto para debatir los riesgos que puede plantear la IA", dice Yann LeCun, y agrega que la generación actual de modelos de IA no es tan poderosa como afirman algunos investigadores, "no entienden cómo funciona el mundo, no tienen la capacidad de planificar, no tienen la capacidad de hacer un razonamiento real".
En su opinión, OpenAI y DeepMind de Google han sido "demasiado optimistas" sobre la complejidad del problema y, de hecho, se necesitarán varios "avances conceptuales" antes de que la IA alcance el nivel de inteligencia humana. Pero incluso entonces, la IA puede controlarse codificando "cualidades morales" en el sistema, al igual que las leyes ahora se pueden usar para regular el comportamiento humano.