Los siete gigantes de la IA hicieron 8 grandes promesas en la Casa Blanca ¿Qué prometieron?

Apenas tres días después de que Meta anunciara la nueva generación del modelo de lenguaje grande de código abierto Llama 2, los principales ejecutivos de la compañía, Microsoft, OpenAI, Amazon, Anthropic y otros siete gigantes en la industria de la IA y ejecutivos de empresas de reciente creación se reunieron nuevamente en la Casa Blanca en los Estados Unidos.

En este evento, siete empresas firmaron unos “Compromisos Voluntarios” (Voluntary Commitments), adquiriendo “8 grandes compromisos” sobre la seguridad, transparencia y riesgos de la tecnología de IA y la I+D.

Fuente de la imagen: Generada por Unbounded AI

El drama de "búsqueda de supervisión" de la compañía AI ha alcanzado un pequeño clímax aquí.

El columnista del NYT Kevin Roose escribió un artículo explicando en detalle lo que han dicho las "8 grandes promesas" y los cambios que han provocado.

El resultado de la investigación es que estos 8 compromisos, como las pruebas de seguridad, el intercambio de información de seguridad de IA, la notificación de vulnerabilidades y la "priorización de la IA para resolver los desafíos sociales", parecen ser algunos de los grandes problemas, y los compromisos correspondientes carecen de detalles. Muchos de los problemas mismos han sido "publicados" al público por las empresas de IA.

Esta "Carta de compromiso de recursos" es más como una "visualización de resultados" indirecta de varias consultas de los reguladores de EE. UU. a las empresas de inteligencia artificial en los últimos seis meses, y probablemente no tenga mucha importancia para la implementación. Sin embargo, los reguladores han expresado su preocupación por la IA varias veces, lo que indica que la posición del gobierno sobre la aplicación de la tecnología de IA es la mayor importancia de este programa.

La siguiente es la interpretación de Kevin Roose de los 8 compromisos en la "Carta de Compromiso Voluntario":

** Compromiso 1: la empresa se compromete a realizar pruebas de seguridad internas y externas de los sistemas de IA antes de lanzarlos. **

Todas estas empresas de IA han realizado pruebas de seguridad en sus modelos, a menudo denominadas "pruebas de equipo rojo", antes de su lanzamiento. En cierto modo, esta no es realmente una nueva promesa, es vaga. No se proporcionaron detalles sobre qué tipo de prueba se requeriría o por quién.

En una declaración posterior, la Casa Blanca solo dijo que las pruebas de los modelos de IA "serán realizadas en parte por expertos independientes" y se centrarán en "riesgos de IA como bioseguridad y ciberseguridad, y sus implicaciones sociales más amplias".

Es una buena idea que las empresas de IA se comprometan públicamente a continuar con dichas pruebas y fomentar una mayor transparencia en el proceso de prueba. También hay tipos de riesgos de IA, como el peligro de que los modelos de IA puedan usarse para desarrollar armas biológicas, que los funcionarios gubernamentales y militares pueden estar en mejores condiciones para evaluar que las empresas.

Me complace ver que la industria de la IA está de acuerdo con un conjunto de pruebas de seguridad estándar, como las pruebas de "autorreplicación" del Alignment Research Center para modelos preliminares de OpenAI y Anthropic. También me gustaría ver que el gobierno federal financie tales pruebas, que pueden ser costosas y requieren ingenieros con experiencia técnica significativa. En la actualidad, muchas pruebas de seguridad son financiadas y supervisadas por corporaciones, lo que plantea problemas obvios de conflicto de intereses.

** Compromiso 2: La empresa se compromete a compartir información sobre la gestión de riesgos de IA en la industria y con el gobierno, la sociedad civil y el mundo académico. **

Esta promesa también es un poco vaga. Algunas de estas empresas han publicado información sobre sus modelos de IA, a menudo en artículos académicos o publicaciones de blogs corporativos. Algunas de estas empresas, incluidas OpenAI y Anthropic, también han publicado documentos llamados "Tarjetas" que describen los pasos que están tomando para hacer que estos modelos sean más seguros.

Pero a veces también retienen información, citando preocupaciones de seguridad. Cuando OpenAI lanzó su último modelo de IA, GPT-4, este año, rompió la convención de la industria al optar por no revelar cuántos eran sus datos de entrenamiento o qué tan grande era su modelo (una métrica llamada "parámetros"). La compañía dijo que se negó a revelar la información debido a problemas de competencia y seguridad. También resulta ser el tipo de datos que a las empresas de tecnología les gusta mantener alejados de la competencia.

Según estos nuevos compromisos, ¿las empresas de IA se verán obligadas a divulgar dicha información? ¿Qué pasa si hacerlo corre el riesgo de acelerar una carrera armamentista de IA?

Sospecho que el objetivo de la Casa Blanca no es obligar a las empresas a revelar los números de sus parámetros, sino animarlas a intercambiar información entre ellas sobre los riesgos que plantean (o no) sus modelos.

Pero incluso este intercambio de información puede ser arriesgado. Si el equipo de IA de Google, durante las pruebas previas al lanzamiento, evita que se utilicen nuevos modelos para diseñar armas biológicas mortales, ¿debería compartir esa información fuera de Google? ¿Esto da ideas a los malos actores sobre cómo conseguir que un modelo menos protegido realice la misma tarea?

** Compromiso 3: la empresa se compromete a invertir en ciberseguridad y medidas de protección contra amenazas internas para proteger los pesos de modelos patentados y no publicados. **

Esta pregunta es muy simple y no controvertida entre los expertos de IA con los que hablé. "Pesos del modelo" es un término técnico que hace referencia a las instrucciones matemáticas que dan a los modelos de IA la capacidad de funcionar. Si eres un agente de un gobierno extranjero (o una empresa rival) que busca construir tu propia versión de ChatGPT u otro producto de IA, lo que quieres robar son los pesos. Las empresas de IA tienen un interés personal en controlar esto estrictamente.

El problema de la pérdida de peso del modelo es bien conocido.

Por ejemplo, los pesos del modelo de lenguaje LLaMA original de Meta se filtraron en 4chan y otros sitios solo unos días después de que el modelo se hiciera público. Dado el riesgo de más filtraciones y la posibilidad de que otros países estén interesados en robar la tecnología de las empresas estadounidenses, exigir a las empresas de IA que inviertan más en su propia seguridad parece una obviedad.

** Compromiso 4: Ambas empresas se comprometen a facilitar el descubrimiento y la notificación de vulnerabilidades en sus sistemas de inteligencia artificial por parte de terceros. **

No estoy muy seguro de lo que eso significa. Después de que cada empresa de IA lanza un modelo, descubre agujeros en su modelo, generalmente porque los usuarios intentan hacer cosas malas con el modelo, o eludir el "jailbreaking" de formas que la empresa no había previsto.

La Casa Blanca se ha comprometido a exigir a las empresas que creen "mecanismos sólidos de información" para las vulnerabilidades, pero no está claro qué podría significar eso.

¿Un botón de comentarios en la aplicación, similar a los que permiten a los usuarios de Facebook y Twitter denunciar publicaciones ofensivas? ¿Un programa de recompensas por errores, como el que OpenAI lanzó este año para recompensar a los usuarios que encuentran errores en sus sistemas? ¿Hay algo mas? Habrá que esperar para conocer más detalles.

** Compromiso 5: La empresa se compromete a desarrollar mecanismos técnicos sólidos para garantizar que los usuarios sepan cuándo el contenido es generado por inteligencia artificial, como los sistemas de marcas de agua. **

Es una idea interesante, pero deja mucho espacio para la interpretación.

Hasta ahora, las empresas de IA se han esforzado por diseñar herramientas que permitan a las personas saber si están viendo contenido generado por IA. Hay buenas razones técnicas para esto, pero es un problema real cuando las personas pueden hacer pasar trabajos generados por IA como propios (pregúntele a cualquier maestro de secundaria).

Muchas de las herramientas actuales anunciadas como capaces de detectar la salida de la IA en realidad no pueden hacerlo con ningún grado de precisión.

No soy optimista de que este problema se resuelva por completo, pero me alegra que las empresas se comprometan a trabajar en ello.

**Compromiso 6: Las empresas se comprometen a informar públicamente sobre las capacidades, limitaciones y áreas de uso apropiado e inapropiado de sus sistemas de IA. **

Otro compromiso que suena sensato con mucho margen de maniobra.

¿Con qué frecuencia necesitan las empresas informar sobre las capacidades y limitaciones de sus sistemas? ¿Qué tan detallada debe ser esta información? Dado que muchas empresas que construyen sistemas de IA se sorprenden con las capacidades de sus sistemas después del hecho, ¿cuánto tiempo pueden realmente describir estos sistemas por adelantado?

** Compromiso 7: Las empresas se comprometen a priorizar la investigación sobre los riesgos para la sociedad que los sistemas de IA pueden plantear, lo que incluye evitar prejuicios y discriminaciones perjudiciales y proteger la privacidad. **

El compromiso de "priorizar la investigación" es un compromiso vago. Aún así, creo que este compromiso será bien recibido por muchos en la comunidad de ética de la IA, que quieren que las empresas de IA den prioridad a la prevención de daños a corto plazo, como el sesgo y la discriminación, en lugar de preocuparse por los escenarios del fin del mundo, como lo hace la gente de seguridad de la IA.

Si está confundido acerca de la diferencia entre "ética de IA" y "seguridad de IA", sepa que hay dos facciones rivales dentro de la comunidad de investigación de IA, cada una de las cuales cree que la otra se enfoca en evitar daños por errores.

** Compromiso 8: Ambas empresas se comprometen a desarrollar y desplegar sistemas avanzados de inteligencia artificial para ayudar a resolver los mayores desafíos de la sociedad. **

No creo que mucha gente argumente que la IA avanzada no debería usarse para ayudar a resolver los mayores desafíos de la sociedad. No estaría en desacuerdo con que la Casa Blanca citara la prevención del cáncer y la mitigación del cambio climático como dos áreas en las que quiere que se centren las empresas de IA.

Sin embargo, para complicar un poco este objetivo, en la investigación de IA, las cosas que inicialmente parecen frívolas tienden a tener consecuencias más graves.

Algunas técnicas empleadas por AlphaGo de DeepMind, un sistema de inteligencia artificial entrenado para jugar el juego de mesa Go, han sido extremadamente útiles para predecir la estructura tridimensional de las proteínas, un descubrimiento importante que hace avanzar la investigación científica básica.

En general, los acuerdos de la Casa Blanca con las empresas de inteligencia artificial parecen ser más simbólicos que sustantivos. No existen mecanismos de aplicación para garantizar que las empresas cumplan con estos compromisos, muchos de los cuales reflejan precauciones que ya han tomado las empresas de IA.

Aún así, es un primer paso razonable.

Aceptar cumplir con estas reglas muestra que las empresas de IA han aprendido de los fracasos de las primeras empresas tecnológicas que esperaron hasta que se metieron en problemas antes de comprometerse con los gobiernos. En Washington, al menos cuando se trata de regulación tecnológica, vale la pena presentarse temprano.