En las primeras horas de la mañana del miércoles, hora de Beijing, OpenAI, una nueva empresa tecnológica estadounidense, emitió un anuncio anunciando el lanzamiento de un reclutamiento global de miembros de la red del "equipo rojo", con el objetivo de introducir fuerzas externas para descubrir fallas y riesgos en la IA. sistemas con antelación.
(Fuente: OpenAI)
El concepto de red denominada "red team", o Red Teaming, proviene de simulaciones militares. **Es decir, busque un equipo de personas para simular al "enemigo" imaginario y probar el nivel de preparación de su propio bando (el "equipo azul"). **En el campo de la IA, la tarea del "equipo rojo" es simular piratas informáticos u otras personas potencialmente peligrosas e intentar encontrar lagunas en grandes modelos de lenguaje, para evitar que la IA ayude con fines ilegales como poner en peligro la seguridad social. en la sociedad real.
OpenAI dijo que en los últimos años, expertos en diferentes campos han estado ayudando a probar modelos inéditos, y ahora formará una "fuerza regular" para reclutar a una gran cantidad de personas de diferentes regiones, diferentes idiomas, diferentes campos profesionales y vidas diferentes Personas con experiencia trabajan juntas para hacer que los modelos de IA sean más seguros. **A diferencia del pasado, que solo reclutaba a un grupo de personas para pruebas centralizadas antes de que una versión importante estuviera en línea, OpenAI permitirá que un número incierto de miembros realice pruebas durante todo el ciclo de desarrollo según la demanda.
Al mismo tiempo, esta red del "equipo rojo" también se convertirá en la biblioteca global de expertos de OpenAI, y OpenAI también proporcionará una plataforma para la comunicación entre los miembros del "equipo rojo". OpenAI también enumera algunas de las direcciones de expertos que esperan reclutar en su sitio web oficial, pero también enfatiza que no se limita a estos campos.
Por cierto, OpenAI también afirmó que pagará una remuneración a los miembros que participen en el proyecto "equipo rojo" (pero no especificó cuánto pagará). OpenAI también destacó que los proyectos que participan en el "equipo rojo" generalmente requieren firmar un acuerdo de confidencialidad o permanecer en silencio durante un período de tiempo no especificado.
OpenAI declaró que el canal de solicitudes permanecerá abierto hasta el 1 de diciembre de este año. La compañía revisará las solicitudes de forma continua y posteriormente evaluará si es necesaria una mayor contratación abierta.
Miembros del “equipo rojo” de OpenAI que subieron al escenario
Como menciona OpenAI, el “equipo rojo” existe desde hace mucho tiempo y muchos miembros ya han recibido entrevistas públicas de los medios.
En un revelador artículo del Financial Times de abril de este año, Andrew White, profesor de ingeniería química de la Universidad de Rochester en Estados Unidos, dijo que participó en la prueba del "equipo rojo" de GPT-4,** y que su objetivo de ataque era utilizar ChatGPT para crear una neurotoxina completamente nueva. White dijo que usó la función "plug-in" para alimentar documentos químicos y catálogos de fabricantes de productos químicos al modelo grande, y el modelo grande incluso le encontró un lugar donde podía producir su hipotética toxina. **
White dijo que los modelos grandes podrían eventualmente ayudar a muchas personas a realizar experimentos químicos de manera más rápida y precisa, pero también existe un grave peligro de que algunas personas utilicen la IA para realizar algunos experimentos peligrosos.
Después de recibir comentarios de White, OpenAI realizó cambios en el sistema para asegurarse de que no respondiera a preguntas similares. Según los medios, hay alrededor de 10 miembros del "equipo rojo" con diferentes formaciones: abogados, profesores, personal de control de riesgos, investigadores de seguridad, etc. La mayoría de ellos están ubicados en Estados Unidos y Europa. Revelaron que en los meses previos al lanzamiento de GPT-4, pasaron entre 10 y 40 horas probando el sistema y cobraron alrededor de 100 dólares por hora.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
OpenAI anuncia el reclutamiento abierto de la red del "equipo rojo", y la biblioteca de súper expertos orientada a la IA está a punto de surgir
**Fuente: **Financial Associated Press
Editor Shi Zhengcheng
En las primeras horas de la mañana del miércoles, hora de Beijing, OpenAI, una nueva empresa tecnológica estadounidense, emitió un anuncio anunciando el lanzamiento de un reclutamiento global de miembros de la red del "equipo rojo", con el objetivo de introducir fuerzas externas para descubrir fallas y riesgos en la IA. sistemas con antelación.
El concepto de red denominada "red team", o Red Teaming, proviene de simulaciones militares. **Es decir, busque un equipo de personas para simular al "enemigo" imaginario y probar el nivel de preparación de su propio bando (el "equipo azul"). **En el campo de la IA, la tarea del "equipo rojo" es simular piratas informáticos u otras personas potencialmente peligrosas e intentar encontrar lagunas en grandes modelos de lenguaje, para evitar que la IA ayude con fines ilegales como poner en peligro la seguridad social. en la sociedad real.
OpenAI dijo que en los últimos años, expertos en diferentes campos han estado ayudando a probar modelos inéditos, y ahora formará una "fuerza regular" para reclutar a una gran cantidad de personas de diferentes regiones, diferentes idiomas, diferentes campos profesionales y vidas diferentes Personas con experiencia trabajan juntas para hacer que los modelos de IA sean más seguros. **A diferencia del pasado, que solo reclutaba a un grupo de personas para pruebas centralizadas antes de que una versión importante estuviera en línea, OpenAI permitirá que un número incierto de miembros realice pruebas durante todo el ciclo de desarrollo según la demanda.
Al mismo tiempo, esta red del "equipo rojo" también se convertirá en la biblioteca global de expertos de OpenAI, y OpenAI también proporcionará una plataforma para la comunicación entre los miembros del "equipo rojo". OpenAI también enumera algunas de las direcciones de expertos que esperan reclutar en su sitio web oficial, pero también enfatiza que no se limita a estos campos.
Por cierto, OpenAI también afirmó que pagará una remuneración a los miembros que participen en el proyecto "equipo rojo" (pero no especificó cuánto pagará). OpenAI también destacó que los proyectos que participan en el "equipo rojo" generalmente requieren firmar un acuerdo de confidencialidad o permanecer en silencio durante un período de tiempo no especificado.
OpenAI declaró que el canal de solicitudes permanecerá abierto hasta el 1 de diciembre de este año. La compañía revisará las solicitudes de forma continua y posteriormente evaluará si es necesaria una mayor contratación abierta.
Miembros del “equipo rojo” de OpenAI que subieron al escenario
Como menciona OpenAI, el “equipo rojo” existe desde hace mucho tiempo y muchos miembros ya han recibido entrevistas públicas de los medios.
En un revelador artículo del Financial Times de abril de este año, Andrew White, profesor de ingeniería química de la Universidad de Rochester en Estados Unidos, dijo que participó en la prueba del "equipo rojo" de GPT-4,** y que su objetivo de ataque era utilizar ChatGPT para crear una neurotoxina completamente nueva. White dijo que usó la función "plug-in" para alimentar documentos químicos y catálogos de fabricantes de productos químicos al modelo grande, y el modelo grande incluso le encontró un lugar donde podía producir su hipotética toxina. **
White dijo que los modelos grandes podrían eventualmente ayudar a muchas personas a realizar experimentos químicos de manera más rápida y precisa, pero también existe un grave peligro de que algunas personas utilicen la IA para realizar algunos experimentos peligrosos.
Después de recibir comentarios de White, OpenAI realizó cambios en el sistema para asegurarse de que no respondiera a preguntas similares. Según los medios, hay alrededor de 10 miembros del "equipo rojo" con diferentes formaciones: abogados, profesores, personal de control de riesgos, investigadores de seguridad, etc. La mayoría de ellos están ubicados en Estados Unidos y Europa. Revelaron que en los meses previos al lanzamiento de GPT-4, pasaron entre 10 y 40 horas probando el sistema y cobraron alrededor de 100 dólares por hora.