Se acusa a los pesos de los modelos abiertos de hacer que la IA se salga de control. Meta fue protestada con pancartas. LeCun: La comunidad de IA de código abierto está en pleno apogeo.
La IA, especialmente de código abierto y cerrado en la era de los grandes modelos, tiene ventajas y desventajas, lo importante es cómo hacer un buen trabajo en el proceso de uso.
Fuente de la imagen: Generada por IA ilimitada
La gente siempre ha estado dividida sobre la elección entre código abierto y código cerrado en el campo de la IA, sin embargo, en la era de los grandes modelos, la poderosa fuerza del código abierto ha surgido silenciosamente. Según un documento interno filtrado previamente por Google, en torno a modelos de código abierto como LLaMA de Meta, toda la comunidad está construyendo rápidamente modelos similares a OpenAI y las capacidades de modelos grandes de Google.
No hay duda de que Meta es el núcleo absoluto del mundo del código abierto, con esfuerzos continuos de código abierto como el reciente lanzamiento de Llama 2. Sin embargo, todo lo bueno será destruido por el viento. Recientemente, Meta ha estado en "problemas" debido al código abierto.
Afuera de las oficinas de Meta en San Francisco, un grupo de manifestantes con carteles se reunieron para protestar contra la estrategia de Meta de publicar públicamente modelos de IA, alegando que estos modelos publicados causaron la "proliferación irreversible" de tecnologías potencialmente inseguras. Algunos manifestantes incluso compararon los grandes modelos fabricados por Meta con "armas de destrucción masiva".
Estos manifestantes se autodenominan "ciudadanos preocupados" y están encabezados por Holly Elmore. Según información de LinkedIn, es una defensora independiente del movimiento AI Pause.
Fuente de la foto: MISHA GUREVICH
Señaló que si un modelo resulta inseguro, la API se puede cerrar, como modelos grandes como Google y OpenAI que solo permiten a los usuarios acceder a través de la API.
Por el contrario, la serie LLaMA de modelos de código abierto de Meta pone los pesos de los modelos a disposición del público, lo que permite que cualquier persona con el hardware y la experiencia adecuados replique y modifique el modelo por sí mismo. Una vez que se publican los pesos del modelo, la editorial ya no tiene ningún medio para controlar cómo se utiliza la IA.
Según Holly Elmore, liberar los pesos del modelo es una estrategia peligrosa: cualquiera puede modificar el modelo y estos modelos no se pueden recuperar. "Cuanto más poderoso es el modelo, más peligrosa es la estrategia".
En comparación con el código abierto, los modelos grandes a los que se accede a través de API suelen tener varias características de seguridad, como filtrado de respuestas o capacitación específica para evitar la generación de respuestas peligrosas u ofensivas.
Si se liberan los pesos del modelo, será mucho más fácil volver a entrenar al modelo para que salte estas "barandillas". Esto hace que sea más posible utilizar estos modelos de código abierto para crear software de phishing y realizar ataques a la red.
Fuente de la foto: MISHA GUREVICH
Porque cree que parte del problema radica en "insuficientes medidas de seguridad para la liberación de modelos" y que es necesario encontrar una mejor manera de garantizar la seguridad de los modelos.
Meta aún tiene que comentar sobre esto. Sin embargo, Yann LeCun, el científico jefe de IA de Meta, parece haber respondido a la afirmación de que "la IA de código abierto debe prohibirse" y expuso la gran situación de la comunidad empresarial de IA de código abierto en París.
Hay muchas personas que no están de acuerdo con Holly Elmore, que cree que una estrategia abierta para el desarrollo de la IA es la única forma de garantizar la confianza en la tecnología.
Algunos internautas dijeron que el código abierto tiene pros y contras: puede permitir a las personas obtener una mayor transparencia y mejorar la innovación, pero también enfrentará el riesgo de un uso indebido (como el código) por parte de actores maliciosos.
Como era de esperar, OpenAI fue nuevamente ridiculizado: "Debería volver al código abierto".
Hay mucha gente preocupada por el código abierto
Peter S. Park, investigador postdoctoral en seguridad de IA en el MIT, dijo: "La liberación generalizada de modelos avanzados de IA será particularmente problemática en el futuro porque prevenir el abuso de los modelos de IA es básicamente imposible".
Sin embargo, Stella Biderman, directora ejecutiva de EleutherAI, una organización de investigación de inteligencia artificial sin fines de lucro, dijo: "Hasta ahora, hay poca evidencia de que los modelos de código abierto causen algún daño específico. No está claro si simplemente poner un modelo detrás de una API resolverá el problema". problema. Pregunta de seguridad."
Biderman cree: "Los elementos básicos para construir un LLM se han divulgado en artículos de investigación gratuitos, y cualquier persona en el mundo puede leer la literatura en papel para desarrollar sus propios modelos".
Y añadió: "Alentar a las empresas a mantener en secreto los detalles de los modelos podría tener graves consecuencias adversas para la transparencia de la investigación, la conciencia pública y el desarrollo científico en este campo, especialmente para los investigadores independientes".
Aunque todo el mundo ya está discutiendo el impacto del código abierto, todavía no está claro si el enfoque de Meta es realmente lo suficientemente abierto y puede aprovechar el código abierto.
Stefano Maffulli, director ejecutivo de Open Source Initiative (OSI), afirmó: "El concepto de IA de código abierto no se ha definido adecuadamente. Diferentes organizaciones utilizan el término para referirse a diferentes cosas, indicando diferentes niveles de 'algo disponible públicamente'. lo cual confundirá a la gente."
Maffulli señala que para el software de código abierto, la cuestión clave es si el código fuente está disponible públicamente y es reproducible para cualquier propósito. Sin embargo, para reproducir un modelo de IA, es posible que deba compartir datos de entrenamiento, métodos de recopilación de datos, software de entrenamiento, pesos del modelo, código de inferencia, etc. Entre ellos, el más importante es que los datos de entrenamiento pueden tener problemas de privacidad y derechos de autor.
OSI ha estado trabajando en una definición precisa de "IA de código abierto" desde el año pasado y probablemente publicará un borrador preliminar en las próximas semanas. Pero pase lo que pase, él cree que el código abierto es crucial para el desarrollo de la IA. "Si la IA no es de código abierto, no podemos tener una IA responsable y confiable", afirmó.
En el futuro, las diferencias entre código abierto y código cerrado continuarán, pero el código abierto es imparable.
Enlace original:
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Se acusa a los pesos de los modelos abiertos de hacer que la IA se salga de control. Meta fue protestada con pancartas. LeCun: La comunidad de IA de código abierto está en pleno apogeo.
La gente siempre ha estado dividida sobre la elección entre código abierto y código cerrado en el campo de la IA, sin embargo, en la era de los grandes modelos, la poderosa fuerza del código abierto ha surgido silenciosamente. Según un documento interno filtrado previamente por Google, en torno a modelos de código abierto como LLaMA de Meta, toda la comunidad está construyendo rápidamente modelos similares a OpenAI y las capacidades de modelos grandes de Google.
No hay duda de que Meta es el núcleo absoluto del mundo del código abierto, con esfuerzos continuos de código abierto como el reciente lanzamiento de Llama 2. Sin embargo, todo lo bueno será destruido por el viento. Recientemente, Meta ha estado en "problemas" debido al código abierto.
Afuera de las oficinas de Meta en San Francisco, un grupo de manifestantes con carteles se reunieron para protestar contra la estrategia de Meta de publicar públicamente modelos de IA, alegando que estos modelos publicados causaron la "proliferación irreversible" de tecnologías potencialmente inseguras. Algunos manifestantes incluso compararon los grandes modelos fabricados por Meta con "armas de destrucción masiva".
Estos manifestantes se autodenominan "ciudadanos preocupados" y están encabezados por Holly Elmore. Según información de LinkedIn, es una defensora independiente del movimiento AI Pause.
Señaló que si un modelo resulta inseguro, la API se puede cerrar, como modelos grandes como Google y OpenAI que solo permiten a los usuarios acceder a través de la API.
Por el contrario, la serie LLaMA de modelos de código abierto de Meta pone los pesos de los modelos a disposición del público, lo que permite que cualquier persona con el hardware y la experiencia adecuados replique y modifique el modelo por sí mismo. Una vez que se publican los pesos del modelo, la editorial ya no tiene ningún medio para controlar cómo se utiliza la IA.
Según Holly Elmore, liberar los pesos del modelo es una estrategia peligrosa: cualquiera puede modificar el modelo y estos modelos no se pueden recuperar. "Cuanto más poderoso es el modelo, más peligrosa es la estrategia".
En comparación con el código abierto, los modelos grandes a los que se accede a través de API suelen tener varias características de seguridad, como filtrado de respuestas o capacitación específica para evitar la generación de respuestas peligrosas u ofensivas.
Si se liberan los pesos del modelo, será mucho más fácil volver a entrenar al modelo para que salte estas "barandillas". Esto hace que sea más posible utilizar estos modelos de código abierto para crear software de phishing y realizar ataques a la red.
Porque cree que parte del problema radica en "insuficientes medidas de seguridad para la liberación de modelos" y que es necesario encontrar una mejor manera de garantizar la seguridad de los modelos.
Meta aún tiene que comentar sobre esto. Sin embargo, Yann LeCun, el científico jefe de IA de Meta, parece haber respondido a la afirmación de que "la IA de código abierto debe prohibirse" y expuso la gran situación de la comunidad empresarial de IA de código abierto en París.
Algunos internautas dijeron que el código abierto tiene pros y contras: puede permitir a las personas obtener una mayor transparencia y mejorar la innovación, pero también enfrentará el riesgo de un uso indebido (como el código) por parte de actores maliciosos.
Peter S. Park, investigador postdoctoral en seguridad de IA en el MIT, dijo: "La liberación generalizada de modelos avanzados de IA será particularmente problemática en el futuro porque prevenir el abuso de los modelos de IA es básicamente imposible".
Sin embargo, Stella Biderman, directora ejecutiva de EleutherAI, una organización de investigación de inteligencia artificial sin fines de lucro, dijo: "Hasta ahora, hay poca evidencia de que los modelos de código abierto causen algún daño específico. No está claro si simplemente poner un modelo detrás de una API resolverá el problema". problema. Pregunta de seguridad."
Biderman cree: "Los elementos básicos para construir un LLM se han divulgado en artículos de investigación gratuitos, y cualquier persona en el mundo puede leer la literatura en papel para desarrollar sus propios modelos".
Y añadió: "Alentar a las empresas a mantener en secreto los detalles de los modelos podría tener graves consecuencias adversas para la transparencia de la investigación, la conciencia pública y el desarrollo científico en este campo, especialmente para los investigadores independientes".
Aunque todo el mundo ya está discutiendo el impacto del código abierto, todavía no está claro si el enfoque de Meta es realmente lo suficientemente abierto y puede aprovechar el código abierto.
Stefano Maffulli, director ejecutivo de Open Source Initiative (OSI), afirmó: "El concepto de IA de código abierto no se ha definido adecuadamente. Diferentes organizaciones utilizan el término para referirse a diferentes cosas, indicando diferentes niveles de 'algo disponible públicamente'. lo cual confundirá a la gente."
OSI ha estado trabajando en una definición precisa de "IA de código abierto" desde el año pasado y probablemente publicará un borrador preliminar en las próximas semanas. Pero pase lo que pase, él cree que el código abierto es crucial para el desarrollo de la IA. "Si la IA no es de código abierto, no podemos tener una IA responsable y confiable", afirmó.
En el futuro, las diferencias entre código abierto y código cerrado continuarán, pero el código abierto es imparable.
Enlace original: