Les poids des modèles ouverts sont accusés de rendre l'IA hors de contrôle. Meta a été protestée avec des pancartes. LeCun : La communauté de l'IA open source bat son plein.
L'IA, en particulier l'open source et la source fermée à l'ère des grands modèles, présente des avantages et des inconvénients. L'important est de savoir comment faire du bon travail dans le processus d'utilisation.
Source de l'image : générée par Unbounded AI
Les gens ont toujours été divisés sur le choix entre l'open source et le fermé dans le domaine de l'IA, mais à l'ère des grands modèles, la force puissante de l'open source a discrètement émergé. Selon un document interne précédemment divulgué par Google, autour de modèles open source tels que LLaMA de Meta, l'ensemble de la communauté construit rapidement des modèles similaires à OpenAI et aux capacités de grands modèles de Google.
Il ne fait aucun doute que Meta est le noyau absolu du monde open source, avec des efforts continus en matière d’open source tels que la récente sortie de Llama 2. Cependant, tout ce qui est bon sera détruit par le vent. Récemment, Meta a eu des « ennuis » à cause de l'open source.
Devant les bureaux de Meta à San Francisco, un groupe de manifestants brandissant des pancartes s'est rassemblé pour protester contre la stratégie de Meta consistant à publier publiquement des modèles d'IA, affirmant que ces modèles publiés provoquaient la « prolifération irréversible » de technologies potentiellement dangereuses. Certains manifestants ont même comparé les grands modèles commercialisés par Meta à des « armes de destruction massive ».
Ces manifestants se qualifient de « citoyens concernés » et sont menés par Holly Elmore. Selon les informations de LinkedIn, elle est une défenseure indépendante du mouvement AI Pause.
Source photo : MISHA GUREVITCH
Elle a souligné que si un modèle s'avère dangereux, l'API peut être fermée, comme les grands modèles tels que Google et OpenAI qui permettent uniquement aux utilisateurs d'accéder via l'API.
En revanche, la série de modèles open source LLaMA de Meta met les poids des modèles à la disposition du public, permettant à toute personne disposant du matériel et de l'expertise appropriés de reproduire et de modifier le modèle lui-même. Une fois les pondérations des modèles publiées, la société d’édition n’a plus aucun moyen de contrôler la manière dont l’IA est utilisée.
Selon Holly Elmore, la publication des poids des modèles est une stratégie dangereuse : n'importe qui peut modifier le modèle, et ces modèles ne peuvent pas être rappelés. "Plus le modèle est puissant, plus la stratégie est dangereuse."
Par rapport à l'open source, les grands modèles accessibles via les API disposent souvent de diverses fonctionnalités de sécurité, telles que le filtrage des réponses ou une formation spécifique pour empêcher la génération de réponses dangereuses ou offensantes.
Si les poids du modèle sont libérés, il devient beaucoup plus facile de recycler le modèle pour qu'il saute par-dessus ces « garde-corps ». Cela rend plus possible l’utilisation de ces modèles open source pour créer des logiciels de phishing et mener des attaques réseau.
Source photo : MISHA GUREVITCH
Parce qu'elle estime qu'une partie du problème réside dans « des mesures de sécurité insuffisantes pour la sortie des modèles » et qu'il doit y avoir une meilleure façon de garantir la sécurité des modèles.
Meta n'a pas encore commenté à ce sujet. Cependant, Yann LeCun, scientifique en chef de l'IA chez Meta, semble avoir répondu à la déclaration selon laquelle « l'IA open source doit être interdite » et a exposé la situation grandiose de la communauté entrepreneuriale de l'IA open source à Paris.
De nombreuses personnes ne sont pas d’accord avec Holly Elmore, qui estime qu’une stratégie ouverte pour le développement de l’IA est le seul moyen de garantir la confiance dans la technologie.
Certains internautes ont déclaré que l'open source présente des avantages et des inconvénients : il peut permettre aux utilisateurs d'obtenir une plus grande transparence et de renforcer l'innovation, mais il présente également un risque d'utilisation abusive (comme le code) par des acteurs malveillants.
Comme prévu, OpenAI a été une fois de plus ridiculisé : « Il devrait revenir à l'open source ».
Beaucoup de gens s'inquiètent de l'open source
Peter S. Park, chercheur postdoctoral en sécurité de l'IA au MIT, a déclaré : « La diffusion généralisée de modèles d'IA avancés sera particulièrement problématique à l'avenir car il est fondamentalement impossible d'empêcher les abus des modèles d'IA. »
Cependant, Stella Biderman, directrice exécutive d'EleutherAI, une organisation de recherche sur l'intelligence artificielle à but non lucratif, a déclaré : « Jusqu'à présent, il existe peu de preuves que les modèles open source causent un préjudice spécifique. Il n'est pas clair si le simple fait de mettre un modèle derrière une API résoudra le problème. problème. Question de sécurité."
Biderman estime : « Les éléments de base de la construction du LLM ont été divulgués dans des documents de recherche gratuits, et n'importe qui dans le monde peut lire la littérature papier pour développer ses propres modèles.
Elle a ajouté : "Encourager les entreprises à garder secrets les détails des modèles pourrait avoir de graves conséquences négatives sur la transparence de la recherche, la sensibilisation du public et le développement scientifique dans le domaine, en particulier pour les chercheurs indépendants."
Bien que tout le monde discute déjà de l'impact de l'open source, il n'est toujours pas clair si l'approche de Meta est réellement suffisamment ouverte et peut tirer parti de l'open source.
Stefano Maffulli, directeur exécutif de l'Open Source Initiative (OSI), a déclaré : « Le concept d'IA open source n'a pas été correctement défini. Différentes organisations utilisent ce terme pour désigner différentes choses - indiquant différents niveaux de « quelque chose de accessible au public ». ce qui va dérouter les gens."
Maffulli souligne que pour les logiciels open source, la question clé est de savoir si le code source est accessible au public et reproductible à quelque fin que ce soit. Cependant, pour reproduire un modèle d'IA, vous devrez peut-être partager des données d'entraînement, des méthodes de collecte de données, des logiciels d'entraînement, des poids de modèle, un code d'inférence, etc. Parmi eux, le plus important est que les données de formation peuvent présenter des problèmes de confidentialité et de droits d'auteur.
OSI travaille sur une définition précise de « l’IA open source » depuis l’année dernière et publiera probablement une première version dans les semaines à venir. Quoi qu’il en soit, il estime que l’open source est crucial pour le développement de l’IA. "Si l'IA n'est pas open source, nous ne pouvons pas avoir une IA fiable et responsable", a-t-il déclaré.
À l’avenir, les différences entre l’open source et le close source persisteront, mais l’open source est imparable.
Lien d'origine :
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Les poids des modèles ouverts sont accusés de rendre l'IA hors de contrôle. Meta a été protestée avec des pancartes. LeCun : La communauté de l'IA open source bat son plein.
Les gens ont toujours été divisés sur le choix entre l'open source et le fermé dans le domaine de l'IA, mais à l'ère des grands modèles, la force puissante de l'open source a discrètement émergé. Selon un document interne précédemment divulgué par Google, autour de modèles open source tels que LLaMA de Meta, l'ensemble de la communauté construit rapidement des modèles similaires à OpenAI et aux capacités de grands modèles de Google.
Il ne fait aucun doute que Meta est le noyau absolu du monde open source, avec des efforts continus en matière d’open source tels que la récente sortie de Llama 2. Cependant, tout ce qui est bon sera détruit par le vent. Récemment, Meta a eu des « ennuis » à cause de l'open source.
Devant les bureaux de Meta à San Francisco, un groupe de manifestants brandissant des pancartes s'est rassemblé pour protester contre la stratégie de Meta consistant à publier publiquement des modèles d'IA, affirmant que ces modèles publiés provoquaient la « prolifération irréversible » de technologies potentiellement dangereuses. Certains manifestants ont même comparé les grands modèles commercialisés par Meta à des « armes de destruction massive ».
Ces manifestants se qualifient de « citoyens concernés » et sont menés par Holly Elmore. Selon les informations de LinkedIn, elle est une défenseure indépendante du mouvement AI Pause.
Elle a souligné que si un modèle s'avère dangereux, l'API peut être fermée, comme les grands modèles tels que Google et OpenAI qui permettent uniquement aux utilisateurs d'accéder via l'API.
En revanche, la série de modèles open source LLaMA de Meta met les poids des modèles à la disposition du public, permettant à toute personne disposant du matériel et de l'expertise appropriés de reproduire et de modifier le modèle lui-même. Une fois les pondérations des modèles publiées, la société d’édition n’a plus aucun moyen de contrôler la manière dont l’IA est utilisée.
Selon Holly Elmore, la publication des poids des modèles est une stratégie dangereuse : n'importe qui peut modifier le modèle, et ces modèles ne peuvent pas être rappelés. "Plus le modèle est puissant, plus la stratégie est dangereuse."
Par rapport à l'open source, les grands modèles accessibles via les API disposent souvent de diverses fonctionnalités de sécurité, telles que le filtrage des réponses ou une formation spécifique pour empêcher la génération de réponses dangereuses ou offensantes.
Si les poids du modèle sont libérés, il devient beaucoup plus facile de recycler le modèle pour qu'il saute par-dessus ces « garde-corps ». Cela rend plus possible l’utilisation de ces modèles open source pour créer des logiciels de phishing et mener des attaques réseau.
Parce qu'elle estime qu'une partie du problème réside dans « des mesures de sécurité insuffisantes pour la sortie des modèles » et qu'il doit y avoir une meilleure façon de garantir la sécurité des modèles.
Meta n'a pas encore commenté à ce sujet. Cependant, Yann LeCun, scientifique en chef de l'IA chez Meta, semble avoir répondu à la déclaration selon laquelle « l'IA open source doit être interdite » et a exposé la situation grandiose de la communauté entrepreneuriale de l'IA open source à Paris.
Certains internautes ont déclaré que l'open source présente des avantages et des inconvénients : il peut permettre aux utilisateurs d'obtenir une plus grande transparence et de renforcer l'innovation, mais il présente également un risque d'utilisation abusive (comme le code) par des acteurs malveillants.
Peter S. Park, chercheur postdoctoral en sécurité de l'IA au MIT, a déclaré : « La diffusion généralisée de modèles d'IA avancés sera particulièrement problématique à l'avenir car il est fondamentalement impossible d'empêcher les abus des modèles d'IA. »
Cependant, Stella Biderman, directrice exécutive d'EleutherAI, une organisation de recherche sur l'intelligence artificielle à but non lucratif, a déclaré : « Jusqu'à présent, il existe peu de preuves que les modèles open source causent un préjudice spécifique. Il n'est pas clair si le simple fait de mettre un modèle derrière une API résoudra le problème. problème. Question de sécurité."
Biderman estime : « Les éléments de base de la construction du LLM ont été divulgués dans des documents de recherche gratuits, et n'importe qui dans le monde peut lire la littérature papier pour développer ses propres modèles.
Elle a ajouté : "Encourager les entreprises à garder secrets les détails des modèles pourrait avoir de graves conséquences négatives sur la transparence de la recherche, la sensibilisation du public et le développement scientifique dans le domaine, en particulier pour les chercheurs indépendants."
Bien que tout le monde discute déjà de l'impact de l'open source, il n'est toujours pas clair si l'approche de Meta est réellement suffisamment ouverte et peut tirer parti de l'open source.
Stefano Maffulli, directeur exécutif de l'Open Source Initiative (OSI), a déclaré : « Le concept d'IA open source n'a pas été correctement défini. Différentes organisations utilisent ce terme pour désigner différentes choses - indiquant différents niveaux de « quelque chose de accessible au public ». ce qui va dérouter les gens."
OSI travaille sur une définition précise de « l’IA open source » depuis l’année dernière et publiera probablement une première version dans les semaines à venir. Quoi qu’il en soit, il estime que l’open source est crucial pour le développement de l’IA. "Si l'IA n'est pas open source, nous ne pouvons pas avoir une IA fiable et responsable", a-t-il déclaré.
À l’avenir, les différences entre l’open source et le close source persisteront, mais l’open source est imparable.
Lien d'origine :