LeCun a déclaré que la grande majorité des pairs universitaires sont très favorables à la R-D ouverte sur l’IA, mais qu’il y a encore des opposants.
Sur la question des risques liés à l’IA, les gros bonnets de tous horizons ont également des opinions différentes. Certaines personnes ont pris l’initiative de signer une lettre commune appelant à un moratoire immédiat sur les laboratoires d’IA, un point de vue soutenu par le triumvirat de l’apprentissage profond Geoffrey Hinton, Yoshua Bengio et d’autres.
Il y a quelques jours à peine, Bengio, Hinton et d’autres ont publié une lettre conjointe intitulée « Gérer les risques liés à l’IA à l’ère du développement rapide », appelant les chercheurs à prendre des mesures de gouvernance urgentes pour donner la priorité aux pratiques de sécurité et d’éthique avant de développer des systèmes d’IA, et appelant les gouvernements à prendre des mesures pour gérer les risques posés par l’IA.
L’article mentionne certaines mesures urgentes de gouvernance, telles que l’implication des institutions de l’État pour empêcher les gens d’utiliser l’IA à mauvais escient. Pour parvenir à une réglementation efficace, les gouvernements doivent avoir une compréhension globale des développements de l’IA. Les régulateurs devraient prendre une série de mesures, telles que l’enregistrement des modèles, la protection efficace des lanceurs d’alerte et la surveillance du développement des modèles et de l’utilisation des superordinateurs. Les régulateurs doivent également avoir accès à des systèmes d’IA avancés pour évaluer leurs capacités dangereuses avant leur déploiement.
Non seulement cela, mais un peu plus loin, en mai de cette année, l’organisation américaine à but non lucratif Center for Artificial Intelligence Security a publié une déclaration avertissant que l’intelligence artificielle devrait être considérée comme un risque d’extinction de l’humanité en tant qu’épidémie, et ceux qui ont soutenu la déclaration comprenaient également Hinton, Bengio et d’autres.
En mai, Hinton a également quitté son emploi chez Google afin de s’exprimer sur les risques posés par l’IA. Dans une interview accordée au New York Times, il a déclaré : « La plupart des gens pensent que c’est loin. J’avais l’habitude de penser que c’était encore loin, peut-être 30 à 50 ans ou même plus. Mais évidemment, je ne pense pas de cette façon maintenant.
Comme on pouvait s’y attendre, aux yeux des grands noms de l’IA comme Hinton, la gestion des risques posés par l’IA est une question très urgente.
Cependant, Yann LeCun, l’un des Big Three de l’apprentissage profond, est très optimiste quant au développement de l’IA. Il s’est largement opposé à la signature d’une lettre commune sur les risques de l’IA, arguant que le développement de l’IA est loin d’être une menace pour l’humanité.
Tout à l’heure, LeCun a répondu à quelques questions d’internautes sur les risques de l’IA dans une communication avec des utilisateurs X.
L’internaute a interrogé LeCun sur l’opinion de LeCun sur l’article « 'This is his climate change' : The experts helping Rishi Sunak seal his legacy », qui affirme que la lettre conjointe publiée par Hinton, Bengio et d’autres a changé la perception des gens de l’IA, qui ne voyaient plus l’IA comme un assistant à l’IA comme une menace potentielle au début. L’article poursuit en disant que ces derniers mois, les observateurs au Royaume-Uni ont trouvé de plus en plus d’informations sur l’atmosphère apocalyptique que l’IA crée. En mars, le gouvernement britannique a publié un livre blanc promettant de ne pas étouffer l’innovation dans le domaine de l’IA. À peine deux mois plus tard, cependant, le Royaume-Uni a commencé à parler de mettre des garde-fous sur l’IA et a exhorté les États-Unis à adopter son plan pour des règles mondiales sur l’IA.
Adresse de l’article :
La réaction de LeCun à l’article était la suivante : il ne voulait pas que les préoccupations du Royaume-Uni concernant les risques fatalistes de l’IA se propagent à d’autres pays.
Après cela, il y a la communication entre LeCun et les utilisateurs X que nous avons mentionnée plus tôt, et voici toutes les réponses de LeCun :
« Altman, Hassabis et Amodei sont engagés dans un lobbying massif des entreprises. Ils essaient de réglementer l’industrie de l’IA. Et vous, Geoff et Yoshua, vous donnez des « munitions » à ceux qui font pression pour l’interdiction de la recherche ouverte sur l’IA.
Si votre campagne de peur réussit, elle conduira inévitablement à ce que vous et moi considérons tous les deux comme un résultat catastrophique : une poignée d’entreprises prendront le contrôle de l’IA.
La grande majorité des pairs universitaires sont très favorables à la R&D ouverte sur l’IA. Peu de gens croient au scénario apocalyptique que vous prêchez. Vous, Yoshua, Geoff et Stuart êtes les seules exceptions.
Comme beaucoup de gens, je suis un grand partisan des plateformes d’IA ouvertes parce que je crois en une combinaison de forces : la créativité des gens, la démocratie, les forces du marché et la réglementation des produits. Je sais aussi qu’il est possible de produire des systèmes d’IA qui sont sûrs et sous notre contrôle. J’ai déjà fait des propositions concrètes à cet égard. Tout cela motivera les gens à faire ce qu’il faut.
Vous écrivez comme si l’IA avait été créée à partir de rien, qu’il s’agissait d’un phénomène naturel hors de notre contrôle. Mais ce n’est pas le cas. Il progresse grâce à tous ceux que vous et moi connaissons. Nous et eux avons le pouvoir de construire la « bonne chose ». Exiger une réglementation de la R&D (par opposition au déploiement de produits) implique l’hypothèse que ces personnes et les organisations qu’elles servent sont incompétentes, imprudentes, autodestructrices ou maléfiques. Mais ce n’est pas le cas.
J’ai trouvé beaucoup d’arguments pour prouver que le scénario apocalyptique dont vous avez peur est ridicule. Je n’entrerai pas dans les détails ici. Mais le point principal est que si un système d’IA solide est guidé par des objectifs, y compris des garde-fous, alors ils sont sûrs et contrôlables parce qu’ils fixent ces garde-fous et ces objectifs. (Les LLM autorégressifs actuels ne sont pas axés sur les objectifs, ne déduisons donc pas des faiblesses des LLM autorégressifs).
Lorsqu’il s’agit d’open source, l’effet de vos activités sera exactement à l’opposé de ce que vous recherchez. À l’avenir, les systèmes d’IA seront un trésor de toutes les connaissances et de la culture humaines, et ce dont nous avons besoin, c’est d’une plate-forme open source et gratuite afin que tout le monde puisse y contribuer. L’ouverture est le seul moyen pour les plateformes d’IA de refléter l’ensemble des connaissances et de la culture humaines. Cela nécessite que les contributions à ces plateformes soient crowdsourcées, comme sur Wikipédia. Si la plateforme n’est pas ouverte, cela ne fonctionnera pas.
Si les plateformes d’IA open source sont réglementées, alors un autre scénario est inévitable, et c’est qu’une poignée d’entreprises contrôleront la plateforme d’IA et, par extension, la dépendance numérique totale des gens. Qu’est-ce que cela signifie pour la démocratie ? Qu’est-ce que cela signifie pour la diversité culturelle ? C’est ce qui m’empêche de dormir la nuit.
Sous le long tweet de LeCun, il y a aussi beaucoup de gens qui « soutiennent » ses opinions.
Irina Rish, professeure au Département d’informatique et de recherche opérationnelle de l’Université de Montréal, est également membre de l’Institut québécois de l’IA Mila. Elle a déclaré que les chercheurs qui soutiennent l’IA open source devraient peut-être cesser de se taire et ouvrir la voie au développement de l’IA émergente.
Le fondateur d’Amazon, Beff Jezos, a également déclaré dans la section des commentaires que de telles critiques sont importantes et nécessaires.
Les internautes ont déclaré qu’au début, discuter des questions de sécurité peut enrichir l’imagination de chacun sur la technologie future, mais que la science-fiction sensationnelle ne devrait pas conduire à l’émergence de politiques monopolistiques.
Le modérateur du blog, Lex Fridman, a d’autres raisons de se réjouir de ce débat.
Les discussions sur les risques de l’IA façonneront également l’avenir de l’IA. Lorsqu’une idée vole la vedette, les gens la suivent aveuglément. Ce n’est que lorsque les deux parties pourront continuer à s’engager dans des discussions rationnelles qu’elles pourront vraiment voir le « vrai visage » de l’IA.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Les lauréats du prix Turing se disputent, et LeCun : La théorie de l’extinction de l’IA de Bengio, Hinton, etc. est ridicule
Source : Cœur de la machine
Sur la question des risques liés à l’IA, les gros bonnets de tous horizons ont également des opinions différentes. Certaines personnes ont pris l’initiative de signer une lettre commune appelant à un moratoire immédiat sur les laboratoires d’IA, un point de vue soutenu par le triumvirat de l’apprentissage profond Geoffrey Hinton, Yoshua Bengio et d’autres.
Il y a quelques jours à peine, Bengio, Hinton et d’autres ont publié une lettre conjointe intitulée « Gérer les risques liés à l’IA à l’ère du développement rapide », appelant les chercheurs à prendre des mesures de gouvernance urgentes pour donner la priorité aux pratiques de sécurité et d’éthique avant de développer des systèmes d’IA, et appelant les gouvernements à prendre des mesures pour gérer les risques posés par l’IA.
L’article mentionne certaines mesures urgentes de gouvernance, telles que l’implication des institutions de l’État pour empêcher les gens d’utiliser l’IA à mauvais escient. Pour parvenir à une réglementation efficace, les gouvernements doivent avoir une compréhension globale des développements de l’IA. Les régulateurs devraient prendre une série de mesures, telles que l’enregistrement des modèles, la protection efficace des lanceurs d’alerte et la surveillance du développement des modèles et de l’utilisation des superordinateurs. Les régulateurs doivent également avoir accès à des systèmes d’IA avancés pour évaluer leurs capacités dangereuses avant leur déploiement.
Non seulement cela, mais un peu plus loin, en mai de cette année, l’organisation américaine à but non lucratif Center for Artificial Intelligence Security a publié une déclaration avertissant que l’intelligence artificielle devrait être considérée comme un risque d’extinction de l’humanité en tant qu’épidémie, et ceux qui ont soutenu la déclaration comprenaient également Hinton, Bengio et d’autres.
En mai, Hinton a également quitté son emploi chez Google afin de s’exprimer sur les risques posés par l’IA. Dans une interview accordée au New York Times, il a déclaré : « La plupart des gens pensent que c’est loin. J’avais l’habitude de penser que c’était encore loin, peut-être 30 à 50 ans ou même plus. Mais évidemment, je ne pense pas de cette façon maintenant.
Comme on pouvait s’y attendre, aux yeux des grands noms de l’IA comme Hinton, la gestion des risques posés par l’IA est une question très urgente.
Cependant, Yann LeCun, l’un des Big Three de l’apprentissage profond, est très optimiste quant au développement de l’IA. Il s’est largement opposé à la signature d’une lettre commune sur les risques de l’IA, arguant que le développement de l’IA est loin d’être une menace pour l’humanité.
Tout à l’heure, LeCun a répondu à quelques questions d’internautes sur les risques de l’IA dans une communication avec des utilisateurs X.
La réaction de LeCun à l’article était la suivante : il ne voulait pas que les préoccupations du Royaume-Uni concernant les risques fatalistes de l’IA se propagent à d’autres pays.
« Altman, Hassabis et Amodei sont engagés dans un lobbying massif des entreprises. Ils essaient de réglementer l’industrie de l’IA. Et vous, Geoff et Yoshua, vous donnez des « munitions » à ceux qui font pression pour l’interdiction de la recherche ouverte sur l’IA.
Si votre campagne de peur réussit, elle conduira inévitablement à ce que vous et moi considérons tous les deux comme un résultat catastrophique : une poignée d’entreprises prendront le contrôle de l’IA.
La grande majorité des pairs universitaires sont très favorables à la R&D ouverte sur l’IA. Peu de gens croient au scénario apocalyptique que vous prêchez. Vous, Yoshua, Geoff et Stuart êtes les seules exceptions.
Comme beaucoup de gens, je suis un grand partisan des plateformes d’IA ouvertes parce que je crois en une combinaison de forces : la créativité des gens, la démocratie, les forces du marché et la réglementation des produits. Je sais aussi qu’il est possible de produire des systèmes d’IA qui sont sûrs et sous notre contrôle. J’ai déjà fait des propositions concrètes à cet égard. Tout cela motivera les gens à faire ce qu’il faut.
Vous écrivez comme si l’IA avait été créée à partir de rien, qu’il s’agissait d’un phénomène naturel hors de notre contrôle. Mais ce n’est pas le cas. Il progresse grâce à tous ceux que vous et moi connaissons. Nous et eux avons le pouvoir de construire la « bonne chose ». Exiger une réglementation de la R&D (par opposition au déploiement de produits) implique l’hypothèse que ces personnes et les organisations qu’elles servent sont incompétentes, imprudentes, autodestructrices ou maléfiques. Mais ce n’est pas le cas.
J’ai trouvé beaucoup d’arguments pour prouver que le scénario apocalyptique dont vous avez peur est ridicule. Je n’entrerai pas dans les détails ici. Mais le point principal est que si un système d’IA solide est guidé par des objectifs, y compris des garde-fous, alors ils sont sûrs et contrôlables parce qu’ils fixent ces garde-fous et ces objectifs. (Les LLM autorégressifs actuels ne sont pas axés sur les objectifs, ne déduisons donc pas des faiblesses des LLM autorégressifs).
Lorsqu’il s’agit d’open source, l’effet de vos activités sera exactement à l’opposé de ce que vous recherchez. À l’avenir, les systèmes d’IA seront un trésor de toutes les connaissances et de la culture humaines, et ce dont nous avons besoin, c’est d’une plate-forme open source et gratuite afin que tout le monde puisse y contribuer. L’ouverture est le seul moyen pour les plateformes d’IA de refléter l’ensemble des connaissances et de la culture humaines. Cela nécessite que les contributions à ces plateformes soient crowdsourcées, comme sur Wikipédia. Si la plateforme n’est pas ouverte, cela ne fonctionnera pas.
Si les plateformes d’IA open source sont réglementées, alors un autre scénario est inévitable, et c’est qu’une poignée d’entreprises contrôleront la plateforme d’IA et, par extension, la dépendance numérique totale des gens. Qu’est-ce que cela signifie pour la démocratie ? Qu’est-ce que cela signifie pour la diversité culturelle ? C’est ce qui m’empêche de dormir la nuit.
Sous le long tweet de LeCun, il y a aussi beaucoup de gens qui « soutiennent » ses opinions.
Irina Rish, professeure au Département d’informatique et de recherche opérationnelle de l’Université de Montréal, est également membre de l’Institut québécois de l’IA Mila. Elle a déclaré que les chercheurs qui soutiennent l’IA open source devraient peut-être cesser de se taire et ouvrir la voie au développement de l’IA émergente.
Le modérateur du blog, Lex Fridman, a d’autres raisons de se réjouir de ce débat.