Aux premières heures de mercredi matin, heure de Pékin, OpenAI, une start-up technologique américaine, a publié un communiqué annonçant le lancement d'un recrutement mondial de membres du réseau "red team", visant à introduire des forces extérieures pour découvrir les failles et les risques de l'IA. systèmes à l’avance.
(Source : OpenAI)
Le concept du réseau dit « red team », ou Red Teaming, est issu des simulations militaires. **C'est-à-dire, trouvez une équipe de personnes pour simuler « l'ennemi » imaginaire afin de tester le niveau de préparation de votre propre camp (l'« équipe bleue »). **Dans le domaine de l'IA, la tâche de « l'équipe rouge » est de simuler des pirates informatiques ou d'autres personnes potentiellement dangereuses et d'essayer de trouver des failles dans les grands modèles de langage, afin d'empêcher l'IA de contribuer à des fins illégales telles que mettre en danger la sécurité sociale. dans la vraie société.
OpenAI a déclaré qu'au cours des dernières années, des experts dans différents domaines ont contribué à tester des modèles inédits et qu'il s'agit désormais de former une « force régulière » pour recruter un grand nombre de personnes de différentes régions, de différentes langues, de différents domaines professionnels et des vies différentes. Des personnes expérimentées travaillent ensemble pour rendre les modèles d’IA plus sûrs. **Contrairement au passé, qui recrutait uniquement un groupe de personnes pour des tests centralisés avant la mise en ligne d'une version importante, OpenAI permettra à un nombre incertain de membres d'effectuer des tests tout au long du cycle de développement en fonction de la demande.
Dans le même temps, ce réseau de « l'équipe rouge » deviendra également la bibliothèque mondiale d'experts d'OpenAI, et OpenAI fournira également une plate-forme de communication entre les membres de « l'équipe rouge ». OpenAI répertorie également certaines des directions d'experts qu'ils espèrent recruter sur son site officiel, mais souligne également qu'elle ne se limite pas à ces domaines.
À propos, OpenAI a également déclaré qu'elle verserait une rémunération aux membres qui participent au projet « équipe rouge » (mais n'a pas précisé combien elle paierait). OpenAI a également souligné que les projets participant à la « équipe rouge » nécessitent généralement de signer un accord de confidentialité ou de garder le silence pendant une durée indéterminée.
OpenAI a déclaré que le canal de candidature resterait ouvert jusqu'au 1er décembre de cette année. La société examinera les candidatures sur une base continue et évaluera ensuite si un recrutement plus ouvert est nécessaire.
Membres de l'équipe rouge d'OpenAI qui sont montés sur scène
Comme le mentionne OpenAI, la « équipe rouge » existe depuis longtemps et de nombreux membres ont déjà reçu des interviews publiques de la part des médias.
Dans un article révélateur paru dans le Financial Times en avril de cette année, Andrew White, professeur de génie chimique à l'Université de Rochester aux États-Unis, a déclaré qu'il avait participé au test de « l'équipe rouge » du GPT-4** et que sa cible d'attaque était d'utiliser ChatGPT pour créer une toute nouvelle neurotoxine. White a déclaré qu'il avait utilisé la fonction "plug-in" pour alimenter le grand modèle en documents de chimie et en catalogues de fabricants de produits chimiques, et que le grand modèle lui avait même trouvé un endroit où il pouvait produire son hypothétique toxine. **
White a déclaré que les grands modèles pourraient éventuellement aider de nombreuses personnes à réaliser des expériences chimiques plus rapidement et avec plus de précision, mais il existe également un risque sérieux que certaines personnes utilisent l'IA pour réaliser des expériences dangereuses.
Après avoir reçu les commentaires de White, OpenAI a apporté des modifications au système pour s'assurer qu'il ne répondrait pas à des questions similaires. Selon les médias, l'équipe rouge compte une dizaine de membres issus d'horizons différents : avocats, enseignants, personnel chargé du contrôle des risques, chercheurs en sécurité, etc. La plupart d'entre eux sont situés aux États-Unis et en Europe. Ils ont révélé que dans les mois précédant la sortie de GPT-4, ils avaient passé environ 10 à 40 heures à tester le système et étaient payés environ 100 $ de l'heure.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
OpenAI annonce le recrutement ouvert du réseau « équipe rouge », une bibliothèque de super experts orientée IA est sur le point d'émerger
**Source : **Financial Associated Press
Éditeur Shi Zhengcheng
Aux premières heures de mercredi matin, heure de Pékin, OpenAI, une start-up technologique américaine, a publié un communiqué annonçant le lancement d'un recrutement mondial de membres du réseau "red team", visant à introduire des forces extérieures pour découvrir les failles et les risques de l'IA. systèmes à l’avance.
Le concept du réseau dit « red team », ou Red Teaming, est issu des simulations militaires. **C'est-à-dire, trouvez une équipe de personnes pour simuler « l'ennemi » imaginaire afin de tester le niveau de préparation de votre propre camp (l'« équipe bleue »). **Dans le domaine de l'IA, la tâche de « l'équipe rouge » est de simuler des pirates informatiques ou d'autres personnes potentiellement dangereuses et d'essayer de trouver des failles dans les grands modèles de langage, afin d'empêcher l'IA de contribuer à des fins illégales telles que mettre en danger la sécurité sociale. dans la vraie société.
OpenAI a déclaré qu'au cours des dernières années, des experts dans différents domaines ont contribué à tester des modèles inédits et qu'il s'agit désormais de former une « force régulière » pour recruter un grand nombre de personnes de différentes régions, de différentes langues, de différents domaines professionnels et des vies différentes. Des personnes expérimentées travaillent ensemble pour rendre les modèles d’IA plus sûrs. **Contrairement au passé, qui recrutait uniquement un groupe de personnes pour des tests centralisés avant la mise en ligne d'une version importante, OpenAI permettra à un nombre incertain de membres d'effectuer des tests tout au long du cycle de développement en fonction de la demande.
Dans le même temps, ce réseau de « l'équipe rouge » deviendra également la bibliothèque mondiale d'experts d'OpenAI, et OpenAI fournira également une plate-forme de communication entre les membres de « l'équipe rouge ». OpenAI répertorie également certaines des directions d'experts qu'ils espèrent recruter sur son site officiel, mais souligne également qu'elle ne se limite pas à ces domaines.
À propos, OpenAI a également déclaré qu'elle verserait une rémunération aux membres qui participent au projet « équipe rouge » (mais n'a pas précisé combien elle paierait). OpenAI a également souligné que les projets participant à la « équipe rouge » nécessitent généralement de signer un accord de confidentialité ou de garder le silence pendant une durée indéterminée.
OpenAI a déclaré que le canal de candidature resterait ouvert jusqu'au 1er décembre de cette année. La société examinera les candidatures sur une base continue et évaluera ensuite si un recrutement plus ouvert est nécessaire.
Membres de l'équipe rouge d'OpenAI qui sont montés sur scène
Comme le mentionne OpenAI, la « équipe rouge » existe depuis longtemps et de nombreux membres ont déjà reçu des interviews publiques de la part des médias.
Dans un article révélateur paru dans le Financial Times en avril de cette année, Andrew White, professeur de génie chimique à l'Université de Rochester aux États-Unis, a déclaré qu'il avait participé au test de « l'équipe rouge » du GPT-4** et que sa cible d'attaque était d'utiliser ChatGPT pour créer une toute nouvelle neurotoxine. White a déclaré qu'il avait utilisé la fonction "plug-in" pour alimenter le grand modèle en documents de chimie et en catalogues de fabricants de produits chimiques, et que le grand modèle lui avait même trouvé un endroit où il pouvait produire son hypothétique toxine. **
White a déclaré que les grands modèles pourraient éventuellement aider de nombreuses personnes à réaliser des expériences chimiques plus rapidement et avec plus de précision, mais il existe également un risque sérieux que certaines personnes utilisent l'IA pour réaliser des expériences dangereuses.
Après avoir reçu les commentaires de White, OpenAI a apporté des modifications au système pour s'assurer qu'il ne répondrait pas à des questions similaires. Selon les médias, l'équipe rouge compte une dizaine de membres issus d'horizons différents : avocats, enseignants, personnel chargé du contrôle des risques, chercheurs en sécurité, etc. La plupart d'entre eux sont situés aux États-Unis et en Europe. Ils ont révélé que dans les mois précédant la sortie de GPT-4, ils avaient passé environ 10 à 40 heures à tester le système et étaient payés environ 100 $ de l'heure.