Nas primeiras horas da manhã de quarta-feira, horário de Pequim, a OpenAI, uma start-up de tecnologia americana, emitiu um anúncio anunciando o lançamento de um recrutamento global de membros da rede "red team", com o objetivo de introduzir forças externas para descobrir falhas e riscos na IA. sistemas antecipadamente.
(Fonte: OpenAI)
O conceito da chamada rede “red team”, ou Red Teaming, vem de simulações militares. **Ou seja, encontre uma equipe de pessoas para simular o “inimigo” imaginário para testar o nível de preparação do seu lado (o “time azul”). **No campo da IA, a tarefa da "equipe vermelha" é simular hackers ou outras pessoas potencialmente perigosas e tentar encontrar lacunas em grandes modelos de linguagem, de modo a evitar que a IA auxilie em fins ilegais, como pôr em risco a segurança social na sociedade real.
OpenAI disse que nos últimos anos, especialistas em diferentes áreas têm ajudado a testar modelos inéditos. Agora é formar uma "força regular" para recrutar um grande número de pessoas de diferentes regiões, diferentes idiomas, diferentes áreas profissionais e vidas diferentes. Pessoas com experiência trabalham juntas para tornar os modelos de IA mais seguros. **Ao contrário do passado, que apenas recrutava um grupo de pessoas para testes centralizados antes de uma versão importante ficar online, o OpenAI permitirá que um número incerto de membros conduza testes durante todo o ciclo de desenvolvimento com base na demanda.
Ao mesmo tempo, esta rede de “equipe vermelha” também se tornará a biblioteca especializada global da OpenAI, e a OpenAI também fornecerá uma plataforma para comunicação entre os membros da “equipe vermelha”. A OpenAI também lista algumas das orientações de especialistas que espera recrutar em seu site oficial, mas também enfatiza que não se limita a essas áreas.
Aliás, a OpenAI também afirmou que pagará remuneração aos membros que participarem do projeto “red team” (mas não especificou quanto pagará). A OpenAI também enfatizou que os projetos que participam da “equipe vermelha” geralmente exigem a assinatura de um acordo de confidencialidade ou o silêncio por um período de tempo indeterminado.
A OpenAI afirmou que o canal de inscrição permanecerá aberto até 1º de dezembro deste ano. A empresa analisará as inscrições continuamente e avaliará posteriormente se é necessário mais recrutamento aberto.
Membros da “equipe vermelha” da OpenAI que subiram ao palco
Conforme mencionado pela OpenAI, o sistema “red team” já existe há muito tempo e muitos membros já receberam entrevistas públicas da mídia.
Em um artigo revelador no Financial Times de abril deste ano, Andrew White, professor de engenharia química da Universidade de Rochester, nos Estados Unidos, disse que participou do teste da "equipe vermelha" do GPT-4,** e que seu alvo de ataque era usar ChatGPT para criar uma neurotoxina completamente nova. White disse que usou a função "plug-in" para alimentar o grande modelo com artigos de química e catálogos de fabricantes de produtos químicos, e o grande modelo até encontrou para ele um lugar onde ele poderia produzir sua hipotética toxina. **
White disse que grandes modelos poderiam eventualmente ajudar muitas pessoas a realizar experimentos químicos com mais rapidez e precisão, mas também existe um sério perigo de que algumas pessoas usem a IA para realizar alguns experimentos perigosos.
Depois de receber feedback de White, a OpenAI fez alterações no sistema para garantir que ele não responderia a perguntas semelhantes. Segundo a mídia, existem cerca de 10 membros da “equipe vermelha” com diferentes formações – advogados, professores, pessoal de controle de risco, pesquisadores de segurança, etc. Eles revelaram que nos meses anteriores ao lançamento do GPT-4, eles passaram cerca de 10 a 40 horas testando o sistema e receberam cerca de US$ 100 por hora.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
OpenAI anuncia recrutamento aberto da rede "red team", biblioteca superespecializada orientada para IA está prestes a surgir
**Fonte: **Financial Associated Press
Editor Shi Zhengcheng
Nas primeiras horas da manhã de quarta-feira, horário de Pequim, a OpenAI, uma start-up de tecnologia americana, emitiu um anúncio anunciando o lançamento de um recrutamento global de membros da rede "red team", com o objetivo de introduzir forças externas para descobrir falhas e riscos na IA. sistemas antecipadamente.
O conceito da chamada rede “red team”, ou Red Teaming, vem de simulações militares. **Ou seja, encontre uma equipe de pessoas para simular o “inimigo” imaginário para testar o nível de preparação do seu lado (o “time azul”). **No campo da IA, a tarefa da "equipe vermelha" é simular hackers ou outras pessoas potencialmente perigosas e tentar encontrar lacunas em grandes modelos de linguagem, de modo a evitar que a IA auxilie em fins ilegais, como pôr em risco a segurança social na sociedade real.
OpenAI disse que nos últimos anos, especialistas em diferentes áreas têm ajudado a testar modelos inéditos. Agora é formar uma "força regular" para recrutar um grande número de pessoas de diferentes regiões, diferentes idiomas, diferentes áreas profissionais e vidas diferentes. Pessoas com experiência trabalham juntas para tornar os modelos de IA mais seguros. **Ao contrário do passado, que apenas recrutava um grupo de pessoas para testes centralizados antes de uma versão importante ficar online, o OpenAI permitirá que um número incerto de membros conduza testes durante todo o ciclo de desenvolvimento com base na demanda.
Ao mesmo tempo, esta rede de “equipe vermelha” também se tornará a biblioteca especializada global da OpenAI, e a OpenAI também fornecerá uma plataforma para comunicação entre os membros da “equipe vermelha”. A OpenAI também lista algumas das orientações de especialistas que espera recrutar em seu site oficial, mas também enfatiza que não se limita a essas áreas.
Aliás, a OpenAI também afirmou que pagará remuneração aos membros que participarem do projeto “red team” (mas não especificou quanto pagará). A OpenAI também enfatizou que os projetos que participam da “equipe vermelha” geralmente exigem a assinatura de um acordo de confidencialidade ou o silêncio por um período de tempo indeterminado.
A OpenAI afirmou que o canal de inscrição permanecerá aberto até 1º de dezembro deste ano. A empresa analisará as inscrições continuamente e avaliará posteriormente se é necessário mais recrutamento aberto.
Membros da “equipe vermelha” da OpenAI que subiram ao palco
Conforme mencionado pela OpenAI, o sistema “red team” já existe há muito tempo e muitos membros já receberam entrevistas públicas da mídia.
Em um artigo revelador no Financial Times de abril deste ano, Andrew White, professor de engenharia química da Universidade de Rochester, nos Estados Unidos, disse que participou do teste da "equipe vermelha" do GPT-4,** e que seu alvo de ataque era usar ChatGPT para criar uma neurotoxina completamente nova. White disse que usou a função "plug-in" para alimentar o grande modelo com artigos de química e catálogos de fabricantes de produtos químicos, e o grande modelo até encontrou para ele um lugar onde ele poderia produzir sua hipotética toxina. **
White disse que grandes modelos poderiam eventualmente ajudar muitas pessoas a realizar experimentos químicos com mais rapidez e precisão, mas também existe um sério perigo de que algumas pessoas usem a IA para realizar alguns experimentos perigosos.
Depois de receber feedback de White, a OpenAI fez alterações no sistema para garantir que ele não responderia a perguntas semelhantes. Segundo a mídia, existem cerca de 10 membros da “equipe vermelha” com diferentes formações – advogados, professores, pessoal de controle de risco, pesquisadores de segurança, etc. Eles revelaram que nos meses anteriores ao lançamento do GPT-4, eles passaram cerca de 10 a 40 horas testando o sistema e receberam cerca de US$ 100 por hora.