O desenvolvedor do ChatGPT, OpenAI, disse na quarta-feira (5) que a empresa planeja investir recursos significativos e criar uma nova equipe de pesquisa para garantir que sua inteligência artificial (IA) seja segura para humanos e, eventualmente, alcançar a auto-supervisão da IA.
"O imenso poder de uma superinteligência pode levar ao enfraquecimento humano, ou mesmo à extinção", escreveram Ilya Sutskever, cofundador da OpenAI, e Jan Leike, chefe da equipe de consistência de IA encarregada de melhorar a segurança do sistema, em uma postagem no blog. .
“Atualmente, não temos uma solução para manipular ou controlar uma IA potencialmente superinteligente e impedir que ela fique fora de controle”, escreveram eles.
O alinhamento da IA refere-se à necessidade de o comportamento da IA estar alinhado com os interesses e expectativas do designer.
20% do poder de computação é usado para resolver o problema de IA fora de controle
Eles preveem que a IA superinteligente (ou seja, sistemas mais inteligentes que os humanos) pode chegar nesta década (até 2030) e que os humanos precisarão de uma tecnologia melhor do que a atual para controlar a IA superinteligente, então eles precisam estar no chamado avanço. no Estudo de Consistência de IA, que se concentra em garantir que a inteligência artificial seja benéfica para os humanos.
Segundo eles, com o apoio da Microsoft (Microsoft), **OpenAI gastará 20% de seu poder de computação nos próximos quatro anos para resolver o problema da IA fora de controle. **Além disso, a empresa está formando uma nova equipe para organizar esse trabalho, chamada de Equipe Super Consistência.
É relatado que o objetivo da equipe é criar um pesquisador de IA de "nível humano", que pode ser expandido por uma grande quantidade de poder de computação. A OpenAI diz que isso significa que eles usarão o feedback humano para treinar o sistema de IA, treinar o sistema de IA para auxiliar na avaliação humana e, finalmente, treinar o sistema de IA para fazer o estudo de consistência real.
Perito questionado
No entanto, esse movimento foi questionado por especialistas assim que foi anunciado. Connor Leahy, um defensor da segurança da IA, disse que o plano da OpenAI era fundamentalmente falho porque uma versão rudimentar da IA que poderia atingir "níveis humanos" poderia ficar fora de controle e causar estragos antes que pudesse ser usada para resolver problemas de segurança da IA. "
"Você precisa resolver o problema de consistência antes de construir inteligência em nível humano, caso contrário, não poderá controlá-la por padrão. Pessoalmente, não acho que seja um plano particularmente bom ou seguro", disse ele em entrevista.
Os perigos potenciais da IA têm sido uma das principais preocupações dos pesquisadores de IA e do público. Em abril, um grupo de líderes e especialistas da indústria de IA assinou uma carta aberta pedindo uma moratória no treinamento de sistemas de IA mais poderosos que o novo modelo GPT-4 da OpenAI por pelo menos seis meses, citando seus riscos potenciais para a sociedade e a humanidade.
Uma pesquisa recente descobriu que mais de dois terços dos americanos estão preocupados com o possível impacto negativo da IA e 61% acreditam que a IA pode ameaçar a civilização humana.
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Super AI sairá dentro de sete anos, OpenAI pretende investir "muito dinheiro" para evitar descontrole
**Fonte: **Associação Financeira
Editado por Huang Junzhi
O desenvolvedor do ChatGPT, OpenAI, disse na quarta-feira (5) que a empresa planeja investir recursos significativos e criar uma nova equipe de pesquisa para garantir que sua inteligência artificial (IA) seja segura para humanos e, eventualmente, alcançar a auto-supervisão da IA.
“Atualmente, não temos uma solução para manipular ou controlar uma IA potencialmente superinteligente e impedir que ela fique fora de controle”, escreveram eles.
20% do poder de computação é usado para resolver o problema de IA fora de controle
Eles preveem que a IA superinteligente (ou seja, sistemas mais inteligentes que os humanos) pode chegar nesta década (até 2030) e que os humanos precisarão de uma tecnologia melhor do que a atual para controlar a IA superinteligente, então eles precisam estar no chamado avanço. no Estudo de Consistência de IA, que se concentra em garantir que a inteligência artificial seja benéfica para os humanos.
Segundo eles, com o apoio da Microsoft (Microsoft), **OpenAI gastará 20% de seu poder de computação nos próximos quatro anos para resolver o problema da IA fora de controle. **Além disso, a empresa está formando uma nova equipe para organizar esse trabalho, chamada de Equipe Super Consistência.
Perito questionado
No entanto, esse movimento foi questionado por especialistas assim que foi anunciado. Connor Leahy, um defensor da segurança da IA, disse que o plano da OpenAI era fundamentalmente falho porque uma versão rudimentar da IA que poderia atingir "níveis humanos" poderia ficar fora de controle e causar estragos antes que pudesse ser usada para resolver problemas de segurança da IA. "
"Você precisa resolver o problema de consistência antes de construir inteligência em nível humano, caso contrário, não poderá controlá-la por padrão. Pessoalmente, não acho que seja um plano particularmente bom ou seguro", disse ele em entrevista.
Os perigos potenciais da IA têm sido uma das principais preocupações dos pesquisadores de IA e do público. Em abril, um grupo de líderes e especialistas da indústria de IA assinou uma carta aberta pedindo uma moratória no treinamento de sistemas de IA mais poderosos que o novo modelo GPT-4 da OpenAI por pelo menos seis meses, citando seus riscos potenciais para a sociedade e a humanidade.
Uma pesquisa recente descobriu que mais de dois terços dos americanos estão preocupados com o possível impacto negativo da IA e 61% acreditam que a IA pode ameaçar a civilização humana.