No próximo filme de ficção científica de Hollywood "O Fundador da IA", uma inteligência artificial que deveria servir a humanidade detona uma bomba nuclear em Los Angeles.
O que é ainda mais sci-fi do que o filme é que, na realidade, as empresas de IA começaram a se preocupar que tais cenários realmente apareçam no mundo real.
**Recentemente, a OpenAI disse que, por preocupação com a segurança dos sistemas de IA, a empresa está criando uma equipe dedicada para lidar com os "riscos catastróficos" que a IA de ponta pode enfrentar, incluindo ameaças nucleares. **
Na verdade, o CEO Sam Altman há muito tempo está preocupado com a ameaça de "extinção" representada pela IA para a humanidade, e já pediu uma maior regulamentação da IA em várias ocasiões, inclusive em consulta com o Congresso dos EUA. No entanto, um grupo de cientistas, incluindo o metacientista Yann LeCun, tem uma visão diferente da regulamentação da IA, argumentando que as capacidades de IA ainda são limitadas e que a regulamentação prematura não só beneficiará as grandes empresas, mas também sufocará a inovação.
Isso destaca o desacordo contínuo da indústria sobre a regulamentação de IA de ponta. Uma regulamentação prematura pode limitar o desenvolvimento tecnológico, mas a falta de regulamentação dificultará a resposta aos riscos. Como encontrar um equilíbrio entre tecnologia e prevenção e regulação, para que a IA possa ser desenvolvida de forma eficiente e controlada com segurança, ainda é um problema difícil na indústria.
01 IA, Fronteira ou Perigo
Recentemente, a OpenAI disse em uma atualização que, por preocupação com a segurança dos sistemas de IA, a empresa está formando uma nova equipe de "preparação" para rastrear, avaliar e prever o desenvolvimento de "modelos de ponta"** para prevenir os chamados "riscos catastróficos", incluindo questões de segurança cibernética e ameaças químicas, nucleares e biológicas. **
Fonte da imagem: site oficial da OpenAI
A equipe será liderada por Aleksander Madry, que atualmente está algemado como diretor do MIT Deployable Machine Learning Center.
Além disso, a equipe é encarregada de desenvolver e manter uma "Política de Desenvolvimento Informada sobre Riscos" que detalhará a abordagem da OpenAI para construir ferramentas de avaliação e monitoramento de modelos de IA, as ações de mitigação de riscos da empresa e a estrutura de governança que supervisiona todo o processo de desenvolvimento do modelo. Esta política destina-se a complementar o trabalho da OpenAI no campo da segurança da IA e manter a segurança e a consistência antes e depois da implantação.
A OpenAI propõe que gerenciar os possíveis riscos catastróficos de modelos de IA de ponta requer responder às seguintes perguntas-chave:
Quão perigoso é um modelo de IA de ponta ser usado indevidamente? **
Como estabelecer uma estrutura robusta para monitorar, avaliar, prever e prevenir os perigos de modelos de IA de ponta? **
Se os modelos de IA de ponta forem comprometidos, como atores mal-intencionados podem explorá-los? **
Na atualização, a OpenAI escreveu: "Nós acreditamos... Modelos de IA de ponta que superarão os atuais modelos de última geração têm o potencial de beneficiar toda a humanidade... Mas também representam riscos cada vez mais graves."
**Nos últimos tempos, a OpenAI tem enfatizado continuamente a segurança da IA e realizado uma série de ações a nível corporativo, nível de opinião pública e até mesmo nível político. **
Anteriormente, em 7 de julho, a OpenAI anunciou a formação de uma nova equipe para explorar maneiras de guiar e controlar a "super IA", coliderada pelo cofundador e cientista-chefe da OpenAI, Ilya Sutskever, e pelo chefe do Alinhamento, jan Leike.
Sutskever e Leike previram que a IA além da inteligência humana surgiria dentro de 10 anos, dizendo que essa IA não é necessariamente boa, por isso é necessário estudar maneiras de controlá-la e limitá-la.
De acordo com relatórios na época, a equipe recebeu a mais alta prioridade e foi apoiada por 20% dos recursos de computação da empresa, e seu objetivo era resolver os principais desafios técnicos de controlar a super-"super IA" nos próximos quatro anos.
Para coincidir com o lançamento da equipe "Ready", a Open AI também lançou um desafio para pessoas de fora apresentarem ideias sobre como a IA poderia ser usada indevidamente e causar danos no mundo real, e os 10 melhores participantes receberão um prêmio de US$ 25.000 e um trabalho "pronto".
02 Preocupação com "IA pode levar à extinção humana"
O CEO da OpenAI, Sam Altman, teme que a IA possa levar à extinção da humanidade.
Em uma audiência no Congresso com tema de IA em maio, Altman disse que a IA precisa ser regulamentada e que, sem padrões regulatórios rigorosos para a super IA, haverá mais perigos nos próximos 20 anos.
No final de maio, Altman assinou uma breve declaração com os CEOs da DeepMind, Anthropic, do Google, e vários pesquisadores proeminentes de IA, afirmando que "mitigar o risco de extinção induzida por IA deve ser uma das prioridades globais, como é o caso de pandemias e guerra nuclear".
No San Francisco Tech Summit, em junho, Sam Altman mencionou que "você não deve confiar em uma empresa, e certamente não em uma pessoa" quando se trata de tecnologia de IA, argumentando que a tecnologia em si, seus benefícios, seu acesso, sua governança, pertencem a toda a humanidade.
No entanto, há também aqueles (representados por Elon Musk) que acusam Altman de "pedir regulação" apenas para proteger a liderança da OpenAI. Sam Altman respondeu na época: "Acreditamos que deveria haver mais regulamentação de grandes empresas e modelos proprietários que estão acima de um certo limite de alta capacidade, e menos regulamentação de startups menores e modelos de código aberto." Vimos os problemas enfrentados por países que estão tentando regulamentar demais a tecnologia, e não era isso que esperávamos."
"As pessoas estão treinando modelos que estão muito além do tamanho de qualquer modelo que temos hoje, mas se certos limites de capacidade forem excedidos, acho que deve haver um processo de certificação, juntamente com auditorias externas e testes de segurança", acrescentou. Além disso, tais modelos precisam ser relatados ao governo e devem ser sujeitos ao escrutínio do governo."
Ao contrário da opinião de Altman, em 19 de outubro, o cientista da Meta, Yann LeCun, expressou sua oposição à regulamentação prematura da IA em uma entrevista ao Financial Times.
Yann LeCun é membro da Academia Nacional de Ciências, da Academia Nacional de Engenharia e da Academia Francesa de Ciências, e também é conhecido por seu trabalho em redes convolucionais, bem como reconhecimento ótico de caracteres e visão computacional usando redes neurais convolucionais (CNNs).
Em 2018, Yann LeCun ganhou o Prémio Turing (muitas vezes referido como o "Prémio Nobel da computação") juntamente com Yoshua Bengio e Geoffrey Hinton, que são muitas vezes referidos como os "Padrinhos da Inteligência Artificial" e os "Padrinhos da Aprendizagem Profunda".
Na entrevista, Yann LeCun tem uma visão mais negativa da regulamentação da IA em geral, argumentando que regular os modelos de IA agora é como regular aviões a jato em 1925 (antes de tais aviões serem inventados), e que a regulamentação prematura da IA só fortalecerá o domínio das grandes empresas de tecnologia e sufocará a concorrência.
"Regular a pesquisa e o desenvolvimento de IA é incrivelmente contraproducente", disse Yann LeCun, acrescentando que a necessidade de regular a IA decorre da "arrogância" ou "superioridade" de algumas empresas de tecnologia líderes que acreditam que só elas podem ser confiáveis para desenvolver IA com segurança, "e querem regular sob o disfarce de segurança de IA".
"Mas, na verdade, até que possamos projetar um sistema que possa corresponder à capacidade de aprendizagem dos gatos, é muito cedo para debater os riscos que a IA pode representar", diz Yann LeCun, acrescentando que a atual geração de modelos de IA está longe de ser tão poderosa quanto alguns pesquisadores afirmam, "eles não entendem como o mundo funciona, não têm a capacidade de planejar, não têm a capacidade de fazer raciocínios reais".
Em sua opinião, a OpenAI e a DeepMind do Google têm sido "excessivamente otimistas" sobre a complexidade do problema e, na verdade, serão necessários vários "avanços conceituais" antes que a IA atinja o nível de inteligência humana. Mas, mesmo assim, a IA pode ser controlada codificando "qualidades morais" no sistema, assim como as leis agora podem ser usadas para regular o comportamento humano.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Preocupada com IA lançando bombas nucleares em humanos, OpenAI é séria
Fonte original: Geek Park
Autor: Lian Ran
No próximo filme de ficção científica de Hollywood "O Fundador da IA", uma inteligência artificial que deveria servir a humanidade detona uma bomba nuclear em Los Angeles.
O que é ainda mais sci-fi do que o filme é que, na realidade, as empresas de IA começaram a se preocupar que tais cenários realmente apareçam no mundo real.
**Recentemente, a OpenAI disse que, por preocupação com a segurança dos sistemas de IA, a empresa está criando uma equipe dedicada para lidar com os "riscos catastróficos" que a IA de ponta pode enfrentar, incluindo ameaças nucleares. **
Na verdade, o CEO Sam Altman há muito tempo está preocupado com a ameaça de "extinção" representada pela IA para a humanidade, e já pediu uma maior regulamentação da IA em várias ocasiões, inclusive em consulta com o Congresso dos EUA. No entanto, um grupo de cientistas, incluindo o metacientista Yann LeCun, tem uma visão diferente da regulamentação da IA, argumentando que as capacidades de IA ainda são limitadas e que a regulamentação prematura não só beneficiará as grandes empresas, mas também sufocará a inovação.
Isso destaca o desacordo contínuo da indústria sobre a regulamentação de IA de ponta. Uma regulamentação prematura pode limitar o desenvolvimento tecnológico, mas a falta de regulamentação dificultará a resposta aos riscos. Como encontrar um equilíbrio entre tecnologia e prevenção e regulação, para que a IA possa ser desenvolvida de forma eficiente e controlada com segurança, ainda é um problema difícil na indústria.
01 IA, Fronteira ou Perigo
Recentemente, a OpenAI disse em uma atualização que, por preocupação com a segurança dos sistemas de IA, a empresa está formando uma nova equipe de "preparação" para rastrear, avaliar e prever o desenvolvimento de "modelos de ponta"** para prevenir os chamados "riscos catastróficos", incluindo questões de segurança cibernética e ameaças químicas, nucleares e biológicas. **
A equipe será liderada por Aleksander Madry, que atualmente está algemado como diretor do MIT Deployable Machine Learning Center.
Além disso, a equipe é encarregada de desenvolver e manter uma "Política de Desenvolvimento Informada sobre Riscos" que detalhará a abordagem da OpenAI para construir ferramentas de avaliação e monitoramento de modelos de IA, as ações de mitigação de riscos da empresa e a estrutura de governança que supervisiona todo o processo de desenvolvimento do modelo. Esta política destina-se a complementar o trabalho da OpenAI no campo da segurança da IA e manter a segurança e a consistência antes e depois da implantação.
A OpenAI propõe que gerenciar os possíveis riscos catastróficos de modelos de IA de ponta requer responder às seguintes perguntas-chave:
Quão perigoso é um modelo de IA de ponta ser usado indevidamente? ** Como estabelecer uma estrutura robusta para monitorar, avaliar, prever e prevenir os perigos de modelos de IA de ponta? ** Se os modelos de IA de ponta forem comprometidos, como atores mal-intencionados podem explorá-los? **
Na atualização, a OpenAI escreveu: "Nós acreditamos... Modelos de IA de ponta que superarão os atuais modelos de última geração têm o potencial de beneficiar toda a humanidade... Mas também representam riscos cada vez mais graves."
**Nos últimos tempos, a OpenAI tem enfatizado continuamente a segurança da IA e realizado uma série de ações a nível corporativo, nível de opinião pública e até mesmo nível político. **
Anteriormente, em 7 de julho, a OpenAI anunciou a formação de uma nova equipe para explorar maneiras de guiar e controlar a "super IA", coliderada pelo cofundador e cientista-chefe da OpenAI, Ilya Sutskever, e pelo chefe do Alinhamento, jan Leike.
Sutskever e Leike previram que a IA além da inteligência humana surgiria dentro de 10 anos, dizendo que essa IA não é necessariamente boa, por isso é necessário estudar maneiras de controlá-la e limitá-la.
De acordo com relatórios na época, a equipe recebeu a mais alta prioridade e foi apoiada por 20% dos recursos de computação da empresa, e seu objetivo era resolver os principais desafios técnicos de controlar a super-"super IA" nos próximos quatro anos.
Para coincidir com o lançamento da equipe "Ready", a Open AI também lançou um desafio para pessoas de fora apresentarem ideias sobre como a IA poderia ser usada indevidamente e causar danos no mundo real, e os 10 melhores participantes receberão um prêmio de US$ 25.000 e um trabalho "pronto".
02 Preocupação com "IA pode levar à extinção humana"
O CEO da OpenAI, Sam Altman, teme que a IA possa levar à extinção da humanidade.
Em uma audiência no Congresso com tema de IA em maio, Altman disse que a IA precisa ser regulamentada e que, sem padrões regulatórios rigorosos para a super IA, haverá mais perigos nos próximos 20 anos.
No final de maio, Altman assinou uma breve declaração com os CEOs da DeepMind, Anthropic, do Google, e vários pesquisadores proeminentes de IA, afirmando que "mitigar o risco de extinção induzida por IA deve ser uma das prioridades globais, como é o caso de pandemias e guerra nuclear".
No San Francisco Tech Summit, em junho, Sam Altman mencionou que "você não deve confiar em uma empresa, e certamente não em uma pessoa" quando se trata de tecnologia de IA, argumentando que a tecnologia em si, seus benefícios, seu acesso, sua governança, pertencem a toda a humanidade.
No entanto, há também aqueles (representados por Elon Musk) que acusam Altman de "pedir regulação" apenas para proteger a liderança da OpenAI. Sam Altman respondeu na época: "Acreditamos que deveria haver mais regulamentação de grandes empresas e modelos proprietários que estão acima de um certo limite de alta capacidade, e menos regulamentação de startups menores e modelos de código aberto." Vimos os problemas enfrentados por países que estão tentando regulamentar demais a tecnologia, e não era isso que esperávamos."
"As pessoas estão treinando modelos que estão muito além do tamanho de qualquer modelo que temos hoje, mas se certos limites de capacidade forem excedidos, acho que deve haver um processo de certificação, juntamente com auditorias externas e testes de segurança", acrescentou. Além disso, tais modelos precisam ser relatados ao governo e devem ser sujeitos ao escrutínio do governo."
Ao contrário da opinião de Altman, em 19 de outubro, o cientista da Meta, Yann LeCun, expressou sua oposição à regulamentação prematura da IA em uma entrevista ao Financial Times.
Yann LeCun é membro da Academia Nacional de Ciências, da Academia Nacional de Engenharia e da Academia Francesa de Ciências, e também é conhecido por seu trabalho em redes convolucionais, bem como reconhecimento ótico de caracteres e visão computacional usando redes neurais convolucionais (CNNs).
Em 2018, Yann LeCun ganhou o Prémio Turing (muitas vezes referido como o "Prémio Nobel da computação") juntamente com Yoshua Bengio e Geoffrey Hinton, que são muitas vezes referidos como os "Padrinhos da Inteligência Artificial" e os "Padrinhos da Aprendizagem Profunda".
Na entrevista, Yann LeCun tem uma visão mais negativa da regulamentação da IA em geral, argumentando que regular os modelos de IA agora é como regular aviões a jato em 1925 (antes de tais aviões serem inventados), e que a regulamentação prematura da IA só fortalecerá o domínio das grandes empresas de tecnologia e sufocará a concorrência.
"Regular a pesquisa e o desenvolvimento de IA é incrivelmente contraproducente", disse Yann LeCun, acrescentando que a necessidade de regular a IA decorre da "arrogância" ou "superioridade" de algumas empresas de tecnologia líderes que acreditam que só elas podem ser confiáveis para desenvolver IA com segurança, "e querem regular sob o disfarce de segurança de IA".
"Mas, na verdade, até que possamos projetar um sistema que possa corresponder à capacidade de aprendizagem dos gatos, é muito cedo para debater os riscos que a IA pode representar", diz Yann LeCun, acrescentando que a atual geração de modelos de IA está longe de ser tão poderosa quanto alguns pesquisadores afirmam, "eles não entendem como o mundo funciona, não têm a capacidade de planejar, não têm a capacidade de fazer raciocínios reais".
Em sua opinião, a OpenAI e a DeepMind do Google têm sido "excessivamente otimistas" sobre a complexidade do problema e, na verdade, serão necessários vários "avanços conceituais" antes que a IA atinja o nível de inteligência humana. Mas, mesmo assim, a IA pode ser controlada codificando "qualidades morais" no sistema, assim como as leis agora podem ser usadas para regular o comportamento humano.