Pesos de modelos abertos são acusados de fazer com que a IA fique fora de controle. Meta foi protestado com cartazes. LeCun: A comunidade de IA de código aberto está em pleno andamento.
A IA, especialmente o código aberto e o código fechado na era dos grandes modelos, tem vantagens e desvantagens, o importante é como fazer um bom trabalho no processo de utilização.
Fonte da imagem: gerada por Unbounded AI
As pessoas sempre estiveram divididas sobre a escolha entre código aberto e código fechado no campo da IA, mas na era dos grandes modelos, a poderosa força do código aberto emergiu silenciosamente. De acordo com um documento interno vazado anteriormente pelo Google, em torno de modelos de código aberto, como o LLaMA da Meta, toda a comunidade está construindo rapidamente modelos semelhantes ao OpenAI e aos grandes recursos de modelo do Google.
Não há dúvida de que Meta é o núcleo absoluto do mundo do código aberto, com esforços contínuos de código aberto, como o recente lançamento do Llama 2. No entanto, qualquer coisa boa será destruída pelo vento.Recentemente, Meta esteve em "problemas" devido ao código aberto.
Do lado de fora dos escritórios da Meta em São Francisco, um grupo de manifestantes segurando cartazes se reuniu para protestar contra a estratégia da Meta de divulgar publicamente modelos de IA, alegando que esses modelos lançados causaram a “proliferação irreversível” de tecnologias potencialmente inseguras. Alguns manifestantes chegaram a comparar os grandes modelos lançados pela Meta a “armas de destruição em massa”.
Esses manifestantes se autodenominam “cidadãos preocupados” e são liderados por Holly Elmore. Segundo informações do LinkedIn, ela é uma defensora independente do movimento AI Pause.
Fonte da foto: MISHA GUREVICH
Ela destacou que se um modelo se mostrar inseguro, a API pode ser desligada, como grandes modelos como Google e OpenAI que só permitem o acesso dos usuários por meio da API.
Em contraste, a série LLaMA de modelos de código aberto da Meta disponibiliza os pesos dos modelos ao público, permitindo que qualquer pessoa com o hardware e experiência certos replique e ajuste o modelo por conta própria. Depois que os pesos dos modelos são divulgados, a editora não tem mais meios de controlar como a IA é usada.
De acordo com Holly Elmore, liberar pesos de modelos é uma estratégia perigosa: qualquer pessoa pode modificar o modelo e esses modelos não podem ser recuperados. “Quanto mais poderoso o modelo, mais perigosa é a estratégia.”
Em comparação com o código aberto, os grandes modelos acessados por meio de APIs geralmente possuem vários recursos de segurança, como filtragem de respostas ou treinamento específico para evitar a saída de respostas perigosas ou ofensivas.
Se os pesos do modelo forem liberados, será muito mais fácil treiná-lo novamente para saltar sobre esses "guarda-corpos". Isso torna mais possível usar esses modelos de código aberto para criar software de phishing e realizar ataques à rede.
Fonte da foto: MISHA GUREVICH
Porque ela acredita que parte do problema reside em “medidas de segurança insuficientes para a liberação do modelo” e que é necessário haver uma maneira melhor de garantir a segurança do modelo.
Meta ainda não comentou isso. No entanto, Yann LeCun, cientista-chefe de IA da Meta, parece ter respondido à afirmação de que "a IA de código aberto deve ser banida" e expôs a grande situação da comunidade empresarial de IA de código aberto em Paris.
Há muitas pessoas que discordam de Holly Elmore, que acredita que uma estratégia aberta para o desenvolvimento de IA é a única forma de garantir a confiança na tecnologia.
Alguns internautas disseram que o código aberto tem prós e contras: pode permitir que as pessoas obtenham maior transparência e melhorem a inovação, mas também enfrentará o risco de uso indevido (como código) por atores mal-intencionados.
Como esperado, o OpenAI foi mais uma vez ridicularizado: “Ele deveria retornar ao código aberto”.
Há muitas pessoas preocupadas com o código aberto
Peter S. Park, pesquisador de pós-doutorado em segurança de IA no MIT, disse: “O lançamento generalizado de modelos avançados de IA será particularmente problemático no futuro porque prevenir o abuso de modelos de IA é basicamente impossível”.
No entanto, Stella Biderman, diretora executiva da EleutherAI, uma organização sem fins lucrativos de pesquisa em inteligência artificial, disse: "Até agora, há poucas evidências de que os modelos de código aberto causem qualquer dano específico. Não está claro se simplesmente colocar um modelo atrás de uma API resolverá o problema. problema. Pergunta de segurança."
Biderman acredita: "Os elementos básicos da construção do LLM foram divulgados em artigos de pesquisa gratuitos e qualquer pessoa no mundo pode ler a literatura em papel para desenvolver seus próprios modelos."
Ela acrescentou: “Incentivar as empresas a manter em segredo os detalhes dos modelos pode ter sérias consequências adversas para a transparência da pesquisa, a conscientização pública e o desenvolvimento científico na área, especialmente para pesquisadores independentes”.
Embora todos já estejam discutindo o impacto do código aberto, ainda não está claro se a abordagem do Meta é realmente aberta o suficiente e pode tirar proveito do código aberto.
Stefano Maffulli, diretor executivo da Open Source Initiative (OSI), disse: "O conceito de IA de código aberto não foi devidamente definido. Diferentes organizações usam o termo para se referir a coisas diferentes - indicando diferentes níveis de 'algo disponível publicamente', o que vai confundir as pessoas."
Maffulli ressalta que, para software de código aberto, a questão principal é se o código-fonte está disponível publicamente e pode ser reproduzido para qualquer finalidade. No entanto, para reproduzir um modelo de IA, pode ser necessário compartilhar dados de treinamento, métodos de coleta de dados, software de treinamento, pesos de modelo, código de inferência, etc. Entre eles, o mais importante é que os dados de treinamento podem ter questões de privacidade e direitos autorais.
A OSI tem trabalhado em uma definição precisa de “IA de código aberto” desde o ano passado e provavelmente lançará um rascunho inicial nas próximas semanas. Mas não importa o que aconteça, ele acredita que o código aberto é crucial para o desenvolvimento da IA. “Se a IA não for de código aberto, não poderemos ter uma IA confiável e responsável”, disse ele.
No futuro, as diferenças entre código aberto e código fechado continuarão, mas o código aberto é imparável.
Link original:
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Pesos de modelos abertos são acusados de fazer com que a IA fique fora de controle. Meta foi protestado com cartazes. LeCun: A comunidade de IA de código aberto está em pleno andamento.
As pessoas sempre estiveram divididas sobre a escolha entre código aberto e código fechado no campo da IA, mas na era dos grandes modelos, a poderosa força do código aberto emergiu silenciosamente. De acordo com um documento interno vazado anteriormente pelo Google, em torno de modelos de código aberto, como o LLaMA da Meta, toda a comunidade está construindo rapidamente modelos semelhantes ao OpenAI e aos grandes recursos de modelo do Google.
Não há dúvida de que Meta é o núcleo absoluto do mundo do código aberto, com esforços contínuos de código aberto, como o recente lançamento do Llama 2. No entanto, qualquer coisa boa será destruída pelo vento.Recentemente, Meta esteve em "problemas" devido ao código aberto.
Do lado de fora dos escritórios da Meta em São Francisco, um grupo de manifestantes segurando cartazes se reuniu para protestar contra a estratégia da Meta de divulgar publicamente modelos de IA, alegando que esses modelos lançados causaram a “proliferação irreversível” de tecnologias potencialmente inseguras. Alguns manifestantes chegaram a comparar os grandes modelos lançados pela Meta a “armas de destruição em massa”.
Esses manifestantes se autodenominam “cidadãos preocupados” e são liderados por Holly Elmore. Segundo informações do LinkedIn, ela é uma defensora independente do movimento AI Pause.
Ela destacou que se um modelo se mostrar inseguro, a API pode ser desligada, como grandes modelos como Google e OpenAI que só permitem o acesso dos usuários por meio da API.
Em contraste, a série LLaMA de modelos de código aberto da Meta disponibiliza os pesos dos modelos ao público, permitindo que qualquer pessoa com o hardware e experiência certos replique e ajuste o modelo por conta própria. Depois que os pesos dos modelos são divulgados, a editora não tem mais meios de controlar como a IA é usada.
De acordo com Holly Elmore, liberar pesos de modelos é uma estratégia perigosa: qualquer pessoa pode modificar o modelo e esses modelos não podem ser recuperados. “Quanto mais poderoso o modelo, mais perigosa é a estratégia.”
Em comparação com o código aberto, os grandes modelos acessados por meio de APIs geralmente possuem vários recursos de segurança, como filtragem de respostas ou treinamento específico para evitar a saída de respostas perigosas ou ofensivas.
Se os pesos do modelo forem liberados, será muito mais fácil treiná-lo novamente para saltar sobre esses "guarda-corpos". Isso torna mais possível usar esses modelos de código aberto para criar software de phishing e realizar ataques à rede.
Porque ela acredita que parte do problema reside em “medidas de segurança insuficientes para a liberação do modelo” e que é necessário haver uma maneira melhor de garantir a segurança do modelo.
Meta ainda não comentou isso. No entanto, Yann LeCun, cientista-chefe de IA da Meta, parece ter respondido à afirmação de que "a IA de código aberto deve ser banida" e expôs a grande situação da comunidade empresarial de IA de código aberto em Paris.
Alguns internautas disseram que o código aberto tem prós e contras: pode permitir que as pessoas obtenham maior transparência e melhorem a inovação, mas também enfrentará o risco de uso indevido (como código) por atores mal-intencionados.
Peter S. Park, pesquisador de pós-doutorado em segurança de IA no MIT, disse: “O lançamento generalizado de modelos avançados de IA será particularmente problemático no futuro porque prevenir o abuso de modelos de IA é basicamente impossível”.
No entanto, Stella Biderman, diretora executiva da EleutherAI, uma organização sem fins lucrativos de pesquisa em inteligência artificial, disse: "Até agora, há poucas evidências de que os modelos de código aberto causem qualquer dano específico. Não está claro se simplesmente colocar um modelo atrás de uma API resolverá o problema. problema. Pergunta de segurança."
Biderman acredita: "Os elementos básicos da construção do LLM foram divulgados em artigos de pesquisa gratuitos e qualquer pessoa no mundo pode ler a literatura em papel para desenvolver seus próprios modelos."
Ela acrescentou: “Incentivar as empresas a manter em segredo os detalhes dos modelos pode ter sérias consequências adversas para a transparência da pesquisa, a conscientização pública e o desenvolvimento científico na área, especialmente para pesquisadores independentes”.
Embora todos já estejam discutindo o impacto do código aberto, ainda não está claro se a abordagem do Meta é realmente aberta o suficiente e pode tirar proveito do código aberto.
Stefano Maffulli, diretor executivo da Open Source Initiative (OSI), disse: "O conceito de IA de código aberto não foi devidamente definido. Diferentes organizações usam o termo para se referir a coisas diferentes - indicando diferentes níveis de 'algo disponível publicamente', o que vai confundir as pessoas."
A OSI tem trabalhado em uma definição precisa de “IA de código aberto” desde o ano passado e provavelmente lançará um rascunho inicial nas próximas semanas. Mas não importa o que aconteça, ele acredita que o código aberto é crucial para o desenvolvimento da IA. “Se a IA não for de código aberto, não poderemos ter uma IA confiável e responsável”, disse ele.
No futuro, as diferenças entre código aberto e código fechado continuarão, mas o código aberto é imparável.
Link original: