Meta lança Code Llama: um modelo de geração de código de IA de código aberto

No acirrado campo da inteligência artificial, a Meta lançou o Code Llama, um sistema de aprendizado de máquina para geração e interpretação de código, com o objetivo de causar impacto. A empresa está compartilhando esta inovação como código aberto, avançando ainda mais no campo da inteligência artificial.

A Meta, com sua abordagem inovadora e aberta, lançou anteriormente uma série de modelos de IA para gerar texto, traduzir idiomas e criar áudio. Hoje, eles estendem esse esforço para o campo do código, por meio do código aberto Code Llama para gerar código em diversas linguagens de programação, incluindo Python, C++, Java, PHP, TypeScript, C# e Bash.

Code Llama é semelhante a alguns geradores de código de inteligência artificial de código aberto famosos, como GitHub Copilot e Amazon CodeWhisperer, etc. É baseado no modelo de geração de texto Llama 2, que pode gerar e interpretar códigos para línguas naturais específicas (especialmente inglês).

Em uma postagem do blog Meta compartilhada com o TechCrunch, eles declararam: "Na Meta, acreditamos firmemente que os modelos de IA, especialmente os grandes modelos de linguagem para codificação, se beneficiam mais de uma abordagem aberta. Modelos abertos e focados em código podem impulsionar Novas tecnologias são desenvolvidas para melhorar a vida das pessoas. Ao publicar modelos de código como o Code Llama, toda a comunidade pode avaliar suas capacidades, identificar problemas e corrigir vulnerabilidades."

Existem várias versões do Code Llama, incluindo uma otimizada para Python e outra ajustada para entender as instruções. Esses modelos foram treinados usando conjuntos de dados de fontes disponíveis publicamente na web, com foco em subconjuntos de dados que incluíam código. Os tamanhos dos modelos variam de 7 bilhões a 34 bilhões de parâmetros e são treinados usando 500 bilhões de tokens de código. Entre eles, a versão específica do Python foi ajustada em 100 bilhões de tokens de código Python, e a versão de compreensão de instruções foi ajustada usando feedback de anotadores humanos para gerar respostas "úteis" e "seguras" às perguntas.

As ferramentas de geração de código podem ter grande apelo entre programadores e não programadores. Por exemplo, o GitHub afirma que mais de 400 organizações estão usando o Copilot, que permite aos desenvolvedores codificar 55% mais rápido do que antes. A pesquisa do Stack Overflow também mostra que 70% das pessoas já usam ou planejam usar ferramentas de codificação de inteligência artificial para melhorar a produtividade e a velocidade de aprendizado.

No entanto, tal como acontece com todas as formas de IA generativa, as ferramentas de codificação podem introduzir novos riscos. Os engenheiros que utilizam ferramentas de inteligência artificial têm maior probabilidade de introduzir vulnerabilidades de segurança nas suas aplicações, mostra a investigação. Além disso, alguns modelos de geração de código podem ser treinados sob licenças restritas ou protegidas por direitos autorais, potencialmente levantando questões de propriedade intelectual. Também existe o risco de hackers tentarem usar geradores de código-fonte aberto para escrever códigos maliciosos.

Code Llama foi red-team dentro do Meta, mas apesar disso, ainda pode produzir respostas imprecisas ou ofensivas em alguns casos. Meta reconhece que o Code Llama pode dar errado em alguns casos, então os desenvolvedores precisam testá-lo e ajustá-lo para segurança antes de implantá-lo em seus aplicativos.

Embora existam riscos, o Meta impõe restrições relativamente flexíveis à implantação do Code Llama. Os desenvolvedores só precisam concordar em não usar o modelo para fins maliciosos e solicitar uma licença ao implantá-lo na plataforma com mais de 700 milhões de usuários ativos mensais.

A distribuição de código aberto do Code Llama visa apoiar engenheiros de software em diversos campos, incluindo pesquisa, indústria, projetos de código aberto, ONGs e corporações. Meta espera que esta iniciativa inspire outros a usar o Llama 2 para criar ferramentas novas e inovadoras para apoiar a pesquisa e o desenvolvimento de produtos comerciais.

No geral, o Code Llama da Meta representa um avanço importante no campo da inteligência artificial, levando o poder da geração de código a um novo nível. Apesar de alguns riscos e desafios potenciais, à medida que a tecnologia continua a evoluir, podemos esperar o surgimento de mais inovações e soluções para melhor atender às necessidades dos desenvolvedores e usuários.