Meta publie Code Llama : un modèle de génération de code IA Open Source

Dans le domaine féroce de l'intelligence artificielle, Meta a lancé Code Llama, un système d'apprentissage automatique pour générer et interpréter du code, dans le but de faire sensation. L'entreprise partage cette innovation en open source, faisant ainsi progresser le domaine de l'intelligence artificielle.

Meta, avec son approche innovante et ouverte, a précédemment publié une série de modèles d'IA pour générer du texte, traduire des langues et créer de l'audio. Aujourd'hui, ils étendent cet effort au domaine du code, via le code open source Code Llama pour générer du code dans divers langages de programmation, notamment Python, C++, Java, PHP, TypeScript, C# et Bash.

Code Llama est similaire à certains générateurs de code d'intelligence artificielle open source célèbres, tels que GitHub Copilot et Amazon CodeWhisperer, etc. Il est basé sur le modèle de génération de texte Llama 2, qui peut générer et interpréter des codes pour des langues naturelles spécifiques (notamment l'anglais).

Dans un article de blog partagé par Meta avec TechCrunch, ils ont déclaré : « Chez Meta, nous croyons fermement que les modèles d'IA, en particulier les grands modèles de langage pour le codage, bénéficient le plus d'une approche ouverte. améliorer la vie des gens. En publiant des modèles de code tels que Code Llama, l'ensemble de la communauté peut évaluer ses capacités, identifier les problèmes et corriger les vulnérabilités.

Il existe plusieurs versions de Code Llama, dont une optimisée pour Python et une affinée pour comprendre les instructions. Ces modèles ont été formés à l'aide d'ensembles de données provenant de sources accessibles au public sur le Web, en se concentrant sur des sous-ensembles de données comprenant du code. La taille des modèles varie de 7 à 34 milliards de paramètres et est entraînée à l'aide de 500 milliards de jetons de code. Parmi eux, la version spécifique à Python a été affinée sur 100 milliards de jetons de code Python, et la version de compréhension des instructions a été affinée à l'aide des commentaires d'annotateurs humains pour générer des réponses « utiles » et « sûres » aux questions.

Les outils de génération de code peuvent avoir un énorme attrait auprès des programmeurs et des non-programmeurs. Par exemple, GitHub affirme que plus de 400 organisations utilisent Copilot, qui permet aux développeurs de coder 55 % plus rapidement qu'auparavant. L'enquête de Stack Overflow montre également que 70 % des personnes utilisent déjà ou envisagent d'utiliser des outils de codage d'intelligence artificielle pour améliorer la productivité et la vitesse d'apprentissage.

Cependant, comme pour toutes les formes d’IA générative, les outils de codage peuvent introduire de nouveaux risques. Selon une étude, les ingénieurs utilisant des outils d’intelligence artificielle sont plus susceptibles d’introduire des failles de sécurité dans leurs applications. De plus, certains modèles de génération de code peuvent être formés sous des licences protégées par le droit d'auteur ou restreintes, ce qui pourrait soulever des problèmes de propriété intellectuelle. Il existe également le risque que des pirates tentent d’utiliser des générateurs de code open source pour écrire du code malveillant.

Code Llama a été intégré en équipe rouge au sein de Meta, mais malgré cela, il peut toujours produire des réponses inexactes ou offensantes dans certains cas. Meta reconnaît que Code Llama peut mal tourner dans certains cas, les développeurs doivent donc le tester et le régler pour la sécurité avant de le déployer dans leurs applications.

Bien qu'il existe des risques, Meta impose des restrictions relativement souples sur le déploiement de Code Llama. Les développeurs doivent simplement s'engager à ne pas utiliser le modèle à des fins malveillantes et doivent demander une licence lors de son déploiement sur la plate-forme comptant plus de 700 millions d'utilisateurs actifs par mois.

La distribution open source de Code Llama vise à soutenir les ingénieurs logiciels dans divers domaines, notamment la recherche, l'industrie, les projets open source, les ONG et les entreprises. Meta espère que cette initiative inspirera d'autres personnes à utiliser Llama 2 pour créer des outils nouveaux et innovants pour soutenir la recherche et le développement de produits commerciaux.

Dans l'ensemble, Code Llama de Meta représente une avancée importante dans le domaine de l'intelligence artificielle, poussant la puissance de génération de code à un nouveau niveau. Malgré certains risques et défis potentiels, à mesure que la technologie continue d’évoluer, nous pouvons nous attendre à voir davantage d’innovations et de solutions émerger pour mieux répondre aux besoins des développeurs et des utilisateurs.