En août 2023, Meta Company a publié CodeLlama, un modèle de langage à grande échelle spécialement conçu pour les tâches de programmation, basé sur le modèle précédent Llama2. Aujourd'hui, la société a publié une « nouvelle version plus puissante » : CodeLlama70B.
CodeLlama70B a été formé sur 500 milliards d'octets de code et de données associées. Il peut traiter et générer des séquences de codes plus longues grâce à une fenêtre contextuelle de 100 000 phrases.
Selon Meta, CodeLlama70B utilise une technologie appelée auto-attention pour comprendre la structure du code. Il peut implémenter des algorithmes, des tris, des recherches et d'autres fonctions basées sur des invites de texte ou de fragments, et convient à plusieurs langages tels que Python, C++, Javascript et Java.
Cet outil basé sur l'IA comprend des variantes optimisées pour des tâches spécifiques. L'une de ces variantes est CodeLlama-70B-Instruct, qui est formée pour comprendre les instructions en langage naturel. Il existe également une version axée sur Python appelée CodeLlama-70B-Python. Selon Meta, grâce à une formation supplémentaire sur 100 milliards de jetons de code Python, il génère du code Python avec « une fluidité et une précision inégalées ».
"L'écriture et l'édition de code sont devenues aujourd'hui l'une des utilisations les plus importantes des modèles d'intelligence artificielle", a écrit Mark Zuckerberg, PDG de Meta, dans un message sur Facebook. "Il s'avère que la capacité de codage est également très importante pour que les modèles d'IA puissent traiter les informations dans d'autres domaines de manière plus rigoureuse et logique."
CodeLlama70B est disponible en téléchargement gratuit sous la même licence ouverte que les modèles CodeLlama précédents :
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
Meta indique que cette licence permet aux utilisateurs académiques et commerciaux de modifier le modèle.
GitHub, propriété de Microsoft, a lancé CopilotChat en juillet 2023. Les développeurs peuvent poser des questions à Copilot sur leur code, obtenir des explications sur des parties spécifiques du code et même demander à Copilot de corriger les erreurs dans le code. Récemment, Google a également lancé DuetAI et GeminiPro, des outils de complétion et de génération de code alimentés par l'intelligence artificielle.