Nvidia s’est associé à ServiceNow et Hugging Face pour présenter une nouvelle famille de modèles de grands langages (LLM) en open source pour la génération de code.
La plateforme StarCoder2 a été développée par la communauté BigCode en tenant compte des performances, de la transparence et de la rentabilité.
La portée étendue de StarCoder2 est fondée sur l’apprentissage de 619 langages de programmation. Le générateur de code d’IA est disponible en trois versions : 3 milliards, 7 milliards et 15 milliards de paramètres.
StarCoder2 met la génération de code à la portée de tous
Selon l’annonce de l’équipe de développement, les variantes les plus petites ont été créées pour offrir des performances élevées tout en gérant les coûts de calcul. Le plus petit modèle a été construit en collaboration avec ServiceNow et promet d’égaler les performances de la version avec 15 milliards de paramètres du StarCoder original, tandis que l’option intermédiaire bénéficie du soutien de Hugging Face.
La version StarCoder2 avec 15 milliards de paramètres a été entraînée sur une infrastructure accélérée par Nvidia.
Les améliorations considérables signifient que, bien que l’option accélérée par Nvidia offre de meilleures performances, même la variante la plus basique représente une avancée considérable par rapport aux générations précédentes et nécessite une infrastructure moins sophistiquée.
Jonathan Cohen, vice-président de la recherche appliquée chez Nvidia. « La collaboration de Nvidia avec ServiceNow et Hugging Face introduit des modèles sécurisés et développés de manière responsable, et soutient un accès plus large à l’IA générative responsable qui, nous l’espérons, bénéficiera à la communauté mondiale. »
En outre, StarCoder2 utilise un nouvel ensemble de données de code appelé The Stack v2, qui intègre de nouvelles techniques de formation pour comprendre les langages de programmation à faibles ressources, les mathématiques et les discussions sur le code source des programmes.
Outre les améliorations de performances et d’efficacité, les entreprises insistent sur le fait que StarCoder2 adhère à des pratiques éthiques en matière d’IA, telles que l’utilisation de données d’origine responsable sous licence du patrimoine numérique de Software Heritage. De même, les développeurs peuvent refuser que leurs données soient utilisées pour la formation.
