En réponse à GPT-4 d’Open AI, Meta offre gratuitement son modèle de langage Llama. Cette initiative pourrait intensifier le boom de l’IA générative en facilitant le lancement de nouveaux systèmes d’IA puissants.
Fuite de Llama, la version initiale de l’IA générative de Meta
En mai 2023, un mémo anonyme apparemment rédigé par un chercheur de Google préoccupé par l’avenir de l’entreprise a fait l’objet d’une fuite en ligne. Cette note affirme que, tandis que les cadres se disputent au sujet de la menace concurrentielle que représente la technologie de génération de texte d’OpenAI, les logiciels libres sont en train de « manger tranquillement notre déjeuner ».
Pour preuve, le mémo citait Llama, un grand modèle de langage créé par Meta qui n’était initialement accessible qu’aux chercheurs sur invitation mais qui, quelques jours plus tard, a fait l’objet d’une fuite sur le forum 4Chan et est rapidement devenu populaire auprès des programmeurs qui l’ont adapté. Quelques semaines après sa publication, des variantes appelées Alpaca et Vicuna étaient presque aussi performantes que ChatGPT, mais suffisamment agiles pour être personnalisées sur un ordinateur portable.
Llama 2, la nouvelle version libre et gratuite du modèle de langage
Courant juillet 2023, Meta a publié Llama 2, la deuxième version de son modèle de langage. Cette fois-ci, il s’agit d’un logiciel libre et gratuit pour une utilisation commerciale. Cette nouvelle version a été élaborée en utilisant 40 % de données supplémentaires à l’original, et un chatbot capable de générer des résultats comparables à ceux du ChatGPT d’OpenAI, selon Meta.
Le système de Meta est disponible gratuitement pour les développeurs, les startups et les autres personnes intéressées par la création de variations personnalisées du modèle. En offrant cette alternative gratuite à ChatGPT ou Bard, Llama 2 de Meta rend accessible aux petites entreprises et aux codeurs solitaires la conception de nouveaux produits et services basés sur l’IA, pouvant accélérer davantage le boom que connaît l’IA.
Partenaires et acteurs du déploiement
Pour déployer Llama 2 auprès du grand public, Meta bénéficie du soutien de partenaires qui mettent déjà le modèle à la disposition de leurs clients, notamment les startups d’IA Hugging Face, Databricks et OctoML.
Microsoft, qui a investi 10 milliards de dollars dans OpenAI, proposera également des téléchargements de Llama 2 aux développeurs pour une utilisation sur le cloud ou sur Windows. Lors d’une conférence, le PDG de Microsofy Satya Nadella s’est montré enthousiaste à l’idée que les développeurs puissent utiliser l’IA open source de Meta parallèlement aux offres propriétaires d’OpenAI. La division « cloud » d’Amazon, AWS, offre également un accès à Llama 2.
Ahmad Al-Dahle, vice-président de Meta pour l’IA générative, refuse de dire quel rôle la fuite du premier modèle Llama a joué dans la nouvelle stratégie de l’entreprise pour Llama 2.
« Si vous regardez l’histoire de Meta, nous avons été un grand partisan de l’open source », dit-il, citant l’exemple de PyTorch, un outil populaire pour les développeurs travaillant avec l’apprentissage automatique. « L’une des principales motivations pour créer une communauté autour de cet outil est que nous avons constaté qu’il y avait une demande au-delà des chercheurs pour travailler sur ces modèles et les améliorer. » M. Al-Dahle indique que le développement de Llama 3 est en cours, sans préciser les mises à jour apportées.
Un manque de transparence subsiste malgré tout
Bien que Llama 2 donne de la crédibilité à Meta en tant que leader de l’IA open source, tous les aspects de la version ne peuvent pas être qualifiés d’ouverts. Les données d’entraînement utilisées pour créer le modèle sont décrites dans les documents de publication uniquement comme des « sources en ligne accessibles au public », et l’entreprise n’offrira pas d’autres détails sur ce qui a été utilisé pour la création du modèle.
La licence de Meta pour Llama 2 exige également que les entreprises comptant plus de 700 millions d’utilisateurs actifs mensuels concluent un accord de licence distinct avec Meta. La raison n’en est pas claire, mais cette clause constitue un obstacle à l’utilisation du système par d’autres géants de la technologie. Le modèle s’accompagne également d’une politique d’utilisation acceptable, qui interdit de générer des codes malveillants, de promouvoir la violence ou de permettre des activités criminelles, des abus ou du harcèlement. Meta n’a pas répondu à une question sur les mesures qu’elle pourrait prendre si le Llama 2 était utilisé en violation de cette politique.
Jon Turow, investisseur chez Madrona Ventures à Seattle, estime que la décision de Meta de restreindre la distribution du premier modèle Llama et d’ouvrir le deuxième modèle pourrait permettre une nouvelle vague de créativité dans l’utilisation de grands modèles de langage. « Les développeurs et les entrepreneurs sont très ingénieux et ils vont découvrir ce qu’ils peuvent tirer de Llama 2 », déclare-t-il.
En proposant une alternative bon marché mais puissante, Meta peut faire contrepoids aux systèmes propriétaires tels que ceux développés par OpenAI, en stimulant l’innovation et en suscitant des idées qui permettront d’améliorer les produits et les services de Meta.
Llama 2 peut chambouler en profondeur le marché de l’IA
Selon Nathan Lambert, chercheur en IA chez Hugging Face, une startup qui publie des logiciels d’apprentissage automatique open source, y compris des modèles génératifs, Llama 2 est le premier modèle publié ouvertement qui soit à la hauteur de ChatGPT. Il ne considère pas le projet comme véritablement open source en raison des informations limitées fournies par Meta sur son développement, mais il est étonné par le nombre de variantes de Llama 2 qu’il voit dans son fil d’actualité sur les médias sociaux. Un exemple est la dernière version de WizardLM, un système d’IA similaire à ChatGPT, conçu pour suivre des instructions complexes. Huit des dix modèles actuellement en vogue sur Hugging Face, dont certains sont conçus pour générer des textes conversationnels, sont des variantes de Llama 2.
« Je pense que l’on peut affirmer que Llama 2 est l’événement le plus important de l’année dans le domaine de l’IA », déclare M. Lambert. Selon lui, les modèles propriétaires ont l’avantage aujourd’hui, mais les versions ultérieures de Llama rattraperont leur retard et seront bientôt en mesure d’effectuer la plupart des tâches de ChatGPT.
M. Lambert indique également que la version 2 de Llama laisse un certain nombre de questions sans réponse, en partie à cause du manque de documentation sur les données d’entraînement. De plus, seuls les grands acteurs tels que Meta, Google, Microsoft et OpenAI disposeront des ressources informatiques et du personnel nécessaires pour créer de grands modèles de langage.
Mais il espère que, malgré le succès de l’approche propriétaire d’OpenAI, les modèles de langage entrent dans une ère de transparence. Un accord volontaire entre la Maison Blanche et sept grandes entreprises d’IA prévoit des tests sur des éléments tels que le potentiel de discrimination ou l’impact sur la société ou la sécurité nationale avant le déploiement.
