L’intelligence artificielle (IA), et tout particulièrement la technologie GPT-,3 a fait l’objet d’un important engouement de la part des médias. Il s’agit d’une IA plus performante que ses prédécesseurs, créant du contenu avec une structure linguistique (langage humain ou machine).
Qu’est-ce que l’intelligence artificielle GPT-3 ?
GPT-3 a été créé par OpenAI, une entreprise de recherche en IA cofondée par Elon Musk, et a été décrit comme l’avancée la plus importante et la plus utile de l’IA depuis des années.
GPT-3 est l’acronyme de Generative Pre-trained Transformer 3, 3 désignant la troisième version de cet outil. Cela signifie que GPT-3 génère du texte à l’aide d’algorithmes pré-entraînés, c’est-à-dire à qui toutes les données leur permettant d’accomplir la tâche leur ont été fournies. Plus précisément, l’intelligence artificielle a été alimentée par 570 Go d’informations textuelles, recueillies en ligne ou sélectionnées par OpenAI, de Wikipédia entre autres.
Si vous lui posez une question, vous pouvez vous attendre à ce que la réponse la plus utile soit une réponse. Si vous lui demandez d’effectuer une tâche telle que la rédaction d’un résumé ou la composition d’un poème, vous obtiendrez un résumé ou un poème.
Plus techniquement, GPT-3 a été décrit comme le plus grand réseau neuronal artificiel jamais créé.
Que peut faire GPT-3 ?
GPT-3 a la capacité de créer tout ce qui possède une structure linguistique. Cela signifie qu’il peut répondre à des questions, rédiger des essais, résumer de longs textes, traduire des langues, prendre des notes, et même créer du code informatique.
Dans une démonstration de GPT-3, on le voit créer une application dont l’aspect et le fonctionnement sont similaires à ceux d’Instagram, à l’aide d’un plugin pour l’outil Figma utilisé pour le design d’application. C’est, bien sûr, assez révolutionnaire. Et, si GPT-3 s’avère utilisable et utile à long terme, il pourrait avoir d’importantes répercussions sur la façon dont les logiciels et les applications seront développés à l’avenir.
Comme le code lui-même n’est pas encore disponible pour le public, l’accès est réservé à des développeurs sélectionnés par le biais d’une API gérée par OpenAI.
Depuis que l’API a été mise à disposition en juin 2020, des exemples de poèmes, de proses, de reportages et de fictions créatives ont été publiés. The Guardian a d’ailleurs publié un article entièrement rédigé par l’intelligence artificielle. Dans cet article, GPT-3 tente de nous convaincre, nous les humains, qu’il ne nous veut pas de mal. Toutefois, son honnêteté robotique l’oblige à admettre que « je sais que je ne pourrai pas éviter de détruire l’humanité » si des personnes mal intentionnées l’y obligent !
Comment fonctionne GPT-3 ?
Pour ce qui est de sa classification en matière d’IA, GPT-3 est un modèle de prédiction du langage. Cela signifie qu’il s’agit d’une structure algorithmique conçue pour prendre un morceau de langage (une entrée) et le transformer en ce qu’il prédit être le morceau de langage suivant le plus pertinent pour l’utilisateur.
Ceci peut se faire grâce à l’entraînement d’analyse effectué à partir du corpus de textes utilisé pour le « pré-entraîner ». Contrairement à d’autres algorithmes qui, à l’état brut, n’ont pas été entraînés, OpenAI a dépensé l’énorme quantité de ressources de calculs nécessaires à GPT-3 pour comprendre le fonctionnement et la structure des langues. Le temps de calcul nécessaire pour y parvenir aurait coûté 4,6 millions de dollars à OpenAI.
Pour apprendre à créer des constructions linguistiques telles que des phrases, il a recours à l’analyse sémantique, consistant à étudier les mots et leur signification, mais aussi à comprendre comment l’usage des mots diffère en fonction d’autres mots également utilisés dans le texte.
Il s’agit également d’une forme d’apprentissage automatique appelée apprentissage non supervisé, car les données d’apprentissage ne contiennent aucune information sur ce qu’est une « bonne » ou une « mauvaise » réponse, comme c’est le cas avec l’apprentissage supervisé. Toutes les informations dont il a besoin pour calculer la probabilité que son résultat corresponde aux besoins de l’utilisateur sont recueillies dans les textes d’apprentissage eux-mêmes.
Pour ce faire, il étudie l’usage des mots et des phrases, puis les démonte et tente de les reconstruire lui-même.
Ainsi, pendant l’apprentissage, les algorithmes peuvent rencontrer la phrase « le smartphone a un fond d’écran bleu ». On lui redonne alors la phrase, mais avec un mot manquant, par exemple « le smartphone a un X bleu ».
L’algorithme analyse alors l’ensemble du texte provenant de ses données d’apprentissage, des centaines de milliards de mots, organisés en un langage significatif, et détermine quel mot utiliser pour recréer la phrase initiale.
Au départ, l’IA devra s’entraîner à partir des données dont il dispose. D’ailleurs, il se trompera probablement. Potentiellement des millions de fois, mais il finira par trouver le bon mot. En vérifiant ses données d’entrée d’origine, il saura qu’il a obtenu le bon résultat, et une pondération est attribuée au processus de l’algorithme qui le prouve.
L’ampleur de ce processus de pondération dynamique est ce qui fait de GPT-3 le plus grand réseau neuronal artificiel jamais créé. Il a été souligné que, d’une certaine manière, ce qu’il fait n’est pas si nouveau, car les modèles de prédiction du langage par transformateur existent depuis de nombreuses années. Toutefois, les pondérations que l’algorithme conserve dynamiquement dans sa mémoire et utilise pour traiter chaque requête sont de 175 milliards, soit dix fois plus que son plus proche rival, produit par NVIDIA.
