Qu’est-ce que GPT-3, l’IA considérée comme une révolution ?

L’intelligence artificielle (IA), et tout particulièrement la technologie GPT-,3 a fait l’objet d’un important engouement de la part des médias. Il s’agit d’une IA plus performante que ses prédécesseurs, créant du contenu avec une structure linguistique (langage humain ou machine).


Qu’est-ce que l’intelligence artificielle GPT-3 ?

GPT-3 a été créé par OpenAI, une entreprise de recherche en IA cofondée par Elon Musk, et a été décrit comme l’avancée la plus importante et la plus utile de l’IA depuis des années.

GPT-3 est l’acronyme de Generative Pre-trained Transformer 3, 3 désignant la troisième version de cet outil. Cela signifie que GPT-3 génère du texte à l’aide d’algorithmes pré-entraînés, c’est-à-dire à qui toutes les données leur permettant d’accomplir la tâche leur ont été fournies. Plus précisément, l’intelligence artificielle a été alimentée par 570 Go d’informations textuelles, recueillies en ligne ou sélectionnées par OpenAI, de Wikipédia entre autres.

Si vous lui posez une question, vous pouvez vous attendre à ce que la réponse la plus utile soit une réponse. Si vous lui demandez d’effectuer une tâche telle que la rédaction d’un résumé ou la composition d’un poème, vous obtiendrez un résumé ou un poème.

Plus techniquement, GPT-3 a été décrit comme le plus grand réseau neuronal artificiel jamais créé.

Que peut faire GPT-3 ?

GPT-3 a la capacité de créer tout ce qui possède une structure linguistique. Cela signifie qu’il peut répondre à des questions, rédiger des essais, résumer de longs textes, traduire des langues, prendre des notes, et même créer du code informatique.

Dans une démonstration de GPT-3, on le voit créer une application dont l’aspect et le fonctionnement sont similaires à ceux d’Instagram, à l’aide d’un plugin pour l’outil Figma utilisé pour le design d’application. C’est, bien sûr, assez révolutionnaire. Et, si GPT-3 s’avère utilisable et utile à long terme, il pourrait avoir d’importantes répercussions sur la façon dont les logiciels et les applications seront développés à l’avenir.

Comme le code lui-même n’est pas encore disponible pour le public, l’accès est réservé à des développeurs sélectionnés par le biais d’une API gérée par OpenAI.

Depuis que l’API a été mise à disposition en juin 2020, des exemples de poèmes, de proses, de reportages et de fictions créatives ont été publiés. The Guardian a d’ailleurs publié un article entièrement rédigé par l’intelligence artificielle. Dans cet article, GPT-3 tente de nous convaincre, nous les humains, qu’il ne nous veut pas de mal. Toutefois, son honnêteté robotique l’oblige à admettre que « je sais que je ne pourrai pas éviter de détruire l’humanité » si des personnes mal intentionnées l’y obligent !

Comment fonctionne GPT-3 ?

Pour ce qui est de sa classification en matière d’IA, GPT-3 est un modèle de prédiction du langage. Cela signifie qu’il s’agit d’une structure algorithmique conçue pour prendre un morceau de langage (une entrée) et le transformer en ce qu’il prédit être le morceau de langage suivant le plus pertinent pour l’utilisateur.

Ceci peut se faire grâce à l’entraînement d’analyse effectué à partir du corpus de textes utilisé pour le « pré-entraîner ». Contrairement à d’autres algorithmes qui, à l’état brut, n’ont pas été entraînés, OpenAI a dépensé l’énorme quantité de ressources de calculs nécessaires à GPT-3 pour comprendre le fonctionnement et la structure des langues. Le temps de calcul nécessaire pour y parvenir aurait coûté 4,6 millions de dollars à OpenAI.

Pour apprendre à créer des constructions linguistiques telles que des phrases, il a recours à l’analyse sémantique, consistant à étudier les mots et leur signification, mais aussi à comprendre comment l’usage des mots diffère en fonction d’autres mots également utilisés dans le texte.

Il s’agit également d’une forme d’apprentissage automatique appelée apprentissage non supervisé, car les données d’apprentissage ne contiennent aucune information sur ce qu’est une « bonne » ou une « mauvaise » réponse, comme c’est le cas avec l’apprentissage supervisé. Toutes les informations dont il a besoin pour calculer la probabilité que son résultat corresponde aux besoins de l’utilisateur sont recueillies dans les textes d’apprentissage eux-mêmes.
Pour ce faire, il étudie l’usage des mots et des phrases, puis les démonte et tente de les reconstruire lui-même.

Ainsi, pendant l’apprentissage, les algorithmes peuvent rencontrer la phrase « le smartphone a un fond d’écran bleu ». On lui redonne alors la phrase, mais avec un mot manquant, par exemple « le smartphone a un X bleu ».
L’algorithme analyse alors l’ensemble du texte provenant de ses données d’apprentissage, des centaines de milliards de mots, organisés en un langage significatif, et détermine quel mot utiliser pour recréer la phrase initiale.

Au départ, l’IA devra s’entraîner à partir des données dont il dispose. D’ailleurs, il se trompera probablement. Potentiellement des millions de fois, mais il finira par trouver le bon mot. En vérifiant ses données d’entrée d’origine, il saura qu’il a obtenu le bon résultat, et une pondération est attribuée au processus de l’algorithme qui le prouve.

L’ampleur de ce processus de pondération dynamique est ce qui fait de GPT-3 le plus grand réseau neuronal artificiel jamais créé. Il a été souligné que, d’une certaine manière, ce qu’il fait n’est pas si nouveau, car les modèles de prédiction du langage par transformateur existent depuis de nombreuses années. Toutefois, les pondérations que l’algorithme conserve dynamiquement dans sa mémoire et utilise pour traiter chaque requête sont de 175 milliards, soit dix fois plus que son plus proche rival, produit par NVIDIA.

Quels sont les limites de l’I.A GPT-3 ?

La capacité de GPT-3 à produire du langage a été saluée comme la meilleure que l’on ait jamais vue parmi les IA. Cependant, il reste quelques considérations non négligeables à prendre en compte.
Sam Altman, le PDG d’OpenAI, a lui-même déclaré : « Le buzz médiatique autour de GPT-3 est excessif. L’IA va changer le monde, mais GPT-3 n’en est qu’un premier aperçu ».

Tout d’abord, GPT-3 est un outil extrêmement coûteux à utiliser à l’heure actuelle, en raison de l’importante puissance de calcul nécessaire. Cela implique que le coût de son utilisation dépasse le budget des petites organisations.

Deuxièmement, il s’agit d’un système fermé. OpenAI n’a pas révélé tous les détails du fonctionnement de ses algorithmes, de sorte que toute personne s’appuyant sur cette IA pour une rédaction ou tout autre besoin ne serait pas entièrement sûre de la manière dont les contenus auront été conçus.

Enfin, les résultats du système ne sont pas encore parfaits. Si GPT-3 peut gérer des tâches telles que la création de textes courts ou d’applications de base, elle devient moins performante lorsqu’on lui demande de produire quelque chose de plus long ou complexe.

Ces problèmes devraient être résolus au fil du temps, à mesure que les coûts de la puissance de calcul baissent, que les plateformes d’IA se normalisent et que les algorithmes s’affinent grâce à des volumes de données croissants.
Dans l’ensemble, GPT-3 produit des résultats qui dépassent ce que nous connaissons. Quiconque a vu les résultats d’une IA sait que les résultats peuvent varier et que le résultat de GPT-3 semble être un pas en avant. Lorsque nous le verrons correctement entre les mains du public et à la disposition de tous, ses performances devraient encore s’améliorer.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Pin It on Pinterest