Discussion :

[Stéphane le calme]

Open AI propose en bêta privée son modèle de traitement du langage naturel GPT-3,
ses applications vont de la génération de texte cohérent à la génération de code en passant par la création d'applications

La société de recherche en intelligence artificielle OpenAI Inc. a récemment mis à disposition la dernière version de son modèle de traitement du langage naturel généraliste GPT-3 en version bêta privée, et ses capacités sont étonnantes pour les premiers testeurs.

GPT est l'abréviation de Generative Pre-training Transformer (GPT), un modèle de langage écrit par Alec Radford et publié en 2018 par OpenAI, le laboratoire de recherche en intelligence artificielle d'Elon Musks. Il s'agit d'un algorithme de langage à usage général qui utilise l'apprentissage automatique pour traduire du texte, répondre à des questions et écrire du texte de manière prédictive. Il fonctionne en analysant une séquence de mots, de texte ou d'autres données, puis en développant ces exemples pour produire une sortie entièrement originale sous la forme d'un article ou d'une image. Il s'appuie sur un modèle génératif de langage (où deux réseaux de neurones se perfectionnent par compétition).

GPT-2 (Generative Pretrained Transformer 2) a été annoncé en février 2019 et a été formé sur 8 millions de documents pour un total de 40 Go de texte à partir d'articles partagés. Elon Musk s'est illustré lorsqu'il a affiché sa réticence à le publier car il craignait qu'il ne soit utilisé pour spammer les réseaux sociaux avec des fake news. En effet, GPT-2 s'était déjà avéré quelque peu controversé en raison de sa capacité à créer des fake news extrêmement réalistes et cohérentes sur la base de quelque chose d'aussi simple qu'une phrase. Le risque d'utilisation abusive était tel qu'OpenAI a refusé de rendre l'algorithme accessible au public. Cependant, avec la sortie de GPT-3, l'algorithme est devenu exponentiellement plus puissant.

En mai 2020, OpenAI a annoncé GPT-3, un modèle qui contient deux ordres de grandeur de plus de paramètres que GPT-2 (175 milliards contre 1,5 milliard de paramètres) et qui offre une amélioration spectaculaire par rapport à GPT-2. Lorsque vous lui donnez du texte, le GPT-3 renverra un article complet, tentant de lui faire correspondre au modèle que vous lui avez donné. Vous pouvez le « programmer » en lui montrant seulement quelques exemples de ce que vous souhaitez qu'il fasse, et il fournira un article ou une histoire complète.

Les applications de GPT-3

Après avoir initialement publié ses recherches sur le GPT-3 en mai, OpenAI a donné à certains membres du public l'accès au modèle il y a quelques jours via une API. Et au cours des derniers jours, un certain nombre d'échantillons de texte générés par GPT-3 ont commencé à circuler largement sur les réseaux sociaux. L'un des exemples les plus intéressants vient du fondateur de Funders Fund, Delian Asparouhov, ancien associé de Khosla Ventures, qui a alimenté l'algorithme GPT-3 à la moitié d'une note d'investissement qu'il avait écrite et publiée sur le site Web de son entreprise.

Asparouhov a continué dans ses tests et a donné au GPT-3 la moitié d'un essai sur la façon d'organiser des réunions de conseil efficaces :

Dans les deux exemples, GPT-3 a pu générer non seulement des paragraphes de texte cohérents et supplémentaires, mais également suivre la mise en forme antérieure de manière à la rendre presque impossible à distinguer du texte original écrit par l'homme.

GPT-3 est si bon dans ce qu'il fait qu'il peut tromper les gens sur presque tout sujet qui lui est proposé, même s'il se trouve que ce sujet parle de lui-même. Prenons l'exemple du chef de la technologie de Zeppelin Solutions GmbH, Manuel Araoz, qui a utilisé GPT-3 pour créer un article complexe sur une fausse expérience sur le populaire forum Bitcointalk en utilisant une invite de base comme ligne directrice.

L'article, « Le GPT-3 d'OpenAI peut être la plus grande chose depuis le bitcoin », décrit comment le GPT-3 a trompé les membres du forum Bitcointalk en leur faisant croire que ses commentaires étaient authentiques. À plusieurs endroits dans le texte, le GPT-3 décrit également plusieurs cas d'utilisation possibles pour les modèles de prédiction linguistique, notant que ces modèles pourraient être utilisés pour « des satires, du journalisme de recherche, de la publicité, de la politique et de la propagande ».

Le texte était très bien écrit. Araoz a déclaré que le texte a été généré à l'aide d'un titre, d'une poignée de balises et de ce bref résumé : « Je partage mes premières expériences avec le nouveau modèle de prédiction de langage d'OpenAI (GPT-3) bêta. J'explique pourquoi je pense que le GPT-3 a un potentiel perturbateur comparable à celui de la technologie blockchain. »

Araoz a mis le GPT-3 à l'épreuve de plusieurs autres façons, en l'utilisant pour rendre les textes complexes plus compréhensibles, pour écrire de la poésie dans le style de Borges en espagnol et pour écrire de la musique en notation ABC.

Un autre testeur, le fondateur de Debuild.co, Sharif Shameem, a utilisé GPT-3 pour écrire du code JSX à partir d'une description de base de la mise en page d'un site Web. En gros, Sharif Shameem a écrit un générateur de mise en page où vous décrivez en texte clair ce que vous voulez, et le modèle génère le code approprié.

Jordan Singer a également créé un plugin Figma qui permet de créer des applications en utilisant des descriptions en texte brut.

Il peut même être utilisé pour diagnostiquer l'asthme et prescrire des médicaments.

Bien qu'il semble que cette approche puisse conduire directement à une IA générale qui peut comprendre, raisonner et converser comme un humain, OpenAI avertit qu'ils peuvent avoir rencontré des problèmes fondamentaux de mise à l'échelle, le GPT-3 nécessitant plusieurs milliers de pétaflop / s-jours de calcul, par rapport à des dizaines de pétaflop / s-jours pour le GPT-2 complet.

OpenAI fournit l'accès à l'API GPT-3 sur invitation uniquement, et il existe une longue liste d'attente pour la version payante, qui devrait être publiée dans environ deux mois.

liste d'attente

Source : GPT-3, Delian Asparouhov ( 1, 2), Sharif Shameem, Jordan Singer, Qasim Munye

Et vous ?

Que pensez-vous de GPT-3 et de ses applications ?
Aimeriez-vous l'essayer ?
GPT-3, un signal d'alerte pour rappeler que l'IA pourrait prendre des emplois ? Dans quelle mesure ?

Voir aussi :

OpenAI lance une API multitâche destinée à ses modèles d'IA basés sur du texte, qu'il va commencer à commercialiser
OpenAI a publié l'IA de génération de texte qu'il disait trop dangereuse pour être divulguée, mais le modèle n'est pas encore parfait
OpenAI lance une API multitâche destinée à ses modèles d'IA basés sur du texte, qu'il va commencer à commercialiser
Microsoft vient de construire un supercalculateur de classe mondiale exclusivement pour OpenAI, afin de former de très grands modèles d'intelligence artificielle
Une loi de Moore pour l'intelligence artificielle ? Selon OpenAI, les algorithmes d'IA suivent une courbe d'évolution qui pourrait être décrite comme l'évolution prévue par la loi de Moore

[Mubelotix]

Là on est clairement limités par le hardware. Déjà GPT2 consommais énormément de ressources (pour un texte qui peux sembler court il consommais 6 go de ram et 100% de mes 8 threads pendant 1 minute environ sur ma machine). Je n'imagine même pas les serveurs qu'il va leur falloir pour tenir le coup. Je trouve qu'on atteint une étape où on a l'avantage de l'intelligence sans les désavantages de la conscience (parce que quand on aura enfin trouvé un moyen de créer une conscience vous allez voir que plein d'humains vont vouloir la réduire en esclavage et ça sera un pas en arrière).