IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

OpenAI dévoile CriticGPT, un nouveau modèle d'IA entraîné pour critiquer les réponses de GPT-4


Sujet :

Intelligence artificielle

  1. #1
    Chroniqueur Actualités
    Avatar de Anthony
    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Novembre 2022
    Messages
    1 098
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Rédacteur technique

    Informations forums :
    Inscription : Novembre 2022
    Messages : 1 098
    Points : 18 194
    Points
    18 194
    Par défaut OpenAI dévoile CriticGPT, un nouveau modèle d'IA entraîné pour critiquer les réponses de GPT-4
    OpenAI dévoile CriticGPT, un nouveau modèle d'IA entraîné pour critiquer les réponses de GPT-4, le modèle détecte les bogues dans les codes générés par ChatGPT, améliorant ainsi la surveillance humaine de l'IA

    Les chercheurs d'OpenAI viennent de dévoiler CriticGPT, un nouveau modèle d'IA conçu pour identifier les erreurs dans le code généré par GPT-4. Ce modèle vise à améliorer le processus permettant aux systèmes d'IA de se comporter de la manière souhaitée par les humains (appelé également "alignement") grâce à l'apprentissage par renforcement à partir de rétroaction humaine (RLHF), qui aide les réviseurs humains à rendre les sorties des grands modèles de langage (LLM) plus précises.

    OpenAI est une organisation américaine de recherche en intelligence artificielle (IA) fondée en décembre 2015 et dont le siège se trouve à San Francisco. Sa mission est de développer une intelligence artificielle générale "sûre et bénéfique", qu'elle définit comme "des systèmes hautement autonomes qui surpassent les humains dans la plupart des tâches économiquement utiles". En tant qu'organisation de premier plan dans l'essor actuel de l'IA, OpenAI a développé plusieurs grands modèles de langage, des modèles avancés de génération d'images et, précédemment, des modèles en code source libre. Le lancement de ChatGPT par OpenAI est considéré comme le catalyseur d'un intérêt généralisé pour l'IA.

    Generative Pre-trained Transformer 4 (GPT-4) est un grand modèle de langage multimodal créé par OpenAI, et le quatrième de sa série de modèles de base GPT. Il a été lancé le 14 mars 2023 et mis à la disposition du public via le chatbot payant ChatGPT Plus, via l'API d'OpenAI et via le chatbot gratuit Microsoft Copilot. En tant que modèle basé sur un transformateur, GPT-4 utilise un paradigme dans lequel un pré-entraînement utilisant à la fois des données publiques et des "données sous licence de fournisseurs tiers" est utilisé pour prédire le prochain jeton. Après cette étape, le modèle a été affiné avec un retour d'apprentissage par renforcement de la part des humains et de l'IA pour l'alignement humain et la conformité à la politique.


    OpenAI a formé un modèle, basé sur GPT-4, appelé CriticGPT pour détecter les erreurs dans le code de sortie de ChatGPT. Ils ont constaté que lorsque les gens reçoivent l'aide de CriticGPT pour réviser le code de ChatGPT, ils obtiennent de meilleurs résultats que ceux qui ne reçoivent pas d'aide dans 60 % des cas. OpenAI commence à intégrer des modèles de type CriticGPT dans son pipeline d'étiquetage RLHF, en fournissant à ses formateurs une assistance IA explicite. Il s'agit d'une étape vers la possibilité d'évaluer les résultats de systèmes d'IA avancés qui peuvent être difficiles à évaluer sans de meilleurs outils.

    La série de modèles GPT-4, qui alimente ChatGPT, est conçue pour être utile et interactive grâce à l'"apprentissage par renforcement à partir de rétroaction humaine" (Reinforcement Learning from Human Feedback - RLHF). L'un des éléments clés du RLHF est la collecte de comparaisons dans lesquelles des personnes, appelées entraîneurs/formateurs d'IA, évaluent différentes réponses de ChatGPT les unes par rapport aux autres.

    Au fur et à mesure qu'OpenAI progresse dans le raisonnement et le modèle de comportement, ChatGPT devient plus précis et ses erreurs deviennent plus subtiles. Il peut donc être difficile pour les entraîneurs d'IA de repérer les inexactitudes lorsqu'elles se produisent, ce qui complique considérablement la tâche de comparaison qui est à la base du RLHF. Il s'agit là d'une limite fondamentale du RLHF, qui pourrait rendre de plus en plus difficile l'alignement des modèles à mesure qu'ils deviennent plus compétents que toute personne susceptible de fournir un retour d'information.

    Pour relever ce défi, OpenAI a formé CriticGPT pour rédiger des critiques qui mettent en évidence les inexactitudes dans les réponses de ChatGPT.

    Nom : code_desktop_light__3_.png
Affichages : 7444
Taille : 112,4 Ko

    Les suggestions de CriticGPT ne sont pas toujours correctes, mais il est possible de constater qu'elles peuvent aider les formateurs à détecter beaucoup plus de problèmes avec les réponses écrites par le modèle qu'ils ne le feraient sans l'aide de l'IA. En outre, lorsque des personnes utilisent CriticGPT, l'IA renforce leurs compétences, ce qui se traduit par des critiques plus complètes que lorsque les personnes travaillent seules, et moins de bogues hallucinés sont produits que lorsque le modèle travaille seul. Lors des expériences menées par OpenAI, un deuxième entraîneur aléatoire a préféré les critiques de l'équipe Human+CriticGPT à celles d'une personne non assistée dans plus de 60 % des cas.

    Méthodes

    CriticGPT a également été entraîné avec le RLHF, de la même manière que ChatGPT. Mais contrairement à ChatGPT, CriticGPT a examiné un grand nombre d'entrées contenant des erreurs que le modèle a ensuite dû critiquer. OpenAI a demandé à des entraîneurs d'IA d'insérer manuellement ces erreurs dans le code écrit par ChatGPT et d'écrire ensuite des commentaires d'exemple comme s'ils avaient détecté le bogue qu'ils venaient d'insérer. La même personne a ensuite comparé plusieurs critiques du code modifié afin de pouvoir facilement déterminer si une critique avait détecté le bogue qu'elle avait inséré.

    Dans ses expériences, OpenAI a étudié à la fois si CriticGPT pouvait détecter les bogues insérés et les bogues "naturels" de ChatGPT qu'un formateur précédent avait détectés. OpenAI a constaté que les formateurs préféraient les critiques de CriticGPT aux critiques de ChatGPT dans 63 % des cas de bogues naturels, en partie parce que la nouvelle critique produit moins de "nitpicks" (petites plaintes qui ne sont pas utiles) et hallucine moins souvent les problèmes.

    OpenAI a également constaté qu'il est possible de générer des critiques plus longues et plus complètes en utilisant une recherche supplémentaire en temps de test par rapport au modèle de récompense de la critique. Cette procédure de recherche permet d'équilibrer l'agressivité de la recherche de problèmes dans le code et de configurer un compromis précision-rappel entre les hallucinations et le nombre de bogues détectés. Cela signifie que le système peut générer des critiques qui sont aussi utiles que possible pour le RLHF.

    Nom : bug_chart_desktop_light__1_.png
Affichages : 565
Taille : 37,1 Ko

    Limites

    • OpenAI a entraîné CriticGPT sur des réponses de ChatGPT qui sont assez courtes. Pour superviser les agents du futur, des méthodes devront être développées afin d'aider les formateurs à comprendre des tâches longues et complexes.
    • Les modèles ont encore des hallucinations et les formateurs font parfois des erreurs d'étiquetage après avoir vu ces hallucinations.
    • Parfois, les erreurs réelles peuvent être réparties sur plusieurs parties d'une réponse. Le travail d'OpenAI se concentre sur les erreurs qui peuvent être signalées en un seul endroit, mais à l'avenir, OpenAI envisagera également de s'attaquer aux erreurs dispersées.
    • CriticGPT ne peut pas tout faire : si une tâche ou une réponse est extrêmement complexe, même un expert avec l'aide d'un modèle peut ne pas être en mesure de l'évaluer correctement.

    Prochaines étapes

    Afin d'aligner des systèmes d'IA de plus en plus complexes, OpenAI aura besoin de meilleurs outils. Dans cette recherche sur CriticGPT, OpenAI a constaté que l'application du RLHF au GPT-4 est prometteuse pour aider les humains à produire de meilleures données RLHF pour GPT-4. L'entreprise prévoit ainsi d'étendre ce travail et de le mettre en pratique.

    Source : OpenAI

    Et vous ?

    Quel est votre avis sur le sujet ?
    Pensez-vous que CriticGPT est un outil utile et intéressant, ou plutôt un gadget superflu supplémentaire ?

    Voir aussi :

    ChatGPT génère un code informatique peu sûr, mais ne vous le dira pas à moins que vous ne le lui demandiez, les experts mettent en garde contre les risques d'une surconfiance en ChatGPT

    L'erreur coûteuse de ChatGPT : une startup raconte comment une ligne de code généré par l'IA a entraîné 10 000 dollars de perte. Malgré les avancées de l'IA, la vigilance humaine reste indispensable

    Une étude affirme que 52 % des réponses de ChatGPT aux questions de codage informatique sont incorrectes et 77 % sont verbeuses, mais les réponses du chatbot sont "convaincantes"
    Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  2. #2
    Membre expert
    Homme Profil pro
    ingénieur qualité
    Inscrit en
    Mars 2015
    Messages
    1 208
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : ingénieur qualité
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Mars 2015
    Messages : 1 208
    Points : 3 688
    Points
    3 688
    Par défaut
    Etape suivante :
    OpenAI dévoile DoItYourselfGPT, un nouveau modèle d'IA entraîné pour ne pas corriger le code critiqué par CriticGPT pour les réponses de GPT-4, le modèle ne corrige pas les bugs détectés dans les codes générés par ChatGPT, améliorant ainsi le développement humain de l'IA

Discussions similaires

  1. Réponses: 0
    Dernier message: 13/08/2014, 22h31

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo