IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Les experts techniques commencent à douter que les « hallucinations » de ChatGPT disparaîtront un jour


Sujet :

Intelligence artificielle

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre très actif
    Homme Profil pro
    Développeur Web
    Inscrit en
    Avril 2021
    Messages
    285
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 44
    Localisation : Belgique

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Avril 2021
    Messages : 285
    Par défaut
    Citation Envoyé par 23JFK Voir le message
    Et alors ? Vous rendez-vous compte que votre explication "raisonnable" ne fait que confirmer la critique des Républicains ? Et rendre de fait cette IA inutile puisqu'on ne peut pas lui faire confiance sur l'inpartialité de ses réponses.
    La critique des républicains sur les questions de valeurs sociétales, c'est un peu comme la critique des platistes contre le monde entier : On s'en fiche, ils racontent n'importe quoi et sont pour la plupart irrécupérable. De manière générale, quoi que vous puissiez faire dans la vie, si jamais vous vous attirez les foudres des fanatiques de Trump, c'est que vous êtes plus que probablement sur le droit chemin.

    Quand à cette fameuse "impartialité", ce n'est pas le job de l'IA d'inventer des faits mensongers pour préserver un soi-disant équilibre qui n'existe pas et n'a jamais existé.

  2. #2
    Membre actif
    Homme Profil pro
    Développeur Web
    Inscrit en
    Septembre 2011
    Messages
    108
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Septembre 2011
    Messages : 108
    Par défaut
    Citation Envoyé par Rolllmops Voir le message
    Quand on observe de manière méthodique la façon dont le capital s'est créé et distribué au fil des siècles, on ne peut qu'en conclure que le système capitaliste ne marche pas.
    Que cela te plaise ou non, cette phrase n'est pas un fait mais une opinion

  3. #3
    Membre actif
    Homme Profil pro
    Développeur Web
    Inscrit en
    Septembre 2011
    Messages
    108
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Septembre 2011
    Messages : 108
    Par défaut
    Avant de s'enflammer sur droite et gauche, il faudrait définir de quoi on parle.

    La droite en France est beaucoup plus proche de la gauche aux US par exemple. Bien que ça puisse dépendre des sujets.

  4. #4
    Membre éprouvé Avatar de marsupial
    Homme Profil pro
    Retraité
    Inscrit en
    Mars 2014
    Messages
    1 858
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Autre

    Informations professionnelles :
    Activité : Retraité

    Informations forums :
    Inscription : Mars 2014
    Messages : 1 858
    Par défaut
    Citation Envoyé par GATEN Voir le message
    Avant de s'enflammer sur droite et gauche, il faudrait définir de quoi on parle.

    La droite en France est beaucoup plus proche de la gauche aux US par exemple. Bien que ça puisse dépendre des sujets.
    Peut-être les démocrates centristes. Et encore. Je dirai que la droite en France est bien plus proche des républicains américains. Pour l'extrême droite c'est carrément du Trump.


    Citation Envoyé par OrthodoxWindows Voir le message
    ...
    D'après ce sondage, c'est le clivage générationnel qui semble le plus important. Or il me semble que les 65 ans et plus sont justement ceux qui votent le plus Macron .
    Non ils forment le noyau dur des républicains.

  5. #5
    Membre extrêmement actif Avatar de OrthodoxWindows
    Homme Profil pro
    Étudiant
    Inscrit en
    Novembre 2021
    Messages
    1 343
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Drôme (Rhône Alpes)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Novembre 2021
    Messages : 1 343
    Par défaut
    Citation Envoyé par Rolllmops Voir le message
    La rationalité mène mathématiquement plutôt à des valeurs de gauche, c'est comme ça, tant pis si ça perturbe les fachos. Quand on observe de manière méthodique la façon dont le capital s'est créé et distribué au fil des siècles, on ne peut qu'en conclure que le système capitaliste ne marche pas. Ne pas être raciste et homophobe, c'est juste normal, il n'y a pas de différences biologiques entre les différentes ethnies pour parler de racisme et cette idéologie est donc un non-sens. L'homosexualité a toujours existé, est présente partout dans la nature et n'a pas d'impact négatif tant que tous les participants sont consentants, si ça vous choque eh bien... tant pis. Le changement climatique est un fait établi et appuyé par des preuves solides. Ca n'est même pas une question de droite ou gauche.
    Tout cela est vrai, mais totalement hors sujet. Mis à part la question des "trans-queers", tout le reste de l'article porte sur des questions politique.

    De plus, votre propos me fait doucement rire, car les démocrates ne sont pas moins capitaliste que les républicains (mais plus doué pour l'hypocrisie).

    Et enfin, si on regarde l'histoire correctement, on se rend vite compte que le racisme était essentiellement défendu comme une idée scientifique au XIXème siècle. Alors que les première théorie égalitaires (qui se sont avérée juste par la suite), n'était pas des théories scientifiques. Et d'ailleurs, ces théories raciste on accouché de l'eugénisme, qui existe encore malheureusement aujourd’hui, par exemple avec l'eugénisme sur la nature (OGM), ou avec l'avortement pour cause de trisomie 21.

    Idem pour le capitalisme, qui est issu du "siècle des lumière", est qui est totalement lié à une volonté de sauver l'humanité par le science, ce qui est totalement lié à la naissance de l'économie moderne.
    Idem pour le réchauffement climatique, ça fait 200 ans que Alexander Von Humboldt l'avait prédit. Mais il était trop en avance.

    Donc si vous aviez eu le même propos il y a un siècle, cela vous aurais conduit à des idée totalement différente, voir opposée. Comme quoi il ne faut rien croire sans esprit critique. La science en fait partie.

  6. #6
    Inactif  
    Profil pro
    undef
    Inscrit en
    Février 2013
    Messages
    1 001
    Détails du profil
    Informations personnelles :
    Localisation : France, Lot (Midi Pyrénées)

    Informations professionnelles :
    Activité : undef

    Informations forums :
    Inscription : Février 2013
    Messages : 1 001
    Par défaut
    Je l'ai constaté moi même, hier. Je voulais tester ses capacités de traduction et je lui ai demandé de traduire une phrase simple "I hate apples" il a refusé au prétexte que s'était offensif et haineux suivi de tout un paragraphe de propagande wokiste-progressiste sur le racisme.... Cette IA va devenir inutile si on ne l'entraîne qu'avec des informations biaisées non conformes à la réalité.

  7. #7
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    9 533
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 9 533
    Par défaut Les livres numériques de Roald Dahl ont été mis à jour automatiquement, remplacés par des versions censurées
    Les livres numériques de Roald Dahl ont été mis à jour automatiquement, remplacés par des versions censurées.
    Dans Charlie et la chocolaterie par exemple Augustus Gloop n'est plus décrit comme étant « gros »

    Les livres numériques sont souvent moins chers que leurs homologues au format papier, ce qui facilite l'achat d'un titre que vous voulez et vous permet de commencer à le lire immédiatement sur une liseuse ou une application de lecture électronique. Il existe de nombreux inconvénients au format ebook; si le livre est soudainement transformé en émission de télévision ou en film, la couverture classique sera automatiquement mise à jour et il n'y a aucun moyen de l'arrêter (à moins de ne pas être connecté à internet). Parfois, un livre sera édité pour des fautes d'orthographe ou de grammaire, et la mise à jour sera automatiquement envoyée à tous ceux qui ont acheté le livre sur Kindle ou Kobo. Cette fois-ci, il y a une autre raison pour les éditeurs de publier des mises à jour : la censure.

    L'un des nombreux avantages de vivre dans une société libre est que personne ne peut vous dire quoi penser. Les points de vue ne peuvent généralement pas vous être imposés et vous n'êtes pas obligé de vous engager dans un contenu ou un discours avec lequel vous n'êtes pas d'accord. Pourtant, dans le cas que nous verrons ici, certaines entités estiment être mieux placés pour décider de ce qui est bon pour une majorité d'individus.

    Voici ce qui est au cœur de la controverse sur la censure, impliquant des lecteurs sensibles qui se sont tournés vers des classiques de l'enfance dans leurs éditions imprimées et électroniques : vous, en tant que consommateur de culture, êtes toujours encouragé à penser par vous-même - sauf quand il y a une possibilité que vous pourriez être offensé. Dans ce cas, quelqu'un d'autre (l'éditeur) réfléchira à votre place.

    C'est certainement dans les droits et la compétence d'un éditeur comme Dahl's, Puffin, de « désinfecter » à titre posthume le livre qu'il veut (la société est, après tout, une entreprise privée). Là où tout cela devient vite dérangeant, cependant, c'est la tournure technologique que toute cette manie de censure a prise.

    Nom : poids.png
Affichages : 2810
Taille : 137,0 Ko

    Les eBooks de Roald Dahl sont automatiquement mis à jour

    Mettre à jour les éditions nouvellement imprimées des livres de Roald Dahl et supprimer les expressions et termes « problématiques » comme « gros » ou « laid » est une chose. Mais qu'en est-il de mettre à jour automatiquement les versions eBook de ces livres que les gens auraient pu acheter dans l'espoir d'obtenir l'édition classique et originale des tomes de Dahl ?


    La situation doit servir de piqûre de rappel à ceux qui ont tendance à l'oublier : l'achat d'un livre électronique auprès d'un détaillant numérique comme Amazon ne signifie pas que vous achetez un livre que vous possédez entièrement vous-même. Au lieu de cela, vous achetez une licence d'utilisation de la version numérique de ce livre, ce qui ne ressemble en rien à cette pile de romans sur la table de chevet près de votre lit.

    De plus, l'achat d'une licence pour profiter de ces livres électroniques comprend également une épée à double tranchant.

    En effet, il arrive parfois des informations supplémentaires qui valent la peine d'être incluses après la publication d'un livre. Dans ces cas, l'éditeur peut publier une mise à jour de l'eBook (une mise à jour qui inclut, par exemple, des rapports supplémentaires). Le revers de la médaille, cependant, c'est lorsqu'un éditeur choisit de virer woke et décide de vous embarquer dans l'aventure, que cela vous plaise ou non.

    Censure du langage dans les livres classiques pour que les lecteurs ne se sentent pas blessés

    Dans la nouvelle version de Charlie et la Chocolaterie, par exemple, Augustus Gloop ne sera plus décrit comme « gros ». Dans un autre des livres de Dahl, The Witches, l'éditeur aurait changé le passage « Même si elle travaille comme caissière dans un supermarché ou en tapant des lettres pour un homme d'affaires » en « Même si elle travaille comme scientifique de haut niveau ou dirige une entreprise ».

    Le Times de Londres fait partie des magazines signalant que les propriétaires des livres électroniques Roald Dahl se voient imposer des changements comme ceux-ci, tandis que Puffin a déclaré qu'il continuerait à vendre séparément les versions non modifiées et aseptisées des livres. Dahl, bien sûr, est décédé en 1990 et n'a rien à dire sur tout cela.

    Et l'humoriste Ricky Gervais de réagir en ces termes :

    Là c'est moi [ndlr. faisant référence à l'image qui accompagne le message] qui me demande s'ils vont changer les mots que j'ai utilisés dans mon travail après ma mort, pour épargner ceux qui sont fragiles et facilement offensés. Des mots comme 'gros' et 'laid'. Et 'connard' et 'baiser'. Et 'grosse, moche, gourmande, pathétique petite conne stupide'. Des trucs comme ça.
    L'art n'est pas censé plaire à tout le monde ou faire en sorte que tout le monde se sente bien. Changez-le pour qu'il plaise à tous les goûts, et à ce moment-là, ce n'est plus de l'art.

    Conclusion

    En somme, les propriétaires d'ebooks Roald Dahl voient leurs ebooks automatiquement mis à jour avec les nouvelles versions censurées « contenant des centaines de changements de langage liés au poids, à la santé mentale, à la violence, au sexe et à la race », rapporte le journal britannique The Times. Les lecteurs qui ont acheté ces versions, comme Mathilde et Charlie et la Chocolaterie, ont maintenant les versions censurées.

    Puffin Books, la société qui publie les romans de Dahl, a mis à jour ses livres électroniques, dans lesquels Augustus Gloop n'est plus décrit comme gros ou Mme Twit comme terriblement laide. Le biographe de Dahl, Matthew Dennison, a accusé l'éditeur de « forcer les lecteurs à accepter une nouvelle orthodoxie dans laquelle Dahl lui-même n'a joué aucun rôle ».

    Le Telegraph note que de son vivant, Dahl lui-même « a menacé de ne plus jamais écrire un autre mot si ses éditeurs changeaient le langage, promettant d'envoyer son "énorme crocodile" pour les engloutir s'ils le faisaient ». Depuis la mort de Dahl en 1990, son animal de compagnie n'obtiendra donc pas le dîner promis en cas de violation de l'accord avec les éditeurs de son maître.

    Source : Vidéo dans le texte

    Et vous ?

    Pour ou contre l’aseptisation forcée des livres numériques en particulier et des œuvres d'art en général ?
    Que pensez-vous de cette décision des éditeurs de Roald Dahl ? Le timing (titre posthume) rend-il cette décision plus ou moins lourde ? Dans quelle mesure ?
    Qu'est-ce qui pourrait, selon vous, expliquer cette décision ?
    L'utilisateur devrait-il, selon vous, avoir le droit de décider s'il veut la version censurée ou non ?
    Un évènement qui vient rappeler que l'utilisateur n'est pas propriétaire d'un livre numérique, même s'il l'a acheté ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  8. #8
    Membre éprouvé
    Homme Profil pro
    ingénieur qualité
    Inscrit en
    Mars 2015
    Messages
    1 555
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : ingénieur qualité
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Mars 2015
    Messages : 1 555
    Par défaut
    Citation Envoyé par Stéphane le calme Voir le message
    Pour ou contre l’aseptisation forcée des livres numériques en particulier et des œuvres d'art en général ?
    100% contre
    Je penses qu'une œuvre d'art doit rester, autant que faire se peut, à son état d'origine. Quitte à mettre un commentaire expliquant le contexte de l'époque etc.
    Citation Envoyé par Stéphane le calme Voir le message
    Qu'est-ce qui pourrait, selon vous, expliquer cette décision ?
    La pureté militante (qui est un problème parce qu'elle oublie la "réalité de la vie"), la peur d'une shit storm Twitteresque.
    On ne créé pas un monde plus sain en supprimant tout ce qui nous déplait. Ce qui nous déplait ne disparait pas le jour où on interdit d'en parler. Au contraire on amplifie le problème, rendant les hors normes encore moins visibles.
    L'approche américaine de ces sujets est catastrophique et je suis sincèrement inquiet que l'Europe n'arrive pas à construire sa propre approche de la chose.
    Citation Envoyé par Stéphane le calme Voir le message
    L'utilisateur devrait-il, selon vous, avoir le droit de décider s'il veut la version censurée ou non ?
    Le lecteur devrait:
    1. Pouvoir choisir sa version
    2. Avoir par défaut la version originale (avec les précautions en préface si nécessaire)
    3. toute version réécrite doit en faire mention

    On fait quoi? On réécrit tous les livres sur la déportation, l'esclavagisme, les films d'horreur etc?
    Au final je trouve que la réécriture est plus problématique que l'interdiction.
    Citation Envoyé par Stéphane le calme Voir le message
    Un évènement qui vient rappeler que l'utilisateur n'est pas propriétaire d'un livre numérique, même s'il l'a acheté ?
    Une bonne partie de notre monde est comme ça aujourd'hui, les jeux vidéos, les logiciels, la musique dématérialisée sont autant de choses que nous consommons (ou pas) et dont nous ne sommes pas les propriétaires.

  9. #9
    Membre émérite
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Mars 2011
    Messages
    618
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Mars 2011
    Messages : 618
    Par défaut
    On criait à Big Brother et 1984 il y a une dizaine d'années lors de l'essor de la surveillance de masse, mais avec ce genre d'action, je trouve qu'on s'en rapproche beaucoup plus...

  10. #10
    Membre averti
    Homme Profil pro
    auteur de livres
    Inscrit en
    Septembre 2013
    Messages
    35
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Deux Sèvres (Poitou Charente)

    Informations professionnelles :
    Activité : auteur de livres

    Informations forums :
    Inscription : Septembre 2013
    Messages : 35
    Par défaut Et le droit moral de l'auteur ?
    Rectifier une œuvre littéraire est une atteinte au droit moral de l'auteur. Si tel personnage est décrit comme "gros" c'est parce que, a un moment ou à un autre dans le récit, cette caractéristique physique va jouer un rôle important. De même l'aspect esclavagiste de romans comme La case de l'oncle Tom ou Mandingo pose quelques problèmes de "politiquement correct" ! Mais essayez donc de gommer cet aspect esclavagiste sans faire perdre son sens au roman. A mon avis il est de la responsabilité des autorités politique d'interdire ce genre de manipulation des œuvres. Quant au lecteur, je ne vois pas pourquoi il aurait le choix entre une version "expurgée" qui ne devrait même pas exister et une version originale (même s'il la trouve choquante voire insultante). Pourquoi ? Parce que si on laisse ces pratiques perdurer les œuvres du "divin marquis" deviendront des "romans à l'eau de rose" et dans la foulée l'histoire de France ou celle d'autres nations sera également édulcorée : Guillaume le conquérant se sera emparé de l'Angleterre en distribuant de petits pains ou autre chose et les colons européens qui ont fait l'Amérique se seront vu offrir spontanément leurs terres par les amérindiens qui les avaient à l'époque pris en pitié ! Plus de guerres plus de génocides plus d'injustices plus de discrimination ou de racisme, même pas dans le passé !.. C'est cela que l'on prépare avec de telles pratiques : une êre d'ignorance et de naïveté !

  11. #11
    Membre éclairé
    Profil pro
    Inscrit en
    Juin 2009
    Messages
    952
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Juin 2009
    Messages : 952
    Par défaut
    Ces IA sont programmes pour taper la discute de façon intelligente, ça marche. En revanche elles n'ont jamais été prévu pour dire "la vérité" ou sourcer ses informations de "sources fiables".

  12. #12
    Membre extrêmement actif
    Avatar de Madmac
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Juin 2004
    Messages
    1 712
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Alimentation

    Informations forums :
    Inscription : Juin 2004
    Messages : 1 712
    Billets dans le blog
    7
    Par défaut
    J'avais émit des doutes sur la possibilité de concilier la rectitude politique et l'intelligence artificielle. Mes doutes sont confirmées.

    https://www.youtube.com/shorts/crraP...?feature=share

  13. #13
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    9 533
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 9 533
    Par défaut OpenAI explore la possibilité d'empêcher une IA de devenir malveillante... avec plus d'IA
    L'initiative interne d'OpenAI explore la possibilité d'empêcher une IA de devenir malveillante... avec plus d'IA.
    L'équipe de superalignement présente des premiers résultats mitigés

    OpenAI a annoncé les premiers résultats de son équipe de superalignement, l’initiative interne de l’entreprise dédiée à empêcher une superintelligence de devenir incontrôlable. Les premiers résultats du projet sont prometteurs, selon OpenAI, qui affirme avoir réussi à entraîner une IA simple avec une autre IA plus complexe.

    OpenAI reconnaît toutefois que le chemin vers l’alignement de la superintelligence est encore long et incertain, et qu’il faudra faire face à de nombreux défis techniques. La startup se dit néanmoins déterminée à poursuivre sa mission de créer une IA bénéfique pour l’humanité, tout en évitant les scénarios catastrophiques que certains experts et personnalités ont envisagés.


    La superintelligence artificielle (ou ASI) est un type hypothétique d’IA qui serait capable de dépasser les capacités humaines dans tous les domaines et aspects cognitifs. La superintelligence artificielle serait plus intelligente que les meilleurs humains dans toutes les disciplines scientifiques, techniques, artistiques et sociales. La superintelligence artificielle pourrait aussi avoir une conscience et une sensibilité propres à elle-même. La superintelligence artificielle n’existe pas encore dans le monde réel, mais c’est une possibilité théorique qui suscite beaucoup d’intérêt et aussi beaucoup de craintes.

    Alors que l'intelligence artificielle capable de surpasser l'esprit est encore hypothétique, OpenAI estime que cette technologie pourrait aider l’humanité « à résoudre bon nombre des problèmes les plus importants du monde ».

    La superintelligence sera la technologie la plus percutante que l'humanité ait jamais inventée et pourrait nous aider à résoudre bon nombre des problèmes les plus importants du monde. Mais le vaste pouvoir de la superintelligence pourrait également être très dangereux et pourrait conduire à la perte de pouvoir de l'humanité ou même à l'extinction humaine.
    Et OpenAI estime vouloir jouer un rôle actif en termes de risques liés aux systèmes d'IA et à leurs capacités massives qui pourraient bien prendre le dessus sur l'intelligence humaine. Aussi, en juillet, l'entreprise a annoncé la création d'une division chargée de créer une IA qui va contrôler le développement de la superintelligence.

    « Le pouvoir immense de la superintelligence pourrait … conduire au déclassement de l’humanité ou même à son extinction », ont écrit dans un billet de blog le co-fondateur d’OpenAI, Ilya Sutskever, et le responsable de l’alignement, Jan Leike. « Actuellement, nous n’avons pas de solution pour orienter ou contrôler une IA potentiellement superintelligente, et l’empêcher de devenir incontrôlable ».

    Nom : IIlya.png
Affichages : 2747
Taille : 558,1 Ko
    Ilya Sutskever

    Un premier pas dans l'atteinte de cet objectif : utiliser une IA « plus stupide » pour entraîner et contenir l’IA la plus « intelligente »

    Contrairement à de nombreuses annonces de l’entreprise, il n'est pas question ici d'une grande avancée. Dans un document de recherche relativement discret, l’équipe décrit une technique qui permet à un grand modèle de langage moins puissant de superviser un modèle plus puissant et suggère que cela pourrait être un petit pas vers la compréhension de la manière dont les humains pourraient superviser des machines surhumaines.

    La question à laquelle l’équipe souhaite répondre est de savoir comment maîtriser, ou « aligner », des modèles futurs hypothétiques bien plus intelligents que nous, connus sous le nom de modèles surhumains. L'alignement signifie s'assurer qu'un modèle fait ce que vous voulez qu'il fasse et ne fait pas ce que vous ne voulez pas qu'il fasse. Le superalignement applique cette idée aux modèles surhumains.

    L’une des techniques les plus répandues utilisées pour aligner les modèles existants est appelée apprentissage par renforcement via la rétroaction humaine. En un mot, les testeurs humains notent les réponses d’un modèle, en votant pour le comportement qu’ils souhaitent voir et en votant contre le comportement qu’ils ne souhaitent pas voir. Ces commentaires sont ensuite utilisés pour entraîner le modèle à produire uniquement le type de réponses appréciées par les testeurs humains. Cette technique est en grande partie ce qui rend ChatGPT si attrayant.

    Le problème est que cela nécessite que les humains soient capables de dire en premier lieu ce qui est un comportement souhaitable et ce qui ne l’est pas. Mais un modèle surhumain – selon l’idée – pourrait faire des choses qu’un testeur humain ne peut pas comprendre et ne serait donc pas en mesure d’évaluer. (Il pourrait même essayer de cacher son véritable comportement aux humains, estime Sutskever.)

    Le projet de superalignement, dirigé par le co-fondateur et scientifique en chef de OpenAI, Ilya Sutskever, et le chercheur principal Jan Leike, se déroulera sur quatre ans et utilisera environ un cinquième de la capacité de calcul actuelle de OpenAI. Il s’articulera autour de trois étapes :
    • Développer une compréhension de la façon dont l’IA analyse d’autres IA sans interaction humaine
    • Utiliser l’IA pour rechercher les zones problématiques ou les failles
    • Créer une IA capable de résoudre les problèmes d’alignement de manière autonome

    Les chercheurs soulignent que le problème est difficile à étudier car les machines surhumaines n’existent pas. Ils ont donc utilisé des remplaçants. Au lieu d’examiner comment les humains pourraient superviser des machines surhumaines, ils ont examiné comment GPT-2, un modèle publié par OpenAI il y a cinq ans, pourrait superviser GPT-4, le modèle le plus récent et le plus puissant d’OpenAI. « Si vous y parvenez, cela pourrait être la preuve que vous pouvez utiliser des techniques similaires pour que des humains supervisent des modèles surhumains », explique Collin Burns, un autre chercheur de l'équipe de superalignement.

    L'équipe a suivi GPT-2 et l'a entraîné à effectuer une poignée de tâches différentes, notamment un ensemble de puzzles d'échecs et 22 tests courants de traitement du langage naturel qui évaluent l'inférence, l'analyse des sentiments, etc. Ils ont utilisé les réponses de GPT-2 à ces tests et énigmes pour entraîner GPT-4 à effectuer les mêmes tâches. C’est comme si un élève de CM2 apprenait à accomplir une tâche à un élève de 3ème. L’astuce était de le faire sans que GPT-4 ne subisse un trop gros impact sur les performances.

    Nom : analogie.png
Affichages : 870
Taille : 67,8 Ko

    Les résultats ont été mitigés

    L’équipe a mesuré l’écart de performance entre GPT-4 formé sur les meilleures suppositions de GPT-2 et GPT-4 formé sur les réponses correctes. Ils ont constaté que GPT-4 entraîné par GPT-2 était 20 à 70 % plus performant que GPT-2 sur les tâches linguistiques, mais moins performant sur les énigmes d'échecs.

    Le fait que GPT-4 ait surpassé son professeur est impressionnant, déclare Pavel Izmailov, membre de l'équipe : « C'est un résultat vraiment surprenant et positif. » Mais il est loin de ce qu’il pourrait faire par lui-même, dit-il. Ils concluent que l’approche est prometteuse mais nécessite davantage de travail.

    « C'est une idée intéressante », déclare Thilo Hagendorff, chercheur en IA à l'Université de Stuttgart en Allemagne qui travaille sur l'alignement. Mais il pense que GPT-2 est peut-être trop stupide pour être un bon professeur ». GPT-2 a tendance à donner des réponses absurdes à toute tâche légèrement complexe ou nécessitant un raisonnement, dit-il. Hagendorff aimerait savoir ce qui se passerait si GPT-3 était utilisé à la place.

    Il note également que cette approche ne répond pas au scénario hypothétique de Sutskever dans lequel une superintelligence cache son véritable comportement et prétend être alignée alors qu’elle ne l’est pas. « Les futurs modèles surhumains posséderont probablement des capacités émergentes inconnues des chercheurs », explique Hagendorff. « Comment l’alignement peut-il fonctionner dans ces cas-là ? »

    Est-ce que ça marchera?

    Le problème avec le travail de superalignement est que tout cela est théorique. Sutskever et Leike ont déclaré en juillet qu'ils s'attendaient à ce que la superintelligence soit là au cours de cette décennie. C’est pourquoi cet engagement sur quatre ans est si important.

    L’équipe d’OpenAI considère la supériorité éventuelle des machines comme un acquis. « Les progrès de l'IA au cours des dernières années ont été extraordinairement rapides », a rappelé Leopold Aschenbrenner, chercheur au sein de l'équipe de superalignement. « Nous avons dépassé tous les critères et ces progrès se poursuivent sans relâche. »

    Pour Aschenbrenner et d’autres membres de l’entreprise, des modèles dotés de capacités humaines approchent à grands pas. « Mais cela ne s'arrêtera pas là », dit-il. « Nous allons avoir des modèles surhumains, des modèles bien plus intelligents que nous. Et cela présente de nouveaux défis techniques fondamentaux ».

    Toutefois, en suivant ce raisonnement, si la superintelligence venait à être développée, elle pourrait toujours détecter que quelqu’un ou quelque chose essaie de « l’aligner » et protester ou cacher ses véritables intentions. Dans ce cas, partant du principe qu'une ASI serait plus intelligente que l'homme, si l’IA venait à devenir malveillante, nous ne saurons peut-être jamais que cela s’est produit.

    Dans un article de blog publié jeudi, OpenAI invite d'autres chercheurs en IA à contribuer à ses efforts de superalignement, en mettant de côté 10 millions de dollars pour le financement et les subventions liées au superalignement. Il est intéressant de noter qu'OpenAI s'associe à Eric Schmidt, l'ancien PDG de Google, dans le cadre d'un programme de subventions de 10 millions de dollars.

    Sources : billet OpenAI, résultats de recherche OpenAI

    Et vous ?

    Quelle lecture faites-vous du sujet ?
    Que pensez-vous de la superintelligence artificielle ? Est-elle atteignable selon vous ?
    Que pensez-vous du fait qu'OpenAI a une équipe dédiée au superalignement ? À l'approche de cette équipe pour résoudre cet hypothétique problème ?
    Quels sont les avantages et les inconvénients de l’utilisation de l’IA pour contrôler l’IA ?
    Quels sont les risques potentiels d’une IA superintelligente qui ne serait pas alignée avec les intentions humaines ?
    Comment pensez-vous que l’IAG, voire la superintelligence artificielle, pourrait changer le monde et la société ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

Discussions similaires

  1. Réponses: 6
    Dernier message: 25/01/2022, 10h21
  2. Réponses: 4
    Dernier message: 10/12/2018, 13h18

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo