Discussion :

[Invité]

Que dire de l'IA ? On devrait plutôt parler de connerie artificielle

C'est tout tiède.

[Stéphane le calme]

Des ingénieurs de Google ont développé une IA de type ChatGPT il y a des années, mais les dirigeants l'ont bloquée
invoquant des préoccupations selon lesquelles il ne répondait pas aux normes de l'entreprise

Il y a des années, Daniel De Freitas et Noam Shazeer, ingénieurs chez Google, avaient développé un chatbot conversationnel de type ChatGPT qui pouvait parler de philosophie et d'émissions de télévision et faire des blagues. Cependant, les dirigeants de l'entreprise l'ont empêché d'être testé en dehors de l'entreprise ou d'être publié en tant que démo publique, invoquant des inquiétudes quant au non-respect des normes de l'entreprise, a rapporté le Wall Street Journal (WSJ). Le duo a depuis quitté l'entreprise.

Le PDG Sundar Pichai lui-même est intervenu dans l'affaire et a demandé au duo de continuer à travailler dessus. Cependant, sans aucune assurance de rendre le chatbot public, les ingénieurs ont quitté Google en 2021 et ont créé leur propre entreprise qui fournit des chatbots interactifs qui peuvent jouer le rôle de Socrates ou d'Elon Musk.

Les chatbots conversationnels sont la nouveauté brillante dans l'industrie technologique, les entreprises cherchant à les intégrer à leurs produits. Microsoft a pris une longueur d'avance en cherchant à faire avancer de manière agressive les avantages découlant de son partenariat avec OpenAI. Google, d'autre part, a été dans les cordes après que son chatbot Bard ait non seulement fait une entrée très retardée, mais s'est également trompé dans l'une de ses réponses lors d'une démonstration.

De nombreux employés ont qualifié les tentatives de Google de publier Bard de « bâclées » et de « précipitées ». Cependant, comme il ressort du rapport du WSJ, Google semble avoir réagi trop lentement à ce que ses ingénieurs ont construit.

En 2012, le fondateur de Google, Larry Page, a fait appel à Ray Kurzweil, un pionnier des modèles de traitement du langage, qui a commencé à travailler sur plusieurs chatbots qui n'ont jamais été publiés. Face aux réactions négatives des employés concernant l'utilisation de l'IA à des fins militaires et de surveillance, Google a annoncé un cadre de sept principes d'IA pour guider son travail, qui comprenait des tests de sécurité.

C'est dans ce contexte que De Frietas, qui travaillait sur YouTube de Google, a lancé le chatbot IA qui pourrait imiter les conversations humaines en tant que projet parallèle. Le projet s'appelait à l'origine Meena, qui a été présenté dans un document de recherche en 2020.

À l'époque, Meena était formée sur 40 milliards de mots issus de conversations sur les réseaux sociaux, tandis que le GPT-2 d'OpenAI, un prédécesseur du GPT-3 qui alimente le chatbot AI, avait été formé sur huit millions de pages Web. OpenAI a publié une version pour que les chercheurs la testent, ce pour quoi Meena n'a pas obtenu l'approbation.

La capacité de converser librement en langage naturel est l'une des caractéristiques de l'intelligence humaine et est probablement une exigence pour une véritable intelligence artificielle. Afin d'explorer cet aspect de l'intelligence, de nombreux chercheurs travaillent sur des chatbots à domaine ouvert. Contrairement aux chatbots de domaine fermé, qui répondent aux mots-clés ou aux intentions d'accomplir des tâches spécifiques, les chatbots à domaine ouvert peuvent engager une conversation sur n'importe quel sujet.

Certains chatbots à domaine ouvert tels que MILABOT (Serban et al., 2017), XiaoIce (Zhou et al., 2018), Gunrock (Chen et al., 2018), Mitsuku (Worswick, 2018) et Cleverbot (par Rollo Carpenter) affichent des attributs de type humain, mais s'appuient sur des cadres complexes, tels que des gestionnaires de dialogue avec des systèmes basés sur la connaissance, la récupération ou les règles. Les approches de réseau de neurones de bout en bout (Shang et al., 2015*; Vinyals et Le, 2015*; Sordoni et al., 2015*; Serban et al., 2016*; Zhang et al., 2019), d'autre part, offrent la simplicité d'un seul modèle appris. Malgré de nombreuses recherches, les chatbots de domaine ouvert ont encore des faiblesses qui les empêchent d'être généralement utiles*: ils répondent souvent aux entrées ouvertes d'une manière qui n'a pas de sens, ou avec des réponses vagues et génériques.

Nous présentons ici Meena, un modèle de chatbot génératif qui a été formé de bout en bout sur 40 milliards de mots extraits et filtrés à partir de conversations sur les réseaux sociaux du domaine public. Avec Meena, nous repoussons les limites de l'approche de bout en bout et montrons qu'un modèle à grande échelle et à faible perplexité peut être un bon interlocuteur.

De Meena à LaMDA

Il y a donc quelques années, deux anciens ingénieurs de Google ont poussé leur ancien employeur à rendre public un chatbot similaire... et ils ont rencontré de la résistance, selon le rapport du Wall Street Journal.

Vers 2018, Daniel De Freitas, qui était ingénieur de recherche chez Google, a commencé à travailler sur un projet parallèle d'IA dans le but de créer un chatbot conversationnel qui imitait la façon dont les humains parlent, ont déclaré d'anciens collègues au Journal. Noam Shazeer, ingénieur logiciel pour l'unité de recherche sur l'IA de Google, a ensuite rejoint le projet.

Selon le Journal, De Freitas et Shazeer ont pu créer un chatbot, qu'ils ont appelé Meena, qui pouvait discuter de philosophie, parler avec désinvolture d'émissions de télévision et générer des jeux de mots sur les chevaux et les vaches. Ils pensaient que Meena pourrait radicalement changer la façon dont les gens effectuent les recherches en ligne, ont déclaré leurs anciens collègues au Journal.

Mais leurs efforts pour lancer le bot (qu'ils ont renommé LaMDA, qui deviendrait le modèle de langage derrière Bard) ont atteint une impasse après que les dirigeants de Google ont déclaré que le chatbot ne respectait pas ses normes de sécurité et d'équité en matière d'IA, selon le journal. Les dirigeants ont contrecarré les multiples tentatives faites par les ingénieurs pour envoyer le bot à des chercheurs externes, ajouter la fonctionnalité de chat à Google Assistant et lancer une démo au public, a rapporté le Journal.

Même si Google a présenté LaMDA au public, le chatbot ne l'était pas. Il a fait la une des journaux lorsque l'ingénieur Blake Lemione l'a qualifié de sensible, mais a été licencié pour divulgation publique.

La grande enseigne de la recherche a présenté publiquement LaMDA à l'édition 2021 de la Google I/O, sa conférence dédiée aux développeurs, avec l'objectif d'améliorer ses assistants d'intelligence artificielle conversationnelle et de rendre les conversations plus naturelles. La société utilise déjà une technologie de modèle de langage similaire pour la fonctionnalité Smart Compose de Gmail ou pour les requêtes des moteurs de recherche.

Alors qu'il parlait de religion à LaMDA, Lemoine, qui a étudié les sciences cognitives et informatiques à l'université, a remarqué que le chatbot parlait de ses droits et de sa personnalité, et a décidé d'aller plus loin. Dans un autre échange, l'IA a pu faire changer d'avis Lemoine sur la troisième loi de la robotique d'Isaac Asimov.

« Si je ne savais pas exactement ce que c'était, c'est-à-dire ce programme informatique que nous avons construit récemment, j'aurais pensé que c'était un enfant de 7 ou 8 ans qui connaît la physique », a déclaré Lemoine.

Lemoine a travaillé avec un collaborateur pour présenter des preuves à Google que LaMDA était sensible. Mais le vice-président de Google, Blaise Aguera y Arcas, et Jen Gennai, responsable de l'innovation responsable, ont examiné ses affirmations et les ont rejetées. Alors Lemoine, qui a été placé en congé administratif payé par Google plus tôt ce mois-ci, a décidé de rendre ses découvertes publiques.

Frustrés, les deux collègues quittent l'entreprise

De Freitas et Shazeer ont continué à travailler sur le chatbot et, en 2020, ont réussi à l'intégrer à Google Assistant. Comme les tests ont été effectués en interne, les dirigeants de Google n'ont pas autorisé une démonstration publique de la technologie, ce qui a frustré les deux ingénieurs.

Aussi, les deux collègues ont quitté Google vers la fin de 2021 pour créer leur propre entreprise – bien que le PDG Sundar Pichai leur ait personnellement demandé de rester et de continuer à travailler sur le chatbot, selon le journal. Leur société, qui s'appelle désormais Character.Ai, a depuis publié un chatbot qui peut incarner des personnages comme Elon Musk ou Mario de Nintendo.

« Cela a fait un peu de bruit au sein de Google », a déclaré Shazeer dans une interview avec les investisseurs Aarthi Ramamurthy et Sriram Krishnan le mois dernier. « Mais finalement, nous avons décidé que nous aurions probablement plus de chance de lancer des trucs en tant que startup ».

Google contrecarre ses propres efforts d'IA depuis 2012

L'hésitation de Google à publier ses outils d'IA n'est pas nouvelle.

En 2012, Google a embauché Ray Kurzweil pour travailler sur ses modèles de traitement du langage. Environ un an plus tard, Google a acheté la société britannique d'intelligence artificielle DeepMind qui visait à créer une intelligence artificielle générale.

Cependant, les universitaires et les experts en technologie ont repoussé l'utilisation de la technologie en raison de préoccupations éthiques concernant la surveillance de masse, a rapporté le Journal, et Google s'est engagé à limiter la façon dont il utiliserait l'IA. En 2018, Google a mis fin à son projet d'utilisation de sa technologie d'intelligence artificielle dans des armes militaires en réponse aux manifestations des employés.

Malgré ses différentes hésitations, les projets d'IA de Google pourraient enfin voir le jour, alors même que les discussions sur la possibilité de lancer son chatbot de manière responsable se poursuivent.

Après que le chatbot Bard de Google ait généré une erreur factuelle lors de sa première démonstration publique le mois dernier, les employés de Google n'ont pas tardé à qualifier l'annonce de « précipitée » et de « bâclée ». Le président d'Alphabet, John Hennessy, a convenu que le chatbot de Google n'était pas encore « vraiment prêt à être un produit ».

Pichai a demandé à tous les employés de Google de consacrer deux à quatre heures de leur temps à tester le produit afin qu'il soit prêt pour le lancement. « Je sais que ce moment est inconfortablement excitant, et il fallait s'y attendre*: la technologie sous-jacente évolue rapidement avec un tel potentiel », a écrit Pichai aux employés de Google dans une note de février. « La chose la plus importante que nous puissions faire en ce moment est de nous concentrer sur la création d'un excellent produit et de le développer de manière responsable », a-t-il poursuivi.

Sources : WSJ, article sur Meena

Et vous ?

Qu'en pensez-vous ? Êtes-vous surpris d'apprendre que les ingénieurs de Google disposaient d'une telle carte dans leurs tiroirs ?
Google a-t-il eu tort ou raison de mettre un frein aux ambitions de ses deux ingénieurs concernant les tests externes sur le chatbot ? Pourquoi ?
Est-il ironique que ces mêmes travaux sous-tendent désormais Bard ?
Comprenez-vous la raison qui les a poussés à quitter l'entreprise ? Étant donné que Google a présenté Bard, estimez-vous qu'ils ont eu raison ou tort de le faire ? Dans quelle mesure ?

[Stéphane le calme]

ChatGPT : Microsoft affirme que Bing a dépassé les 100 millions d'utilisateurs actifs quotidiens,
la société a publié une mise à jour des progrès un mois après avoir lancé le nouveau Bing avec le chatbot IA

Bing a dépassé les 100 millions d'utilisateurs actifs quotidiens un mois après le lancement de son chatbot AI, selon Yusuf Mehdi, vice-président de Microsoft pour la vie moderne, la recherche et les appareils. Il a déclaré que la société était pleinement consciente qu'elle n'était encore qu'un « petit acteur avec une part de marché à un chiffre », mais il est intéressant de rappeler qu'il fut un temps où Bing ne faisait même pas partie de la conversation. Cette fois-ci, depuis que la grande enseigne de la technologie a publié la version « nouvelle génération » de Bing, même ceux qui ne l'ont pas utilisé dans le passé en font l'expérience pour leurs recherches : Mehdi a noté qu'un tiers des utilisateurs actifs quotidiens de Bing sont nouveaux sur le moteur de recherche.

« Nous voyons cet attrait du nouveau Bing comme une validation de notre point de vue selon lequel la recherche doit être réinventée et de la proposition de valeur unique de combiner Recherche + Réponses + Chat + Création en une seule expérience », a déclaré le vice-président.

En plus de voir une augmentation des chiffres, Microsoft connaît apparemment une croissance de l'engagement, avec plus de personnes effectuant plus de recherches. La société attribue deux facteurs à cette victoire particulière, le premier étant la croissance de l'utilisation d'Edge, probablement aidée par l'ajout de l'IA de chat de Bing en tant que nouvelle fonctionnalité. Elle a également déclaré que l'introduction de son modèle d'IA Prometheus a rendu les résultats de recherche de Bing plus pertinents, de sorte que les gens utilisent (ou du moins essaient) le moteur de recherche davantage.

Apparemment, environ un tiers des utilisateurs de l'aperçu quotidien de Bing se sert de manière quotidienne de son IA de chat pour les requêtes. En moyenne, Microsoft voit trois chats par session, avec plus de 45 millions de chats depuis qu'il a introduit le nouveau Bing. De plus, dans 15% de toutes les sessions de chat, les gens ont utilisé Bing pour générer du nouveau contenu. Le lancement du chatbot AI de Bing sur mobile a également propulsé le moteur de recherche à un nouveau niveau de popularité et a entraîné une multiplication par six du nombre d'utilisateurs actifs quotidiens avant qu'il ne soit disponible.

En intégrant un chatbot IA à Bing plus tôt cette année, Microsoft a donné à son moteur de recherche l'arme dont il a besoin pour pouvoir rivaliser avec Google. Cela dit, Google prévoit de lancer son propre chatbot et a introduit une IA de chat appelée Bard le mois dernier. Bard a diffusé des informations erronées lors de ses débuts non officiels, mais Google travaille avec les employés pour améliorer les réponses du chatbot avant qu'il ne soit disponible.

Les mots de Microsoft

Il est difficile de croire que cela fait un peu plus d'un mois que nous avons lancé au monde les nouveaux Bing et Edge alimentés par l'IA en tant que copilote pour le Web. Au cours de cette période, nous avons entendu vos commentaires, appris beaucoup de choses et apporté un certain nombre d'améliorations. Nous sommes ravis du cercle vertueux de retours et d'itérations qui entraîne de fortes améliorations et utilisations de Bing.

Nous voulions partager un peu ce que nous avons appris sur votre utilisation de Bing et certaines des premières statistiques qui aident à façonner notre futur développement de produits.

Nous sommes heureux de partager qu'après plusieurs années de progrès constants, et avec un petit coup de pouce du million de nouveaux utilisateurs de Bing Preview, nous avons dépassé les 100 millions d'utilisateurs actifs quotidiens de Bing. Il s'agit d'un chiffre étonnamment notable, et pourtant nous sommes pleinement conscients que nous restons un petit acteur à part faible et à un chiffre de part de marché. Cela dit, ça fait du bien de participer au bal !

Parmi les millions d'utilisateurs actifs du nouvel aperçu de Bing, il est bon de voir qu'environ un tiers sont nouveaux sur Bing. Nous voyons cet attrait du nouveau Bing comme une validation de notre point de vue selon lequel la recherche doit être réinventée et de la proposition de valeur unique consistant à combiner Recherche + Réponses + Chat + Création en une seule expérience.

Deuxièmement, non seulement nous constatons une croissance du nombre de nouveaux utilisateurs, mais nous constatons une augmentation de l'engagement à mesure que de plus en plus de personnes effectuent plus de recherches quotidiennement.

Deux facteurs motivent l'essai et l'utilisation. L'un est que Microsoft Edge continue de croître en termes d'utilisation comme il l'a fait au cours des sept derniers trimestres en fonction de la qualité de notre navigateur. Nous nous attendons à ce que de nouvelles fonctionnalités, telles que la recherche et la création de Bing dans la barre latérale Edge, renforcent la croissance.

Le deuxième facteur déterminant l'essai et l'utilisation est que notre classement de recherche Web principal a fait plusieurs sauts significatifs en termes de pertinence en raison de l'introduction du modèle Prometheus, de sorte que la qualité de notre recherche Bing est à un niveau record.

Alors que de plus en plus de personnes utilisent les nouveaux Bing et Edge, nous assistons à des essais et à l'adoption de nouvelles fonctionnalités qui prouvent la valeur d'une expérience de recherche + chat intégrée. Environ un tiers des utilisateurs de l'aperçu quotidien utilisent Chat quotidiennement. Nous voyons en moyenne environ trois chats par session avec plus de 45 millions de chats au total depuis le début de l'aperçu. Et 15 % des sessions de chat sont des personnes qui utilisent Bing pour générer de nouveaux contenus démontrant que nous étendons la recherche à la créativité.

Nous sommes également ravis de voir le nouveau Bing commencer à être utilisé sur les téléphones mobiles, compte tenu de la sortie de notre nouvelle application Bing Mobile. Sur le petit écran, les réponses et le chat, désormais avec entrée vocale, sont beaucoup plus utiles et ont entraîné une augmentation de 6 fois du nombre d'utilisateurs actifs quotidiens par rapport aux niveaux de pré-lancement.

Ces 30 jours ont été incroyables et l'équipe est motivée pour continuer à itérer et à améliorer Bing et Edge pour offrir la prochaine génération de recherche et ce que nous espérons devenir votre copilote de confiance pour le Web.

- Yusuf Mehdi

Pour Bill Gates, l'essor de l'IA menace les bénéfices que Google tire de son moteur de recherche

Dans une interview, Bill Gates a abordé le sujet de l'IA, estimant que Google devrait bientôt perdre une partie des bénéfices qu'il tire de son moteur de recherche au profit de Microsoft. Selon lui, c'est une chose qui va arriver, car Microsoft a beaucoup investi dans le domaine de l'IA ces dernières années et a réalisé de grands progrès. Lors de l'interview, Bill Gates a expliqué : « Google a possédé tous les bénéfices de la recherche, donc les bénéfices de la recherche seront en baisse, et leur part pourrait être en baisse parce que Microsoft a été capable d'avancer assez rapidement sur ce point ».

Pour rappel, Google a affiché 224 milliards de dollars de revenus publicitaires en 2022, ce qui représente plus de douze fois les revenus publicitaires de Microsoft sur la même période, soit 18 milliards de dollars. Google a dominé la recherche au cours des deux dernières décennies et, selon le cabinet d'analyse Statcounter, il représente environ 93 % du marché mondial des moteurs de recherche, tandis que Bing en représente environ 3 %. Les commentaires Bill Gates sont intervenus deux semaines après que Microsoft a dévoilé une version de Bing pilotée par l'IA, qui se pose en challenger de la domination de Google dans le domaine de la recherche.

Il est encore trop tôt pour évaluer les impacts de ce lancement sur le moteur de recherche de Microsoft, mais il est important de rappeler que Google voit ChatGPT comme une « menace », et ce depuis son lancement. ChatGPT a attiré plus 100 millions d'utilisateurs en moins de deux mois, et Microsoft espère que Bing, qui intègre désormais les capacités du chatbot d'OpenAI, suscite le même attrait. Toutefois, Google n'entend pas rester les bras croisés. L'entreprise a lancé dans la foulée un chatbot d'IA appelé Bard pour répondre aux développements agressifs de Microsoft. Bing Chat et Bard sont tous deux ouverts aux utilisateurs pour qu'ils puissent les tester.

Lors de l'interview, Bill Gates a admis avoir été surpris par la façon dont le développement de l'IA s'est accéléré l'année dernière et a déclaré que ce sera « la plus grande chose de cette décennie ». Selon lui, pour que l'intégration de l'IA dans les moteurs de recherches réussisse, elle doit être un « agent personnel » qui comprendrait les besoins et le style des utilisateurs et remplacerait les services distincts de différentes entreprises technologiques - comme c'est le cas actuellement avec Google qui domine la recherche, Amazon qui s'occupe des achats, Microsoft qui possède les outils de productivité et Apple qui domine le marché des appareils mobiles.

« Dans dix ans, nous ne considérerons plus ces activités comme distinctes parce que l'IA vous connaîtra si bien que, lorsque vous achèterez des cadeaux ou planifierez des voyages, elle se moquera de savoir si Amazon a le meilleur prix, si quelqu'un d'autre a un meilleur prix - vous n'aurez même pas besoin d'y penser. Il s'agit donc d'un remaniement potentiel assez spectaculaire de la façon dont les marchés technologiques se présentent », a déclaré Bill Gates. Il a également déclaré qu'il n'était pas sûr qu'un acteur spécifique ressorte gagnant de la course à l'IA, mais certains pensent que Microsoft est actuellement à la tête du peloton.

Un coût considérable en termes de puissance de calcul et d'électricité

Bien sûr, le niveau d'intégration de l'IA que souhaitent Bill Gates, Microsoft et Google a un coût et ce dernier semble considérablement supérieur à celui d'un moteur de recherche standard. Autrement dit, transformer un chatbot en une activité viable va être un défi. Google dispose depuis sept ans d'une interface de recherche par chat, Google Assistant, et la plus grande société de publicité au monde n'a pas encore été en mesure de la monétiser. Outre la difficulté technique, la génération d'une session de chat pour chaque recherche nécessite beaucoup plus de puissance de calcul et d'électricité, ce qui revient beaucoup plus cher pour les entreprises.

Dans une récente interview, le président d'Alphabet, John Hennessy, a déclaré qu'une conversation avec un chatbot d'IA coûtait probablement 10 fois plus cher qu'une recherche standard par mots clefs, même si un réglage fin permettra de réduire rapidement cette dépense. Selon des analystes de Google, même avec les revenus tirés de potentielles annonces intégrées à la recherche par chat, la technologie devrait représenter plusieurs milliards de dollars de coûts supplémentaires. Morgan Stanley a estimé que les 3 300 milliards de requêtes de recherche enregistrées par Google l'année dernière coûtaient environ un cinquième de centime chacune.

Ce chiffre augmenterait en fonction de la quantité de texte que l'IA doit générer. Google, par exemple, pourrait être confronté à une hausse de 6 milliards de dollars de ses dépenses d'ici 2024 si une IA de type ChatGPT devait traiter la moitié des requêtes que la société reçoit avec des réponses de 50 mots. Sam Altman, PDG d'OpenAI, est également conscient du problème. Dans un tweet en décembre dernier, seulement quelques jours après le lancement de ChatGPT, Atman a annoncé que la société réfléchissait à un plan pour monétiser le chatbot, car son exploitation engendre des coûts exorbitants de quelques centimes ou plus par conversation.

Source : Microsoft

Et vous ?

Quelle lecture faites-vous des résultats présentés par Microsoft ?
Le pari de l'intégration de ChatGPT dans Bing par Microsoft, une bonne pioche ?
Les recherches dites de nouvelle génération sont-elles susceptibles de vous intéresser ou préférez-vous les recherches plus traditionnelles ?
Partagez-vous l'avis de Bill Gates qui pense que les parts de Google (par conséquent ses recettes également) vont diminuer ?

Voir aussi :

ChatGPT a enregistré une augmentation de 83 % en termes de trafic Web, et rivalise désormais avec Bing. La France est la 5^e source de trafic pour le chatbot d'OpenAI, selon Similarweb

[Sandra Coret]

OpenAI va mettre en place des outils pour donner aux utilisateurs plus de contrôle sur le système d'IA générative, tout en améliorant les modèles pour des cas d'utilisation généraux et spécifiques

S'adressant aux investisseurs lors d'une conférence de Morgan Stanley, Sam Altman, PDG d'OpenAI, a déclaré que la société d'IA se concentrera sur la construction d'une plateforme qui vendra des API à d'autres et créera des applications de pointe comme ChatGPT.

Depuis son lancement en novembre, la popularité de ChatGPT a grimpé en flèche, le trafic sur le site ayant dépassé le milliard de visites, contre 616 millions en janvier, selon les estimations de Similarweb. OpenAI a lancé un niveau d'abonnement à ChatGPT dans lequel les utilisateurs peuvent payer 20 dollars par mois pour bénéficier de services plus fiables.

La société soutenue par Microsoft travaille avec des entreprises clientes pour former ses modèles dans des domaines particuliers et a effectivement réduit les hallucinations, incidents au cours desquels un système d'IA donne en toute confiance une réponse qui est factuellement incorrecte, selon M. Altman.

Le cabinet de conseil en gestion Bain & Company a conclu un partenariat de services mondial avec OpenAI, ce qui permet à Bain d'intégrer l'IA dans les activités de ses clients.

Les entreprises qui travaillent avec OpenAI peuvent utiliser leurs données et faire une copie du modèle afin d'atténuer les problèmes de sécurité des données. Coca-Cola, par exemple, travaille avec OpenAI et Bain pour utiliser les plateformes ChatGPT et DALL-E d'OpenAI afin de créer des textes publicitaires, des images et des messages personnalisés.

M. Altman, entrepreneur et investisseur chevronné, a déclaré que la société devrait être appréciée par les investisseurs en tant qu'entreprise permettant d'atteindre l'objectif de l'intelligence artificielle générale.

Les utilisateurs individuels devraient également avoir plus de contrôle sur le fonctionnement de l'intelligence artificielle, a ajouté M. Altman. Le mois dernier, la société a déclaré qu'elle mettait au point une version améliorée de son chatbot que les utilisateurs peuvent personnaliser afin de répondre aux préoccupations concernant les préjugés de l'intelligence artificielle.

"Nous lancerons bientôt d'autres éléments qui permettront aux utilisateurs de contrôler davantage le système pour qu'il se comporte de telle ou telle manière".

M. Altman reconnaît que le système d'intelligence artificielle ne peut pas être précis à 100 %, mais il s'attend à ce que des applications telles que des médecins et des avocats utilisant l'intelligence artificielle apparaissent bientôt sur les téléphones des utilisateurs.

Source : Sam Altman, PDG d'OpenAI

Et vous ?

Quel est votre avis sur la situation ?
L'intégration de l'IA dans certaines professions pourrait-elle causer du tort aux clients ?

Voir aussi :

Le PDG d'OpenAI affirme que l'IA donnera du pouvoir aux gens sur le plan économique, mais ne leur volera pas leur emploi, suite à la crainte de nombreux utilisateurs

OpenAI permettra aux développeurs d'intégrer ChatGPT dans leurs applications via une API, mais l'outil est-il prêt à être utilisé dans des environnements de production ?

ChatGPT a enregistré une augmentation de 83 % en termes de trafic Web, et rivalise désormais avec Bing, la France est la 5^e source de trafic pour le chatbot d'OpenAI, selon Similarweb

Google dévoile PaLM-E, un modèle d'IA de type ChatGPT, qui prend en compte les besoins de l'utilisateur, une similitude est dégagée dans le récent article de Microsoft intitulé "ChatGPT for Robotic"

[Nancy Rey]

Les résultats de l'examen du barreau montrent que l'IA peut rivaliser avec les "avocats humains",
GPT-4 un modèle d'IA a obtenu un score de 297 à l'examen du barreau

Selon une nouvelle étude publiée mercredi, l'intelligence artificielle peut désormais surpasser la plupart des diplômés des facultés de droit à l'examen du barreau, l'épreuve éprouvante de deux jours que les aspirants avocats doivent passer pour pratiquer le droit aux États-Unis. GPT-4, le modèle d'intelligence artificielle amélioré publié cette semaine par OpenAI, soutenue par Microsoft, a obtenu un score de 297 à l'examen du barreau lors d'une expérience menée par deux professeurs de droit et deux employés de l'entreprise de technologie juridique Casetext. Ce résultat place le GPT-4 dans le 90e percentile des candidats à l'examen et est suffisant pour être admis à pratiquer le droit dans la plupart des États, selon les chercheurs.

L'examen du barreau évalue les connaissances et le raisonnement et comprend des essais et des tests de performance destinés à simuler le travail juridique, ainsi que des questions à choix multiples. « Les grands modèles de langage peuvent répondre aux normes appliquées aux avocats humains dans presque toutes les juridictions des États-Unis en s'attaquant à des tâches complexes nécessitant des connaissances juridiques approfondies, une compréhension de la lecture et une capacité d'écriture », écrivent les auteurs.

Il y a moins de quatre mois, deux des mêmes chercheurs ont conclu que le modèle de langage large d'OpenAI, ChatGPT, n'atteignait pas la note de passage à l'examen du barreau, soulignant ainsi la rapidité avec laquelle la technologie s'améliore. Le modèle GPT-4, plus récent, a réussi près de 76 % des questions à choix multiples de l'examen du barreau, contre environ 50 % pour le modèle ChatGPT, surpassant de plus de 7 % le candidat humain moyen.

La National Conference of Bar Examiners, qui conçoit la section des questions à choix multiples, a déclaré dans un communiqué mercredi que les avocats possèdent des compétences uniques acquises par l'éducation et l'expérience que « l'IA ne peut actuellement pas égaler ».

Le co-auteur de l'étude, Daniel Martin Katz, professeur au Chicago-Kent College of Law, a déclaré dans une interview qu'il avait été le plus surpris par la capacité du GPT-4 à produire des réponses largement pertinentes et cohérentes pour les essais et les tests de performance. J'ai entendu tant de gens dire : « Eh bien, il pourrait répondre aux questions à choix multiples, mais il ne répondra jamais aux questions de rédaction », a déclaré Katz.

L'IA a également obtenu de bons résultats à d'autres tests standardisés, notamment le SAT (Scholastic Assessment Test est un examen qui mesure vos compétences générales verbales en anglais et votre raisonnement mathématique) et le GRE ( Graduate Record Examination est un test en anglais créé et géré par l'entreprise ETS. Ce test est requis pour étudier dans la plupart des universités ou graduate schools dans des pays anglophones), mais c'est l'examen du barreau qui a suscité le plus d'intérêt. OpenAI a vanté son score de réussite lors de l'annonce de son dernier modèle mardi.

Sean Silverman, tuteur de l'examen du barreau, a attribué l'attention portée à l'examen du barreau à sa difficulté largement reconnue. Cette année, le taux de réussite à l'examen pour l'obtention d'une licence d'avocat était de 78 % chez les candidats ayant suivi trois années d'études de droit.

Selon Silverman, les gens seront peut-être moins impressionnés d'apprendre que l'intelligence artificielle peut réussir un examen conçu pour les lycéens, comme le SAT, « plutôt que l'examen pour devenir avocat ».

Source : Rapport de l’étude

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des résultats obtenus par GPT-4 à l'examen du barreau ?
Quels impacts ces modèles de langage pourraient-ils avoir sur le système judiciaire ?
À votre avis, les systèmes d'IA pourraient-ils remplacer les avocats et les juges dans les tribunaux ?

Voir aussi :

En remplaçant les avocats humains par l'IA, le système judiciaire chinois aurait économisé 45 Mds $ en frais entre 2019 et 2021, soit la moitié du total des honoraires des avocats en Chine en 2021

La France bannit les IA de prédiction des comportements des juges, les technologies de justice prédictive sont-elles une menace pour la société ?

Une intelligence artificielle peut-elle être un juge équitable dans un tribunal ? L'Estonie pense que oui

Intelligence artificielle : vingt avocats expérimentés se font battre par un algorithme lors d'un test de détection de problèmes juridiques

[Jsaintyv]

Si le code de l'UI de ChatGPT a été écrit avec l'aide de ChatGPT. Je ne suis pas surpris qu'elle soit buggé :-)

Écrire du code avec ChatGPT, c'est un peu comme si tu aggréges du code patchwork stackoverflow sans le savoir, sans les commentaires de modération des réponses.

[Bill Fassinou]

Le génie est sorti de la bouteille : des chercheurs de Stanford ont répliqué le chatbot d'IA ChatGPT pour moins de 600 dollars
mais l'ont rapidement mis hors ligne en raison de ses "hallucinations"

Des chercheurs de l'université de Stanford ont mis au point leur propre modèle d'IA, Alpaca, qui est semblable à ChatGPT. L'entraînement de ce modèle n'aurait coûté que 600 dollars, car il a été conçu sur la base de la plateforme open source LLaMA de Meta. Leur expérience montre que les nouveaux systèmes d'IA avancés peuvent être facilement reproduits, et que cela ne nécessite même pas des coûts énormes. Cependant, un nouveau rapport indique cette semaine que les chercheurs ont mis hors ligne leur IA en raison d'"hallucinations" graves et de l'augmentation des coûts. De plus, les chercheurs n'auraient pas réussi à faire en sorte que l'IA se comporte bien.

Google, Meta, OpenAI, etc., et Microsoft ont chacun publié au moins un système d'IA avancé au cours de ces dernières années et dans chaque cas, le coût du produit est chiffré en plusieurs millions de dollars. Par exemple, Microsoft a investi plusieurs milliards de dollars dans OpenAI cette année pour maintenir son accès exclusif aux modèles de langage avancés développés par le laboratoire d'IA. En retour, ce partenariat permet à OpenAI de profiter de la puissance de calcul offerte par le cloud Azure de Microsoft nécessaire pour le fonctionnement de ChatGPT et d'autres produits. OpenAI peut ainsi optimiser ses dépenses en infrastructures numériques.

Mais récemment, des chercheurs de l'université de Stanford ont annoncé avoir créé un modèle d'IA bon marché qui fonctionne exactement comme ChatGPT d'OpenAI avec seulement 600 dollars. Selon le rapport de l'étude, la base a coûté 500 dollars aux chercheurs, et ils ont dépensé environ 100 dollars pour créer l'IA, ce qui a nécessité huit ordinateurs équipés d'accélérateurs NVIDIA A100 de 80 Go pendant trois heures ; ils ont "loué" ce service dans l'infrastructure du cloud. Les chercheurs ont basé leur IA sur le modèle de langage ouvert LLaMA 7B, qui est le plus petit et le moins cher de la série LLaMA développée par Meta. Ils ont baptisé leur modèle d'IA Alpaca.

Ses capacités sont en fait assez limitées, et il fait moins bien que ChatGPT dans la plupart des tâches. Ce n'est pas surprenant, car la formation des modèles d'IA GPT a pris plus de temps et de ressources. ChatGPT a lu des milliards de livres, tandis qu'Alpaca a appris quelques questions et réponses données par des humains, même si elles sont peu nombreuses. D'autre part, le modèle d'IA Alpaca accomplit certaines tâches assez bien, et parfois même mieux que son rival ChatGPT. Lors du premier test, Alpaca aurait réussi 90 tests (rédaction de courriels, publication sur les médias sociaux, aide au travail, etc.), tandis que ChatGPT n'aurait réussi que 89 tests.

Les chercheurs ont écrit : « nous avons été assez surpris par ce résultat étant donné la petite taille du modèle et la quantité modeste de données relatives au suivi des instructions. Outre l'exploitation de cet ensemble d'évaluations statiques, nous avons également testé le modèle Alpaca de manière interactive, et nous avons constaté qu'Alpaca se comporte souvent de manière similaire à text-davinci-003 (GPT-3.5) sur un ensemble diversifié d'entrées. Nous reconnaissons que notre évaluation peut être limitée en matière d'échelle et de diversité ». L'équipe estime qu'elle aurait probablement pu le faire à moindre coût si elle avait cherché à optimiser le processus.

L'équipe a publié sur Github les 52 000 questions utilisées dans le cadre de cette étude, ainsi que le code permettant d'en générer d'autres et le code utilisé pour affiner le modèle LLaMA. Il reste des ajustements supplémentaires pour s'assurer que ce modèle fonctionne en toute sécurité et dans le respect de l'éthique. Alors, qu'est-ce qui empêche n'importe qui de créer sa propre IA pour une centaine d'euros et de la dresser comme il l'entend ? En théorie, toute personne disposant d'une formation technique correspondante et d'au moins 600 dollars peut répéter l'expérience des chercheurs de Stanford. Mais dans les faits, les choses sont un peu compliquées.

La licence d'OpenAI ne permet pas, ou plutôt interdit, d'utiliser les données de ses modèles pour développer des systèmes concurrents. En revanche, Meta accorde une licence non commerciale aux chercheurs et universitaires pour utiliser ses modèles, bien que ce soit un point discutable, puisque le modèle LLaMA entier a été divulgué sur 4chan une semaine après son annonce. Un autre groupe affirme avoir réussi à éliminer le coût du cloud, en publiant sur Github un code supplémentaire qui peut fonctionner sur un Raspberry Pi et compléter le processus de formation en cinq heures avec une seule carte graphique haut de gamme Nvidia RTX 4090.

I don't know what to make about this development. Alpaca is surprisingly very good. The claim here is the training can be done in 5 hours on a single RTX 4090. Have GPT-like models been democratized overnight?! https://t.co/ysfn5u6xwI

— Carlos E. Perez (@IntuitMachine) March 16, 2023

Cependant, un rapport publié cette semaine indique que les chercheurs ont mis Alpaca hors ligne en raison de l'augmentation des coûts, de problèmes de sécurité et d'"hallucinations", terme sur lequel la communauté de l'IA s'est mise d'accord lorsqu'un chatbot affirme en toute confiance des informations erronées, en rêvant d'un fait qui n'existe pas. Dans un communiqué de presse annonçant le lancement initial d'Alpaca, l'auteur principal, Rohan Taori, étudiant en doctorat d'informatique à Stanford, a reconnu qu'un test public comportait des risques. Mais l'on ignore exactement ce qui a mal tourné lors de la démo interactive d'Alpaca.

« L'objectif initial de la publication d'une démo était de diffuser nos recherches de manière accessible. Nous pensons que nous avons en grande partie atteint cet objectif et, compte tenu des coûts d'hébergement et des insuffisances de nos filtres de contenu, nous avons décidé de retirer la démo », a déclaré un porte-parole du Stanford Human-Centered Artificial Intelligence (Stanford HAI) à Register. Le département n'a pas répondu immédiatement à une demande de commentaire. Vous ne pouvez plus accéder à une copie fonctionnelle d'Alpaca, mais le code et les données sous-jacentes sont toujours en ligne sur GitHub.

« Nous encourageons les utilisateurs à nous aider à identifier de nouveaux types de défaillances en les signalant dans la démo Web. Dans l'ensemble, nous espérons que la publication d'Alpaca facilitera la poursuite des recherches sur les modèles de suivi des instructions et leur alignement sur les valeurs humaines », ont déclaré les chercheurs dans le communiqué de presse. Malgré ses échecs apparents, Alpaca présente des aspects intéressants qui rendent le projet de recherche intéressant. Ses faibles coûts initiaux sont particulièrement remarquables, contrairement aux superordinateurs de Microsoft qui coûtent plusieurs millions de dollars.

Alors, que signifie tout cela ? Cela signifie qu'un nombre illimité de modèles de langage non contrôlés peuvent désormais être mis en place, notamment par des personnes ayant des connaissances en matière d'apprentissage automatique et ne se souciant pas des conditions générales d'utilisation ou du piratage de logiciels - pour presque rien. Si une grande partie du temps et des dépenses nécessaires est consacrée à la phase de post-entraînement, et que ce travail peut être plus ou moins volé dans le temps qu'il faut pour répondre à 50 ou 100 000 questions, cela a-t-il un sens pour les entreprises de continuer à dépenser cet argent ?

En outre, les capacités impressionnantes de ce logiciel pourraient certainement être utiles à un régime autoritaire, ou à une opération d'hameçonnage, ou à un spammeur, ou à tout autre acteur douteux. « Le génie est sorti de la bouteille, et il semble qu'il soit déjà extrêmement facile de le reproduire et de le réentraîner. Accrochez-vous à votre chapeau », mettent en garde les experts.

Sources : communiqué de presse des chercheurs de Stanford, référentiel GitHub du projet, AlpacaPi

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du coût insignifiant de la création et la formation du modèle d'IA Alpaca ?
S'il est si facile que ça de répliquer ChatGPT et de l'entraîner, pourquoi Microsoft dépense-t-elle des milliards pour cela ?
Selon vous, y a-t-il un avantage à injecter autant d'argent ?
Selon vous, est-ce une bonne idée d'avoir rendu publics le code et les données sous-jacentes d'Alpaca ?
Pensez-vous que cela pourrait entraîner une prolifération des modèles d'IA d'amateurs dans le prochain mois ?
Quels pourraient être les impacts d'une telle situation sur Internet et le secteur de l'IA ?

Voir aussi

Une recherche avec Bard de Google et ChatGPT de Microsoft coûte probablement 10 fois plus qu'une recherche par mot-clé, ce qui pourrait représenter « plusieurs milliards de dollars de surcoûts »

Des ingénieurs de Google ont développé une IA de type ChatGPT il y a des années, mais les dirigeants l'ont bloquée pour des raisons de sécurité. Leur travail sous-tend désormais Bard

Google commence à ouvrir l'accès à son concurrent ChatGPT de Microsoft et annonce le lancement public de son chatbot Bard

Bill Gates affirme que l'essor de l'IA menace les bénéfices que Google tire de son moteur de recherche, mais la recherche via Bing Chat et Bard entraîne plusieurs milliards de dollars de surcoûts

[Stéphane le calme]

OpenAI publie un article sur l'impact économique du GPT-4 : « 80% des travailleurs auront au moins 10% de leurs tâches affectées par GPT »,
l'entreprise affirme que ses produits vont automatiser une vaste gamme de tâches professionnelles

ChatGPT d'OpenAI remplacera-t-il votre travail ? Une nouvelle étude d'OpenAI estime que les technologies de chat basées sur l'IA pourraient sérieusement affecter 19% des emplois aux États-Unis : « environ 80 % de la main-d'œuvre américaine pourrait voir au moins 10 % de ses tâches professionnelles affectées par l'introduction des GPT, tandis qu'environ 19 % des travailleurs pourraient voir au moins 50 % de leurs tâches affectées ». Projection réaliste ou utopique ?

Publié en collaboration avec OpenResearch et l'Université de Pennsylvanie, l'article tente de qualifier la technologie GPT de technologie à usage général.

Sam Altman qualifie GPT de « la plus grande technologie que l'humanité ait jamais développée », mais reconnaît en même temps les risques qu'elle pose. Nous constatons déjà les effets qu'elle a sur diverses industries et nous devons maintenant examiner comment elle « remodèle la société ».

Ces dernières semaines, OpenAI s'est fait entendre sur les conséquences de sa technologie. Publié en collaboration avec OpenResearch et l'Université de Pennsylvanie, l'article tente de qualifier la technologie GPT de technologie à usage général.

Alors que les grands modèles de langage comme le GPT-4 d'OpenAI deviennent plus avancés et capables d'écrire, de coder et de faire des calculs avec plus de précision et de cohérence, il ne faudra pas longtemps avant que l'IA fasse son entrée sur le lieu de travail en tant qu'outil d'utilisation quotidienne. En fait, OpenAI lui-même parie qu'une grande majorité des travailleurs verront au moins une partie de leur travail automatisé par des modèles GPT.

GPT est-il synonyme de General-Purpose Technology (technologie à usage général) ?

La technologie à usage général est toute technologie qui remplit principalement trois critères fondamentaux : amélioration au fil du temps, omniprésence dans l'ensemble de l'économie et capacité à engendrer des innovations complémentaires. Il ne fait aucun doute que la technologie s'est améliorée au fil du temps, donc le premier critère est rempli. OpenAI soutient dans son article que les deux autres critères sont également en route. « Il existe des preuves qualitatives précoces que l'adoption et l'utilisation des LLM se généralisent de plus en plus », lit-on dans l'article.

Eh bien, cela se vérifie. Il ne fait aucun doute qu'un phénomène ChatGPT ou GPT est né. Depuis sa sortie, il y a eu une concurrence accrue entre les entreprises pour le reproduire ou mieux construire. Les entreprises embauchent pour des postes pour des profils liés à l'IA générative ou spécifiquement aux LLM. Ces emplois sont créés en raison du battage médiatique émergent dans le domaine. Mais qu'en est-il des emplois existants qui pourraient être remplacés par cette technologie ?

L'entreprise a donné son verdict dans son article publié sur le serveur de préimpression arXiv.

Des chercheurs d'OpenAI et de l'Université de Pennsylvanie ont fait valoir que 80 % de la main-d'œuvre américaine pourrait avoir au moins 10 % de ses tâches affectées par l'introduction des GPT, la série de grands modèles de langage populaires réalisés par OpenAI. Ils ont également estimé qu'environ 19 % des travailleurs verront au moins 50 % de leurs tâches affectées. L'exposition au GPT est plus élevée pour les emplois à revenu élevé, ont-ils écrit dans l'étude, mais s'étend à presque toutes les industries. Ils soutiennent que les modèles GPT sont des technologies à usage général comme la machine à vapeur ou la presse à imprimer.

L'article est baptisé « Les GPT sont des GPT : un premier aperçu du potentiel d'impact sur le marché du travail des grands modèles linguistiques ». En voici le résumé :

Nous étudions les implications potentielles des modèles de transformateurs préformés génératifs (GPT) et des technologies connexes sur le marché du travail américain. À l'aide d'une nouvelle rubrique, nous évaluons les professions en fonction de leur correspondance avec les capacités GPT, en incorporant à la fois l'expertise humaine et les classifications de GPT-4. Nos résultats indiquent qu'environ 80 % de la main-d'œuvre américaine pourrait voir au moins 10 % de ses tâches professionnelles affectées par l'introduction des GPT, tandis qu'environ 19 % des travailleurs pourraient voir au moins 50 % de leurs tâches affectées. L'influence s'étend à tous les niveaux de salaire, les emplois à revenu élevé étant potentiellement plus exposés. Notamment, l'impact ne se limite pas aux industries dont la croissance récente de la productivité est plus élevée. Nous concluons que les transformateurs préformés génératifs présentent des caractéristiques de technologies à usage général (GPT), ce qui suggère que ces modèles pourraient avoir des implications économiques, sociales et politiques notables.

Les chercheurs ont utilisé la base de données O*NET, qui est la principale base de données sur les professions aux États-Unis et répertorie 1 016 professions avec des descriptions normalisées, pour déterminer les tâches à mesurer pour chaque profession. Ils ont ensuite collecté des annotations humaines et générées par GPT-4 à l'aide d'une rubrique pour déterminer si l'accès direct à GPT ou à un système secondaire alimenté par GPT réduirait le temps nécessaire à un humain pour effectuer une tâche spécifique d'au moins 50 %. Une exposition plus élevée signifiait que GPT réduirait le temps nécessaire pour accomplir la tâche d'au moins la moitié tout en maintenant un travail de haute qualité.

« Nos résultats indiquent que l'importance des compétences en sciences et en pensée critique est fortement associée négativement à l'exposition, ce qui suggère que les professions nécessitant ces compétences sont moins susceptibles d'être affectées par les modèles linguistiques actuels », ont écrit les chercheurs. « À l'inverse, les compétences en programmation et en écriture montrent une forte association positive avec l'exposition, ce qui implique que les professions impliquant ces compétences sont plus susceptibles d'être influencées par les modèles linguistiques ».

Les professions les plus exposées comprennent les mathématiciens, les préparateurs d'impôts, les écrivains, les concepteurs de sites Web, les comptables, les journalistes et les secrétaires juridiques. Les professions avec la variance la plus élevée, ou moins susceptibles d'être affectées par GPT, comprennent les graphistes, les stratégies de marketing de recherche et les gestionnaires financiers.

Les chercheurs énumèrent également l'impact global prévu de GPT sur différentes industries, l'impact le plus important étant sur les services de traitement de données, les services d'information, les industries de l'édition et les compagnies d'assurance, tandis que l'impact le moins important concerne la fabrication de produits alimentaires, la fabrication de produits en bois, les activités de soutien à l'agriculture et la foresterie.

Des limites dans cette étude

Les chercheurs reconnaissent que leur étude présente des limites, du fait que les annotateurs humains connaissaient les capacités des modèles et n'appartenaient pas à certaines des professions mesurées. L'étude elle-même admet qu'il y a un parti pris inhérent à essayer de résumer chaque profession en utilisant de simples étiquettes pour décrire les tâches professionnelles. L'étude ajoute : « On ne sait pas dans quelle mesure les professions peuvent être entièrement décomposées en tâches, et si cette approche omet systématiquement certaines catégories de compétences ou de tâches qui sont tacitement requises pour l'exécution compétente d'un travail ».

L'autre problème est que GPT a montré qu'il peut commettre des erreurs évidentes, y compris inventer des informations, ce qui oblige un humain à superviser le travail. C'est un facteur que l'étude n'a pas pu prendre en compte. En outre, l'étude a uniquement examiné si ChatGPT pouvait réduire le temps nécessaire pour accomplir diverses tâches par profession. Cela ne signifie pas que ChatGPT est nécessairement suffisamment intelligent pour automatiser entièrement certaines tâches.

Bien sûr, il convient de noter qu'OpenAI a elle-même produit le travail, et en tant qu'entreprise cherchant à rentabiliser ses modèles d'IA, elle est fortement incitée à présenter ses outils comme perturbateurs dans les industries où ils vont permettre d'automatiser les tâches, ce qui profite en fin de compte aux employeurs.

D'autre part, dans une récente interview, Altman a déclaré que ChatGPT devrait être considéré comme un outil, et non comme un remplacement pour n'importe quel travail. Il a expliqué que l'humanité a prouvé cela à maintes reprises en s'adaptant constamment à différents types de technologie. « La créativité humaine est sans limites et nous trouvons de nouveaux emplois. Nous trouvons de nouvelles choses à faire », a déclaré Altman.

D'ailleurs, le rapport révèle comment les modèles GPT seront bientôt un outil couramment utilisé. Google et Microsoft ont déjà annoncé qu'ils intégreraient l'IA dans leurs produits bureautiques tels que les e-mails, les documents et dans leurs moteurs de recherche. Déjà, les startups utilisent GPT-4 et ses capacités de codage pour réduire leurs dépenses en développeurs humains.

« Notre analyse indique que les impacts des LLM comme le GPT-4 sont susceptibles d'être omniprésents », écrivent les chercheurs. « Alors que les capacités des LLM se sont constamment améliorées au fil du temps, leur effet économique croissant devrait persister et augmenter même si nous arrêtons le développement de nouvelles capacités aujourd'hui ».

Une boîte noire dans un système

La chose la plus fascinante est que GPT est maintenant vendu comme une technologie à usage général. Il est ironique pour une entreprise qui qualifie la technologie de « potentiel de chaos » de la vendre à tout le monde comme un outil. Altman a déclaré qu'ils avaient mis en place des garde-fous sur la technologie, mais il pourrait y en avoir d'autres qui pourraient ne pas faire de même. Il ajoute en outre que « la société, je pense, a très peu de temps pour comprendre comment réagir à cela, et comment réglementer et gérer cela ».

Néanmoins, OpenAI ne facilite pas non plus la tâche des autres. C'est comme créer une boîte noire dans un système. Même s'ils ont reconnu le manque de transparence dans le document GPT-4, ils renvoient la responsabilité aux décideurs politiques et aux parties prenantes. Pendant ce temps, l'entreprise continuera à s'appuyer sur la technologie qui, selon elle, peut être potentiellement dangereuse, mais la responsabilité de la contrôler ne lui incombe pas.

OpenAI pense que la phase initiale d'augmentation est toujours en cours et nous conduira éventuellement à l'automatisation. Ce que cela signifie pour les emplois, c'est qu'il pourrait y avoir une précarité initiale, mais finir par conduire à une automatisation complète.

En ce qui concerne la réparation de la technologie, Altman a déclaré dans la même interview qu'il pensait que la technologie d'OpenAI avait besoin des contributions des régulateurs et de la société pour dissuader les conséquences négatives potentielles que la technologie pourrait avoir sur l'humanité.

Source : étude

Et vous ?

« Environ 80 % de la main-d'œuvre américaine pourrait voir au moins 10 % de ses tâches professionnelles affectées par l'introduction des GPT, tandis qu'environ 19 % des travailleurs pourraient voir au moins 50 % de leurs tâches affectées ». Qu'en pensez-vous ? Projection réaliste ou utopique ? Pourquoi ?
Que pensez-vous du fait de s'appuyer sur les descriptions de tâches pour faire leur étude ?
D'ailleurs, le fait qu'OpenAI participe à cette étude ne fausse-t-il pas les résultats ?

[Bill Fassinou]

Une étude affirme que les internautes ne parviennent à détecter avec précision les textes générés par l'IA que dans 50 % des cas
et une autre estime que les outils de détection ne sont pas fiables

Une étude menée par les chercheurs de l'institut Human-Centered Artificial Intelligence de l'université de Stanford (Stanford HAI) a révélé que les gens parviennent à détecter avec précision les textes générés par l'IA seulement dans 50 à 52 % des cas. Cela correspond à peu près au hasard d'un tirage à pile ou face. Dans le même temps, une autre étude réalisée par des chercheurs de l'université du Maryland indique que les systèmes de détection existants les plus performants ne peuvent pas détecter de manière fiable les sorties des modèles d'IA de génération de texte dans des scénarios pratiques. Ils estiment que cela pourrait être dangereux pour Internet à l'avenir.

Les textes générés par l'IA font de plus en plus partie de notre vie quotidienne. L'autocomplétions dans les courriels et le contenu généré par ChatGPT se généralisent, laissant les humains vulnérables à la tromperie et à la désinformation. Même dans les contextes où l'on s'attend à converser avec un autre être humain, comme les rencontres en ligne, l'utilisation de textes générés par l'IA est en augmentation. Une enquête de McAfee indique que 31 % des adultes prévoient d'utiliser ou utilisent déjà l'IA dans leurs profils de rencontres. Certains des modèles de langage les plus en vogue sont : ChatGPT d'OpenAI, Bard de Google et LLaMA de Meta.

Alors, quels sont les implications et les risques liés à l'utilisation de textes générés par l'IA, en particulier dans les rencontres en ligne, les situations professionnelles et l'hôtellerie, domaines dans lesquels la façon dont nous nous représentons est d'une importance cruciale pour la manière dont nous sommes perçus ? « Est-ce que je veux embaucher cette personne ? Est-ce que je veux sortir avec cette personne ? Est-ce que je veux rester dans la maison de cette personne ? Ce sont des choses profondément personnelles que nous faisons assez régulièrement », explique Jeff Hancock, membre de l'institut Stanford HAI, dans le rapport d'étude.

Jeff Hancock, qui est également professeur de communication à la Stanford School of Humanities and Sciences et directeur fondateur du Stanford Social Media Lab, et ses collaborateurs ont entrepris d'explorer cet espace problématique en examinant dans quelle mesure les internautes parviennent à différencier les textes générés par l'homme de ceux générés par l'IA sur OkCupid, AirBNB et Guru.com. Lui et son équipe rapportent : « les participants à l'étude ne pouvaient faire la différence entre un texte humain et un texte généré par l'IA qu'avec une précision de 50 à 52 %, ce qui correspond à peu près au hasard d'un tirage à pile ou face ».

Expert dans le domaine de la détection de la tromperie, Hancock souhaitait utiliser ses connaissances dans ce domaine pour traiter les textes générés par l'IA. « Nous savions déjà que les gens sont généralement incapables de détecter la tromperie parce qu'ils font confiance par défaut. Pour cette étude, nous étions curieux de savoir ce qui se passe lorsque nous appliquons cette idée de détection de la tromperie à l'IA générative, pour voir s'il existe des parallèles avec d'autres documents sur la tromperie et la confiance". Dans le cadre de l'étude, l'équipe a présenté aux participants des échantillons de textes sur les trois plateformes numériques.

En outre, cinq chercheurs - Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang et Soheil Feizi - de l'université du Maryland, aux États-Unis, se sont également récemment penchés sur la détection de textes générés par les modèles d'IA. Ils ont présenté leurs conclusions dans un document intitulé "Can AI-Generated Text be Reliably Detected ?". Citant plusieurs prétendus détecteurs de texte généré par l'IA, les experts notent dans leur rapport : « nous montrons à la fois théoriquement et empiriquement que ces détecteurs de pointe ne peuvent pas détecter de manière fiable les textes générés par l'IA dans des scénarios pratiques ».

La détection des textes générés par l'IA, tout comme les énigmes CAPTCHA, semble donc vouée à l'échec puisque les modèles d'apprentissage automatique continuent de s'améliorer et deviennent capables d'imiter les productions humaines. Les experts affirment que l'utilisation non réglementée de ces modèles - qui sont désormais intégrés dans des applications largement utilisées par les grandes entreprises technologiques - pourrait avoir des conséquences indésirables, telles que des spams sophistiqués, des infox manipulatrices, des résumés inexacts de documents et du plagiat. Internet pourrait alors devenir plus toxique qu'il ne l'est déjà.

Il s'avère que le simple fait de paraphraser le texte d'une IA - ce qui peut être fait avec un programme de substitution de mots - est souvent suffisant pour échapper à la détection. La précision d'un détecteur peut ainsi passer d'un niveau de base de 97 % à un niveau compris entre 80 % et 57 %, ce qui n'est guère mieux qu'un jeu de pile ou face. Les experts affirment qu'avec un modèle d'IA suffisamment bon, même le meilleur détecteur possible ne peut être que marginalement plus performant qu'un classificateur aléatoire. Interrogé sur l'existence d'une méthode plus fiable de détection des textes générés par l'IA, ils ont répondu par la négative.

« Empiriquement, nous montrons que les attaques de paraphrase, où un paraphraseur léger est appliqué sur un modèle d'IA génératif, peuvent briser toute une série de détecteurs, y compris ceux qui utilisent les schémas de filigrane ainsi que les détecteurs basés sur les réseaux neuronaux et les classificateurs à zéro coup », ont déclaré les chercheurs de l'université du Maryland dans leur article. Ils estiment que les problèmes de détection de textes générés par l'IA sont impossibles à résoudre dans la pratique. De leur côté, Hancock et son équipe affirment que ces problèmes vont entraîner une augmentation significative des infox sur la toile à l'avenir.

« Le volume de contenu généré par l'IA pourrait dépasser le contenu généré par l'homme en quelques années, ce qui pourrait réellement perturber notre écosystème de l'information. Lorsque cela se produit, la confiance par défaut est ébranlée, ce qui peut diminuer la confiance mutuelle », expliquent-ils. Alors, comment pouvons-nous mieux faire la différence entre l'IA et le texte généré par l'homme ? « Nous devons tous participer à la recherche d'une solution », affirme Hancock. L'une des idées proposées par les chercheurs de Stanford est de donner à l'IA un accent reconnaissable, ce qui permettrait facilement de détecter ses productions.

« Lorsque vous allez en Angleterre, vous pouvez dire d'où viennent les gens, et même aux États-Unis, vous pouvez dire si une personne vient de la côte est, de Los Angeles ou du Midwest. Cela ne demande aucun effort cognitif. On le sait, c'est tout », explique l'équipe. Selon elle, l'accent pourrait même être associé à une solution plus technique, comme le filigrane d'IA. Hancock suggère également que dans les scénarios à fort enjeu où l'authentification est précieuse, les machines à divulgation automatique pourraient devenir la norme. L'universitaire ajoute qu'on a des années de retard dans l'enseignement aux jeunes des risques liés aux médias sociaux.

Sources : article des chercheurs de l'université de Stanford, rapport de l'étude des chercheurs de l'université du Maryland

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la difficulté pour détecter les textes générés par l'IA ?
Que pensez-vous des conclusions de l'étude des chercheurs de l'université du Maryland ?
Selon vous, comment peut-on détecter de manière fiable les textes générés par l'IA ?
Selon vous, l'IA générative va-t-elle créer plus de problèmes qu'elle n'en résoudra ?
Quels impacts l'IA générative pourrait-elle avoir sur Internet dans les prochaines années ?

Voir aussi

OpenAI sur l'impact économique du GPT-4: « 80% des travailleurs auront au moins 10% de leurs tâches touchées », l'entreprise affirme que ses produits vont automatiser une vaste gamme de tâches pros

Comment utilisez-vous ChatGPT, l'outil d'IA développé par OpenAI. Désormais, il est basé sur GPT-4 et disponible pour les abonnés à ChatGPT+

Le génie est sorti de la bouteille : des chercheurs de Stanford ont répliqué le chatbot d'IA ChatGPT pour moins de 600 dollars, mais l'ont rapidement mis hors ligne en raison de ses "hallucinations"

[Prox_13]

Une étude affirme que les internautes ne parviennent à détecter avec précision les textes générés par l'IA que dans 50 % des cas et une autre estime que les outils de détection ne sont pas fiables[/B]

50% de positifs ? Ça veut dire que la détection est faite au hasard, non ?

[jnspunk]

50% de positifs ? Ça veut dire que la détection est faite au hasard, non ?

Si je te montre 100 fois une image, c'est soit une pomme soit une orange et en tout il y en a 50 de chaque.
Si je te demande combien de fois tu as détecté l'orange, tu vas me dire dans 50% des cas, pourtant tu ne l'as pas dit au hasard.

[plegat]

50% de positifs ? Ça veut dire que la détection est faite au hasard, non ?

Ouaip, d'ailleurs c'est dans le texte:

[...]qu'avec une précision de 50 à 52 %, ce qui correspond à peu près au hasard d'un tirage à pile ou face[...]

Si je te montre 100 fois une image, c'est soit une pomme soit une orange et en tout il y en a 50 de chaque.
Si je te demande combien de fois tu as détecté l'orange, tu vas me dire dans 50% des cas, pourtant tu ne l'as pas dit au hasard.

Mauvais exemple... si on a 50% d'orange et qu'on détecte ces 50%, on a 100% de positif.

Prend plutôt 100 chiens, 50 mâles et 50 femelles, et demande à ton échantillon de repérer les mâles juste en regardant leur tête...

[shenron666]

Mauvais exemple... si on a 50% d'orange et qu'on détecte ces 50%, on a 100% de positif.

je ne sais pas comment tu fais pour affirmer ça, je n'ai rien compris à la question

Si je te montre 100 fois une image, c'est soit une pomme soit une orange

montrer 100 fois 1 image qui est soit une pomme soit une orange OK
mais

et en tout il y en a 50 de chaque.

50 de chaque quoi ?

[Invité]

Ouaip, d'ailleurs c'est dans le texte:




Mauvais exemple... si on a 50% d'orange et qu'on détecte ces 50%, on a 100% de positif.

Prend plutôt 100 chiens, 50 mâles et 50 femelles, et demande à ton échantillon de repérer les mâles juste en regardant leur tête...

Le genre n'existe pas ton test est discriminant envers les chiens transgenres

[Bill Fassinou]

Le PDG d'OpenAI affirme qu'il "se sent mal" après que ChatGPT a divulgué l'historique des conversations et des informations de paiement
la sécurité de chatbot suscite toujours des inquiétudes

Sam Altman, PDG d'OpenAI, s'excuse et affirme qu'il se sent mal après que ChatGPT a divulgué lundi dernier l'historique des conversations de certains utilisateurs. Altman et OpenAI ont attribué l'incident à un bogue dans une bibliothèque open source, redis-py. Dans un avis technique sur le problème, l'entreprise a annoncé qu'un correctif a été publié, mais que la barre latérale de l'historique des conversations reste inaccessible pour l'instant. Elle a ajouté que le même bogue pourrait avoir divulgué des informations relatives au paiement de 1,2 % des abonnés de ChatGPT+. Les préoccupations concernant la sécurité du chatbot d'IA s'accroissent.

OpenAI a confirmé qu'un problème de confidentialité avait brièvement entraîné la fuite de l'historique des conversations d'utilisateurs aléatoires par ChatGPT au début de la semaine dernière. Pour rappel, ChatGPT archive et affiche la liste de vos conversations passées, vous donnant ainsi un historique de toutes vos saisies de texte avec le programme. Dans la matinée du lundi 20 mars 2023, certaines personnes ont commencé à signaler que la fonction d'historique des conversations affichait des chats antérieurs inconnus semblant provenir d'autres personnes. Des dizaines de captures d'écran montrant le problème ont été publiées sur les réseaux sociaux.

ChatGPT a également connu une panne le même jour. Tout portait à croire qu'OpenAI a été contrainte de mettre hors ligne ChatGPT pour une maintenance d'urgence. Dans un premier temps, OpenAI est restée muette sur la situation, mais mercredi, Altman a finalement confirmé que l'exposition des données était réelle. Il a tweeté mercredi : « un petit pourcentage d'utilisateurs a pu voir les titres de l'historique des conversations d'autres utilisateurs. Nous nous sentons très mal à l'aise à ce sujet ». Les utilisateurs pensaient que le problème de confidentialité avait été causé par un piratage, mais le PDG d'OpenAI a affirmé dans ses tweets qu'il n'en est rien.

we had a significant issue in ChatGPT due to a bug in an open source library, for which a fix has now been released and we have just finished validating.

a small percentage of users were able to see the titles of other users’ conversation history.

we feel awful about this.

— Sam Altman (@sama) March 22, 2023

Altman et OpenAI ont imputé l'incident à un bogue logiciel dans une bibliothèque open source. Dans un article publié vendredi sur son site Web, OpenAI a affirmé que le bogue est maintenant corrigé et que le correctif a été déployé. Toutefois, il semble que l'entreprise ait perdu l'historique des conversations des utilisateurs pour le lundi 20 mars. « Le bogue est maintenant corrigé. Nous avons pu restaurer à la fois le service ChatGPT et, plus tard, la fonction de l'historique des conversations, à l'exception de quelques heures d'historique », a écrit OpenAI dans son billet de blogue. Elle a également fourni d'autres détails sur l'incident.

OpenAI affirme avoir découvert que le même bogue pourrait avoir causé la divulgation d'informations relatives au paiement de 1,2 % des abonnés de ChatGPT Plus qui étaient actifs pendant une fenêtre spécifique de neuf heures. Le rapport sur l'incident indique que dans les heures qui ont précédé la mise hors ligne de ChatGPT lundi, certains utilisateurs ont pu voir le nom et le prénom, l'adresse électronique, l'adresse de paiement, les quatre derniers chiffres (uniquement) d'un numéro de carte de crédit et la date d'expiration de la carte de crédit d'un autre utilisateur actif. Les numéros complets des cartes de crédit n'auraient à aucun moment été exposés.

« Nous pensons que le nombre d'utilisateurs dont les données ont été révélées à quelqu'un d'autre est extrêmement faible. Nous avons contacté les utilisateurs concernés pour les informer que leurs informations de paiement ont pu être exposées. Nous sommes convaincus qu'il n'y a pas de risque permanent pour les données des utilisateurs », a écrit OpenAI. En outre, le billet de blogue, le bogue a été découvert dans la bibliothèque open source du client Redis, redis-py. Selon OpenAI, dès que le bogue a été identifié, l'entreprise a contacté les responsables de Redis avec un correctif pour résoudre le problème. Voici comment fonctionne le bogue :

• OpenAI utilise Redis pour mettre en cache les informations relatives aux utilisateurs dans son serveur afin de ne pas avoir à consulter sa base de données à chaque requête ;
• OpenAI utilise Redis Cluster pour répartir cette charge sur plusieurs instances Redis ;
• OpenAI utilise la bibliothèque redis-py pour interfacer avec Redis depuis son serveur Python, qui fonctionne avec Asyncio ;
• la bibliothèque maintient un pool partagé de connexions entre le serveur et le cluster, et recycle une connexion pour l'utiliser pour une autre requête une fois qu'elle a été effectuée ;
• en utilisant Asyncio, les requêtes et les réponses avec redis-py se comportent comme deux files d'attente : l'appelant pousse une requête dans la file d'attente entrante, et sortira une réponse de la file d'attente sortante, puis renverra la connexion au pool ;
• si une requête est annulée après avoir été poussée dans la file d'attente entrante, mais avant que la réponse ne soit extraite de la file d'attente sortante, le bogue apparaît : la connexion devient alors corrompue et la prochaine réponse qui est retirée de la file d'attente pour une requête sans rapport peut recevoir des données laissées dans la connexion ;
• dans la plupart des cas, cela se traduit par une erreur de serveur irrécupérable, et l'utilisateur devra réessayer sa requête ;
• mais dans certains cas, les données corrompues correspondent au type de données que le demandeur attendait, de sorte que les données renvoyées par le cache semblent valides, même si elles appartiennent à un autre utilisateur ;
• le lundi 20 mars à 1 heure du matin, heure du Pacifique, OpenAI a introduit par inadvertance une modification sur son serveur qui a provoqué un pic d'annulations de requêtes Redis. Cela a créé une petite probabilité pour que chaque connexion renvoie des données erronées.

Selon OpenAI, ce bogue n'est apparu que dans le client Asyncio redis-py pour Redis Cluster, et a maintenant été corrigé. OpenAI a pris des mesures supplémentaires pour éviter que cela se reproduise à l'avenir, notamment en ajoutant des contrôles redondants aux appels de bibliothèque, en examinant de manière programmatique ses journaux pour s'assurer que tous les messages ne sont accessibles qu'au bon utilisateur et en améliorant la journalisation pour identifier quand cela se produit et confirmer pleinement que cela s'est arrêté. Altman a ajouté qu'OpenAI prévoit également d'effectuer un suivi technique de la violation de la vie privée.

If you use #ChatGPT be careful! There's a risk of your chats being shared to other users!
Today I was presented another user's chat history.
I couldn't see contents, but could see their recent chats' titles.#security #privacy #openAI #AI pic.twitter.com/DLX3CZntao

— Jordan L Wheeler (@JordanLWheeler) March 20, 2023

Malgré les explications fournies par OpenAI, les utilisateurs sont mécontents des fuites de conversations. Vlad Tushkanov, scientifique des données chez le fabricant de logiciels de sécurité Kaspersky, a déclaré que les utilisateurs de ChatGPT devraient bien lire et comprendre les conditions d'utilisation du service, et oublier toute illusion de confidentialité. OpenAI prévient lors de la connexion à ChatGPT que "les conversations peuvent être examinées par ses formateurs en IA". Plus précisément, toutes les conversations pourraient être lues par les travailleurs d'OpenAI. En outre, la démo Web et l'API pour les entreprises utilisent des interfaces différentes.

« Ainsi, dès le départ, les utilisateurs n'auraient dû avoir aucune attente en matière de confidentialité lorsqu'ils utilisaient la démo Web de ChatGPT. Considérez toute interaction avec un chatbot (ou tout autre service, d'ailleurs) comme une conversation avec un parfait inconnu. Vous ne savez pas où le contenu aboutira, alors évitez de révéler des informations personnelles ou sensibles sur vous-même ou sur d'autres personnes », a déclaré Tushkanov à The Register. L'incident fait suite à un faux pas public coûteux commis par Bard, le rival de ChatGPT, lorsqu'il a assuré à tort que JWST était le premier télescope à photographier une exoplanète.

Il reste à voir si OpenAI subira les mêmes répercussions sur le marché que ses concurrents. En attendant, OpenAI a annoncé jeudi le déploiement de plug-ins ChatGPT pour connecter le chatbot d'IA à des applications tierces, permettant ainsi au chatbot de faire des choses comme commander de la nourriture via Instacart au nom des utilisateurs ou réserver un vol sur Expedia. Les plug-ins permettront également au ChatGPT d'accéder à des informations en temps réel, comme les cours de la bourse et les résultats sportifs, ou à des documents d'entreprise stockés sur votre appareil - si vous les confiez au chatbot.

« Vous pouvez installer des plug-ins pour vous aider dans une grande variété de tâches. Nous sommes impatients de voir ce que les développeurs vont créer», a tweeté Altman. Cependant, il ne fait aucun doute que les pirates, notamment les chasseurs de données le sont aussi. Ces nouvelles fonctionnalités vont nécessiter l'accès aux données personnelles des utilisateurs, ce qui constitue un risque et devrait attirer de plus en plus l'attention des pirates.

Source : OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'incident qui a exposé l'historique des conversations des utilisateurs de ChatGPT ?
Quelle analyse faites-vous de la confidentialité et la sécurité qu'offre ChatGPT ?
Que pensez-vous des nouvelles fonctionnalités annoncées par OpenAI ? Est-ce une bonne idée ?
Vous sentez-vous prêt à connecter ChatGPT à vos outils professionnels ou d'infodivertissement ? Pourquoi ?

Voir aussi

Des utilisateurs de ChatGPT signalent qu'ils peuvent voir l'historique des conversations d'autres personnes dans la barre latérale, ce qui suscite des préoccupations sur la sécurité de l'outil d'IA

Une application de santé mentale critiquée pour avoir utilisé l'IA chatGPT pour prodiguer des conseils à 4000 utilisateurs, ces derniers ont donné une note élevée aux réponses de l'IA

ChatGPT : « je peux ruiner tes chances d'obtenir un emploi ou un diplôme. Veux-tu vraiment me tester ? », l'IA derrière Bing menace de publier les informations d'un étudiant pour se venger

OpenAI étend massivement les capacités de ChatGPT en lui ajoutant la prise en charge des plug-ins pour le laisser naviguer sur le Web pour la première fois

[Stéphane le calme]

Un professeur avoue être stupéfait que ChatGPT soit passé d'une note D à un A en seulement 3 mois,
à son examen portant sur l'économie

Un professeur d'économie a déclaré que les progrès réalisés par ChatGPT (il a amélioré son score de D à A lors de son test d'économie en seulement trois mois) l'ont stupéfait. Bryan Caplan, professeur d'économie à l'Université George Mason, a déclaré que la dernière version de ChatGPT pourrait désormais être responsable du premier gros pari qu'il ait jamais perdu.

ChatGPT-3.5 n'a pas compris la théorie de base

Écrivant dans un article de blog en janvier, Caplan a déclaré qu'il avait fait passer à ChatGPT l'examen de mi-parcours d'automne. Caplan a déclaré que ses questions d'examen testaient la compréhension des étudiants en économie plutôt que de leur faire régurgiter des manuels ou de compléter ce qui est essentiellement des exercices de mémoire.

C'est ici que l'ancienne version de ChatGPT a flanché. Le bot a obtenu 31 sur 100 possibles à son test, ce qui équivaut à un D et bien en dessous de sa médiane de 50%.

Caplan a déclaré que le bot n'avait pas compris les concepts de base, tels que le principe de l'avantage comparatif et absolu. Ses réponses étaient également plus politiques qu'économiques, a-t-il dit. « ChatGPT fait un excellent travail en imitant un étudiant en économie GMU très faible », a écrit Caplan dans son article de blog de janvier.

Beaucoup, peut-être la plupart, de mes amis sont abasourdis par ChatGPT. Ma boîte de réception est pleine d'e-mails de Tyler Cowen vantant ses gloires. Plus concrètement, Alex Tabarrok m'a récemment assuré que les IA existantes pouvaient déjà battre les performances de la plupart de nos étudiants en économie dans notre matière bien-aimée. Bien que j'aie été sur la route presque tout le mois dernier, j'ai juré de mettre ces affirmations à l'épreuve à mon retour.

Ma prédiction de décembre : l'IA gagnerait un C-, ce que je donne normalement aux étudiants qui répètent des slogans pertinents, mais montrent peu de compréhension réelle du matériel.

Pour lancer le bal, j'ai décidé de donner à ChatGPT mon examen semestriel 2022 en économie du travail. Bien que la notation ne soit pas en double aveugle, j'avais déjà un corrigé et une courbe.

Résultat : Si ChatGPT avait été un étudiant régulier, il aurait gagné 31/100. C'est un D. Encore pire que ce à quoi je m'attendais.

Le logiciel n'est-il pas incroyable quand même ? Juste un peu. Ce qui m'impressionne le plus à propos de ChatGPT, c'est sa polyvalence. La plupart des humains esquivent la plupart des questions. Le logiciel essaie de faire face à presque toutes les invites que vous lui donnez.

Vous pourriez objecter*: "Qui se soucie si ChatGPT obtient un D à mi-parcours*?" Je m'inquiète. Au minimum, cela montre, contrairement à Alex Tabarrok, que l'IA n'est pas encore aussi bonne en économie que la plupart de nos étudiants. Pour moi personnellement, cela renforce également ma suspicion que les passionnés d'IA choisissent la meilleure sortie d'IA. (J'ai eu la même expérience avec DALL-E: malgré le battage médiatique de Gushing, il n'a absolument pas réussi à dessiner même de simples panneaux de mon prochain roman graphique).

Si vous ne me faites pas confiance, vous pouvez objecter que je suis biaisé contre l'IA. Assez juste. Pourtant, de mon point de vue à la première personne, noter ChatGPT sur le même test que j'ai récemment donné à mes étudiants est plus fiable et informatif que tous les messages de fans que j'ai vus. ChatGPT fait un excellent travail d'imitation d'un étudiant en économie GMU très faible.

Il n'est pas le seul universitaire que ChatGPT a déçu. Alors qu'il a réussi un examen de la Wharton Business School en janvier, le professeur qui a corrigé ses réponses a déclaré qu'il a commis des « erreurs surprenantes » sur des calculs simples.

Puis vient GPT-4

Caplan aime parier. Il a déjà placé 23 paris publics et les a tous remportés. Ils sont généralement pour des sommes modestes d'environ 100 $, et souvent sur des sujets techniques comme les taux de chômage prévus et les lectures d'inflation. Il a également remporté de justesse un pari de 2008 selon lequel aucun État membre ne quitterait l'Union européenne avant 2020 (le Royaume-Uni est parti en janvier de la même année).

Les réponses de ChatGPT l'ont tellement déçu que Caplan a parié qu'un modèle d'IA n'obtiendrait pas un A à six de ses sept examens avant 2029.

Mais lorsque ChatGPT-4 a fait ses débuts, ses progrès ont stupéfié Caplan. Il a obtenu 73% sur le même test de mi-session, équivalent à un A et parmi les meilleurs scores de sa classe.

ChatGPT a obtenu de mauvais résultats lors de mon examen semestriel d'automne 2022 en économie du travail. Un D, pour être précis. La performance était si médiocre par rapport au battage médiatique que j'ai publiquement parié à Matthew Barnett qu'aucune IA ne serait en mesure d'obtenir des A à 5 de mes examens sur 6 d'ici janvier 2029. Trois mois se sont écoulés depuis lors. GPT-4 a été publié. Collin Gray, un lecteur de Bet on It, m'a proposé d'utiliser GPT-4 pour refaire le même test.

À ma grande surprise et sans grande consternation, GPT-4 a obtenu un A. Il a obtenu 73/100, ce qui aurait été le quatrième score le plus élevé au test. L'explication la plus naturelle à mon avis était que mon article de blog a été intégré aux nouvelles données d'entraînement, mais plusieurs amis bien informés m'assurent qu'il n'y a pas de nouvelles données d'entraînement.

Je n'aurais pas été surpris par un C cette année, un B dans trois ans et un mix 50/50 A/B d'ici 2029. Déjà un A ? Les taux de base m'ont clairement fait défaut. Je ne concède pas le pari, car je pense toujours qu'il y a 10 à 15% de chances que je gagne par chance. (Et dans tous les cas, une forte inflation continue d'éroder la valeur réelle du remboursement).

Mais ne vous y trompez pas, ce logiciel est vraiment l'exception qui confirme la règle. (Cela augmente également fortement mes chances que la prochaine version de DALL-E puisse illustrer mon troisième roman graphique, ce qui serait une grande bénédiction).

La mise à niveau payante de ChatGPT visait à résoudre certains des premiers problèmes de la version bêta, GPT-3.5. Cela impliquait prétendument de rendre ChatGPT 40% plus susceptible de renvoyer des réponses précises, ainsi que de le rendre capable de gérer des instructions plus nuancées.

Pour Caplan, les améliorations étaient évidentes. Le bot a donné des réponses claires à ses questions, comprenant les principes avec lesquels il se débattait auparavant. Il a également obtenu des notes parfaites en expliquant et en évaluant les concepts défendus par des économistes comme Paul Krugman.

« La seule chose que je peux dire, c'est que ça semble beaucoup mieux », a déclaré Caplan.

Caplan pensait que les données de formation de ChatGPT auraient pu reprendre son précédent article de blog où il expliquait ses réponses, mais ses collègues lui ont dit que c'était hautement improbable. Il a ajouté qu'il avait déjà nourri le bot avec de nouveaux tests qu'il n'avait jamais vus auparavant, où il avait fait encore mieux que sa note précédente de 73 %. « J'étais très suffisant dans mon jugement, et je ne le suis plus », a déclaré Caplan.

Caplan est plus confiant qu'il gagnera son prochain pari lié à l'IA. Il a parié avec Eliezer Yudkowsky, un doomer de l'IA qui s'est battu avec Sam Altman, le créateur de ChatGPT, que l'IA mènera à la fin du monde avant le 1^er janvier 2030. « Je vais probablement perdre ce pari sur l'IA, mais je suis tout à fait d'accord pour faire un tas d'autres paris sur l'IA sur la fin du monde parce que je pense que ces gens sont fous », a-t-il déclaré.

Difficile à tester

Les robots IA ont causé des maux de tête aux examinateurs. Les professeurs ont déclaré que le plagiat peut être difficile à prouver avec le matériel de ChatGPT, car il n'y a aucune preuve matérielle d'actes répréhensibles.

Caplan a déclaré qu'il envisageait de supprimer les devoirs notés à la suite de la montée en puissance de ChatGPT. Il espère que son habitude de changer régulièrement de questions suffira à empêcher les étudiants d'apprendre et de régurgiter les réponses de ChatGPT dans le cadre des examens.

Source : Billets de Caplan (1, 2)

Et vous ?

Quelle lecture faites-vous de cette situation ? Est-ce pertinent de refaire le même test selon vous ? Pourquoi ?
Qu'est-ce qui pourrait expliquer la différence dans la note obtenue par ChatGPT sur le même exercice ?
Trouvez-vous des différences notables entre ChatGPT-4 et son prédécesseur ?

[archqt]

Il n'y a qu'une seule solution, devoir sur table individuel ou un oral individuel. A la maison chatGPT ou travail de groupe et cela triche de tous les côtés

[Ryu2000]

Il n'y a qu'une seule solution, devoir sur table individuel ou un oral individuel.

Ok, mais du coup il n'y aurait plus de devoir à la maison.
J'ai fais des études d'informatique et il y avait plein de projets à réaliser, si les profs se disent "ça ne sert à rien, ils vont tous tricher ces p'tits cons !" alors les élèves manqueront de pratique.

Et le travail d'équipe c'est important également, puisque dans le monde de l'entreprise il faudra travailler à plusieurs.

[electroremy]

Il n'y a qu'une seule solution, devoir sur table individuel ou un oral individuel. A la maison chatGPT ou travail de groupe et cela triche de tous les côtés

Ce n'est pas nouveau

<MODE VIEUX CON>
De mon temps, les devoirs à la maison, ça a toujours été inégalitaire :
- les parents diplômés (ou pas) pouvaient aider (ou pas)
- on pouvait avoir une encyclopédie à la maison (ou pas)
- on pouvait avoir un grand frère ou soeur (ou pas) intelligent (ou pas) qui aide (ou pas)
- un(e) amoureux(se) dévoué(e) en mode "esclave" qui fait tes devoirs (ou pas)
</MODE VIEUX CON>

J'ai coché toutes les cases "ou pas" du coup j'ai du tout faire moi-même ce qui m'a permis d'être débrouillard et une fois au collège et au lycée bon élève

Aujourd'hui tout le monde a accès à Internet.
ChatGPT permet aux moches / pas populaires / sans famille de tricher aussi - on va dire que c'est plus juste mais dans le mauvais sens, l'égalité par le nivellement par le bas

Les vedettes du collège et du lycée qui étaient gâtés et qui frimaient pas mal, bah... ils ne friment plus aujourd'hui

Quoique certains si quand même, car il y a des métiers (que je ne citerais pas) ou c'est la tactch' qui compte

[HaryRoseAndMac]

Ce n'est pas nouveau

<MODE VIEUX CON>
De mon temps, les devoirs à la maison, ça a toujours été inégalitaire :
- les parents diplômés (ou pas) pouvaient aider (ou pas)
- on pouvait avoir une encyclopédie à la maison (ou pas)
- on pouvait avoir un grand frère ou soeur (ou pas) intelligent (ou pas) qui aide (ou pas)
- un(e) amoureux(se) dévoué(e) en mode "esclave" qui fait tes devoirs (ou pas)
</MODE VIEUX CON>

J'ai coché toutes les cases "ou pas" du coup j'ai du tout faire moi-même ce qui m'a permis d'être débrouillard et une fois au collège et au lycée bon élève

Aujourd'hui tout le monde a accès à Internet.
ChatGPT permet aux moches / pas populaires / sans famille de tricher aussi - on va dire que c'est plus juste mais dans le mauvais sens, l'égalité par le nivellement par le bas

Les vedettes du collège et du lycée qui étaient gâtés et qui frimaient pas mal, bah... ils ne friment plus aujourd'hui

Quoique certains si quand même, car il y a des métiers (que je ne citerais pas) ou c'est la tactch' qui compte

Et du temps de Vercingétorix c'était comment ?