Discussion :

[Serge Rochain]

@petit tours et autres compères
Tout cela ne présente aucun interet. prétendre référer à l'intelligence en tirant au hasard des suites de mots orientées par une statistique indiquant leur frequence d'apparition avant ou après tel autre mot n'a rien à voir avec l'intelligence. J'avais d'ailleurs déjà réaliser dans les années 60 un truc basé sur un tel principe mais évidemment beaucoup plus rustique avec une tabulatrice électromécanique Bull aussi intelligente que la chaine+plateau+pignons de roue arriere de mon vélo. La vraie supposée intelligence se trouvaient dans un jeu de cartes perforées contenant des mots qui étaient codées comme étant suceptibles de suivre certains autres mots ou pas. Je battais les cartes comme on le fait avant une partie de bellote, puis je les passais dans le lecteur de carte de la "tabu" équipée du tableau de connexion adhoc qui autorisait l'impression du mot porté sur la carte si elle suivait une autre carte qui s'était imprimée car elle avait le bon code de succession à cette dernière. Ca donnait quelquefois des résultats louffoques et d'autre fois quelque chose qui semblait être une phrase à peu près "intelligente". Et surtout ça épatait les collègues un peu naïfs qui y voyaient vraiment une intelligence de la tabulatrice électromécanique ! Mais la bonne société se faisait bien bluffé deux siècles auparavent par le canard de Vaucanson ou le joueur d'échec de la machine de "je ne sais plus qui" qui battait de bon joueurs humain, alors ?
Moi, au moins j'expliquais à qui en était interessé, le "secret" de cette "intelligence".

[Jipété]

... le joueur d'échec de la machine de "je ne sais plus qui" ...

[Serge Rochain]

Je savais bien que quelqu'un irai rechercher l'info sur le pseudo inventeur du joueur d'échec de Kempelen

[Leruas]

Oui vivement que GPT contrôle les missiles nucléaires

[Gluups]

Oui vivement que GPT contrôle les missiles nucléaires

Ah, un fou de plus ...

[Serge Rochain]

Mon cher Monsieur Vergne je ne vois dans ces différentes propositions aucune définition de l'intelligence. Dans les trois propositions il ne s'agit que des effets produits par l'intelligence et non une explication de ce qu'elle est elle-même.
La définition de ce qu'est un alternateur électrique n'est pas que "ça fait du courant électrique".
Bien cordialement
Serge Rochain

[Bruno]

Les grands modèles de langage sont en état d'ébriété, selon Mattsi Jansky, développeur de logiciels, il présente l'envers du decor des LLM,
dans un billet de blog

Mattsi Jansky, professionnel en informatique, examine les préoccupations liées à l'abus du terme "IA" dans le contexte des grands modèles de langage (LLM) comme ChatGPT. Il met en avant les complications issues de la publicité exagérée et des investissements massifs dans ces modèles. En se référant à l'époque d'Alan Turing, Jansky souligne que malgré les progrès de l'IA, les LLM ne sont pas de véritables intelligences artificielles, mais plutôt des algorithmes d'apprentissage automatique qui génèrent du texte humain sans avoir de capacité de raisonnement autonome.

Il explore les limites intrinsèques des LLM, mettant en évidence les défis liés à la correction des erreurs de comportement. Il émet également des avertissements concernant les implications d'une utilisation massive de ces modèles, soulignant l'émergence de résultats inattendus et critiquant les investissements souvent disproportionnés dans des entreprises prétendant exploiter l'IA.

« La plupart des organisations que j'ai vues investir dans des fantasmes de LLM ont une chose en commun : leur produit présente des tonnes de problèmes auxquels il serait préférable de consacrer son temps », déclareMattsi Jansky. Lorsque Turing a publié Computing Machinery and Intelligence, il a décrit une « machine à penser » capable de raisonner comme les humains. Il a longuement argumenté sur le fait qu'il était possible de créer des machines pensantes : Rien de ce qui est connu en physique, en informatique, en mathématiques ou dans tout autre domaine ne permet d'écarter cette possibilité. Il a répété tous les arguments connus contre les machines à penser, en les déconstruisant et en les défaisant tous. Lors de la conférence de Dartmouth en 1956, l'idée d'une machine pensante est devenue l'intelligence artificielle. C'est là que nous, les humains, avons pris nos premières mesures sérieuses et organisées pour en créer une.

Depuis lors, le domaine de l'IA a généré un nombre considérable de découvertes remarquables : Recherche, représentation des connaissances, inférence dans la logique du premier ordre, raisonnement probabiliste, systèmes experts, planification dynamique et robotique, systèmes multi-agents, apprentissage automatique, reconnaissance vocale, traitement du langage naturel, traduction automatique, reconnaissance d'images, etc. Mattsi Jansky classe ces technologies en trois grandes catégories : le connexionnisme, le symbolisme et l'actionnisme.

Un grand modèle de langage est un type de programme d'intelligence artificielle (IA ) capable de reconnaître et de générer du texte, entre autres tâches. Les LLM sont formés sur d'énormes ensembles de données, d'où leur nom de « grands modèles ». Les LLM s'appuient sur l'apprentissage automatique: plus précisément, sur un type de réseau neuronal appelé modèle de transformateur.

En termes plus simples, un LLM est un programme informatique qui a reçu suffisamment d'exemples pour être capable de reconnaître et d'interpréter le langage humain ou d'autres types de données complexes. De nombreux LLM sont formés à partir de données recueillies sur l'internet - des milliers ou des millions de gigaoctets de texte. Mais la qualité des échantillons a une incidence sur la capacité des LLM à apprendre le langage naturel, de sorte que les programmeurs d'un LLM peuvent utiliser un ensemble de données mieux calibré.

Les LLM utilisent un type d'apprentissage automatique appelé apprentissage profond afin de comprendre comment les caractères, les mots et les phrases fonctionnent ensemble. L'apprentissage profond implique l'analyse probabiliste de données non structurées, ce qui permet au modèle d'apprentissage profond de reconnaître les distinctions entre les éléments de contenu sans intervention humaine.

Les LLM sont ensuite formés par tuning : ils sont ajustés avec précision ou avec des invites à la tâche particulière que le programmeur veut leur confier, comme l'interprétation de questions et la génération de réponses, ou la traduction d'un texte d'une langue à une autre.

Dans le débat public, cette nuance est éclipsée par les LLM, la seule réalisation du domaine de l'IA dont tout le monde parle ces derniers temps. Un LLM est un algorithme d'apprentissage automatique capable de générer un texte ressemblant à s'y méprendre à un texte humain. Il est entraîné sur d'énormes quantités de texte en utilisant des quantités stupéfiantes de puissance de traitement, afin de créer un modèle probabiliste qui peut prédire en grande partie ce qu'une personne humaine réelle pourrait dire en réponse à une entrée donnée. Pour ce faire, des réseaux neuronaux sont créés, mais ne vous y trompez pas : ces réseaux neuronaux n'ont rien à voir avec les cerveaux des mammifères. Ils ne sont pas destinés à reproduire la façon dont les humains pensent, mais plutôt à prédire ce qu'un humain pourrait dire en réponse à une information donnée.

Les réseaux neuronaux sont impliqués dans le mécanisme, mais pas dans la simulation d'une pensée humaine. Les statistiques et la théorie des probabilités sont les principaux moyens par lesquels tout cela fonctionne. En d'autres termes, le modèle devine la combinaison de lettres que quelqu'un d'autre pourrait écrire en réponse à votre demande.

Beren Millidge, responsable de la recherche IA chez Conjecture, présent le terme de "confabulation" comme étant plus adapté que "hallucination" pour décrire le comportement des grands modèles de langage lorsqu'ils génèrent des informations fausses mais plausibles. Il compare la confabulation des LLM à celle des humains souffrant de lésions cérébrales, lesquels inventent des histoires en réponse à des questions qu'ils ne peuvent pas traiter, soulignant que les LLM agissent comme des humains amnésiques et sans cohérence centrale. Les LLM sont des algorithmes d'apprentissage profond qui effectuent diverses tâches de traitement du langage naturel (NLP) en utilisant des modèles de transformation et des ensembles de données massifs.

Millidge explique que les LLM, également appelés réseaux neuronaux, fonctionnent avec des couches de nœuds similaires aux neurones humains. Ces modèles sont pré-entraînés et affinés pour résoudre des problèmes de classification de texte, de réponse à des questions, de résumé de documents, et plus encore. Il souligne que les LLM ont de nombreux paramètres, constituant leur banque de connaissances. Millidge préconise l'utilisation du terme "confabulation" pour décrire le phénomène où les LLM inventent des informations plausibles en réponse à des requêtes, similaire au comportement des humains atteints de troubles de la mémoire ou de cerveau divisé.

Le responsable de la recherche IA chez Conjecture souligne l'intérêt et la provocation du point de vue de Millidge, qui pose la question de la terminologie appropriée pour décrire le comportement des LLM lorsqu'ils produisent des informations fausses mais plausibles. Bien que l'auteur propose le terme de "confabulation" emprunté à la psychologie, il reconnaît les limites et nuances de cette comparaison. Il souligne que, contrairement à la confabulation humaine liée à des troubles cognitifs, la confabulation des LLM est plutôt une limitation technique ou algorithmique sans impact sur leur état interne ou leur bien-être émotionnel.

Dans les discussions sur la philosophie et la définition de l'IA, le diagramme suivant est fréquemment utilisé. Il exprime les quatre principales façons dont les gens définissent l'IA. L'IA doit-elle penser comme nous ? Ou doit-elle produire des réponses logiquement correctes ? Doit-elle être autonome ? La façon dont elle pense a-t-elle une quelconque valeur tant qu'elle agit comme un être humain ? Le fait d'être semblable à un être humain a-t-il une valeur tant qu'il produit des actions valables ?

Les LLM se situent dans la partie inférieure gauche de ce diagramme. Ils agissent humainement, mais ne sont pas censés agir rationnellement, ni penser comme des humains. On pourrait penser qu'ils font bien plus que cela. Dans ce cas, certains des modèles d'apprentissage automatique les plus puissants jamais créés ont été chargés de "produire quelque chose qui ressemble à un être humain et qui est intelligent" et ils y parviennent incroyablement bien. Mais soyons clairs : ils ne sont pas intelligents. Ils sont incapables de raisonner. Encore une fois, on pourrait vous pardonner d'être surpris par cela, étant donné la façon dont les médias ont traité les LLM comme le début de la révolte des robots.

L'engouement pour les LLM et ses conséquences problématiques

Les grands modèles de langage (LLM) ont la capacité impressionnante de donner l'illusion d'intelligence, malgré leur absence réelle de compréhension. Cette caractéristique, combinée à l'effervescence actuelle de l'industrie technologique, crée une conjonction propice à des développements problématiques. L'émergence rapide de start-ups surévaluées, promettant des fonctionnalités alléchantes que les LLM ne peuvent finalement pas fournir, a déclenché un véritable chaos. Des exemples abondent, tels que le déploiement par DPD d'un chatbot LLM qui a insulté les utilisateurs, les licenciements inutiles de journalistes technologiques misant à tort sur les capacités de ChatGPT, ou encore l'intégration de ces modèles dans des pipelines de CI pour des conseils humoristiques et futiles.

La démesure autour des LLM s'étend également aux investissements, avec une augmentation significative des financements pour les start-ups spécialisées dans l'IA, parfois valorisées à des niveaux extravagants malgré l'absence de revenus concrets. Ces entreprises, prétendant souvent être pionnières dans l'application de l'IA à divers domaines, exploitent le battage médiatique entourant cette technologie. Même des entreprises comme Apply Pro prétendent utiliser l'IA pour l'acquisition de talents, bien que des investigations révèlent que cette prétendue utilisation d'IA ne soit apparue qu'après l'engouement pour les LLM.

L'engouement pour l'IA a également atteint des proportions absurdes, avec des entreprises utilisant le terme à la mode pour attirer des capitaux sans réellement intégrer de nouvelles techniques d'IA. Certains prétendent même que des boîtes noires magiques sont derrière leurs produits, alors qu'il s'agit simplement de travailleurs sous-payés. Cet emballement médiatique autour de l'IA, dépourvu de substance, révèle une nouvelle façon de commercialiser d'anciennes pratiques d'exploitation sous le déguisement de l'innovation technologique.

L'influence de l'engouement pour l'IA n'épargne pas les gouvernements, comme le démontre l'utilisation par le gouvernement britannique de LLM dans diverses applications, malgré les préjugés bien documentés de ces modèles envers les minorités. Même des géants tels que Microsoft déclarent que l'année 2024 sera "l'année de l'IA", intégrant massivement les LLM dans leurs applications, allant même jusqu'à ajouter un "bouton AI" à leurs nouveaux claviers. Tout cela soulève des questions cruciales sur l'utilisation responsable et éthique de l'IA dans divers secteurs.

Sam Altman, le PDG d'OpenAI, initiateur de l'engouement pour les LLM, a exprimé l'idée que nous pourrions voir émerger une intelligence artificielle générale au cours de la prochaine décennie. Si cette affirmation vise à susciter l'enthousiasme, je trouve cette hypothèse extrêmement improbable. « Je lui accorde à peu près autant de crédit que l'on aurait dû accorder à la déclaration de Marvin Minsky en 1970, prévoyant une machine dotée de l'intelligence générale d'un être humain moyen dans les trois à huit ans, ou à l'affirmation d'Herbert Simon en 1965 selon laquelle les machines accompliraient n'importe quel travail humain d'ici vingt ans. Même des figures éminentes comme Minsky, pionnier de l'IA, ont par le passé émis des prévisions non réalisées », Mattsi Jansky.

L'absence de concrétisation de ces attentes a créé un climat de méfiance dans le domaine de l'IA, marqué par une réputation d'hyperbole et de promesses non tenues. En 1973, le Parlement britannique a fortement critiqué l'état de la recherche en IA, soulignant que les découvertes jusqu'alors n'avaient pas eu l'impact majeur promis. Ce scepticisme a contribué à l'hiver de l'IA dans les années 1970, entraînant un déclin du financement et de l'intérêt.

Un informaticien américain a subi un revers dans sa tentative d'obtenir l'enregistrement de brevets pour des innovations générées par son système d'intelligence artificielle. Cette affaire, d'une portée significative au Royaume-Uni, soulève la question cruciale de la possibilité pour une intelligence artificielle de détenir des droits de brevet.

Cependant, la situation actuelle diffère, car l'IA n'est plus seulement un domaine académique de niche, mais représente une part significative des investissements dans l'industrie technologique. Alors que d'autres secteurs subissent des licenciements records et des coupes dans les investissements, les start-ups spécialisées dans l'IA continuent de croître. Néanmoins, cette expansion pourrait être éphémère, car les investisseurs pourraient réaliser que les LLM ne sont pas aussi performants qu'annoncé.

Le billet de blog de Mattsi Jansky, ingénieur en informatique, offre une perspective critique sur l'utilisation excessive du terme "IA" dans le contexte des grands modèles de langage (LLM), notamment exemplifié par ChatGPT. Jansky exprime des préoccupations quant aux conséquences de la publicité exagérée et des investissements massifs dans ces modèles. Remontant à l'ère d'Alan Turing, l'auteur souligne que bien que l'IA ait connu des progrès, les LLM ne représentent pas de véritables intelligences artificielles, mais plutôt des algorithmes d'apprentissage automatique générant du texte humain sans une capacité de raisonnement autonome.

Mattsi Jansky se réfère au travail pionnier d'Alan Turing, notamment son ouvrage « Computing Machinery and Intelligence », dans lequel Turing envisageait la création d'une "machine à penser" capable de raisonner comme les humains. L'Ingénieur logiciel expose le contexte de la conférence de Dartmouth en 1956, considérée comme le point de départ de l'intelligence artificielle, soulignant les premières démarches sérieuses et organisées des humains pour créer une machine pensante.

Sources : Mattsi Jansky's blog post

Et vous ?

Quel est votre avis sur le sujet ?

Est-ce que l'évaluation de Mattsi Jansky sur les grands modèles linguistiques est pertinente ?

Êtes-vous d'accord avec l'énoncé de Mattsi Jansky selon lequel la plupart des organisations que j'ai vues investir dans des fantasmes de LLM ont une chose en commun : leur produit présente des tonnes de problèmes auxquels il serait préférable de consacrer son temps ?

Voir aussi :

L'IA ne peut pas être l'inventeur d'un brevet, déclare la Cour suprême du Royaume-Uni, selon la loi britannique sur les brevets, "l'inventeur doit être une personne physique"

Microsoft présente le grand modèle de langage multimodal Kosmos-1, les chercheurs montrent que le passage des LLM aux MLLM offre de nouvelles capacités

L'IA ne peut pas être l'inventeur d'un brevet, déclare la Cour suprême du Royaume-Uni, selon la loi britannique sur les brevets, "l'inventeur doit être une personne physique"

[Gluups]

Un informaticien américain a subi un revers dans sa tentative d'obtenir l'enregistrement de brevets pour des innovations générées par son système d'intelligence artificielle. Cette affaire, d'une portée significative au Royaume-Uni, soulève la question cruciale de la possibilité pour une intelligence artificielle de détenir des droits de brevet.

Bien fait !
"L'intelligence, c'est la paresse utile", remarquait-on dans les années 80.
Mais là, reprendre le truc brut de décoffrage sans le réécrire lui-même, ben ... voilà ce que ça lui a apporté.

Il a des tuyaux ronds et il délivre des trucs carrés ?
Il y a longtemps on disait "trop gros, passera pas ..."

Mais là, ce n'est pas nécessairement une question de grosseur.

Encore que ... Si on considère qu'il aurait dû la "jouer fine", peut-être que si après tout.

[Mathis Lucas]

Les pirates peuvent lire les conversations privées avec les assistants d'IA même lorsqu'elles sont chiffrées
une attaque déduit les réponses avec une précision parfaite des mots dans 29 % des cas

Des chercheurs ont mis au point une attaque par canal auxiliaire qui permet de déchiffrer les réponses des assistants d'IA avec une grande précision. Tous les chatbots d'IA populaires seraient vulnérables à cet exploit, à l'exception de Google Gemini. Le rapport indique qu'un adversaire passif au milieu, c'est-à-dire un attaquant qui peut surveiller les paquets de données passant entre un assistant d'IA et l'utilisateur, peut déduire le sujet spécifique de 55 % de toutes les réponses capturées. L'attaque peut déduire des réponses avec une précision parfaite des mots dans 29 % des cas. Une autre étude met en lumière des failles de sécurité critiques dans les plug-ins ChatGPT.

Les chabots peuvent divulguer vos secrets aux pirates malgré le chiffrement

Les chatbots d'IA sont devenus très populaires auprès du grand public depuis le lancement canon de ChatGPT. Les gens les interrogent sur des sujets sensibles comme les maladies, la grossesse, l'interruption ou la prévention de la grossesse, les consultent lorsqu'ils envisagent de divorcer, cherchent des informations sur la toxicomanie ou demandent des modifications dans des courriels contenant des secrets commerciaux exclusifs. Les fournisseurs de ces services d'IA sont parfaitement conscients du caractère hautement sensible de ces conversations et prennent des mesures actives, notamment sous la forme d'un chiffrement.

Cette mesure vise essentiellement à empêcher les espions potentiels de lire les interactions d'autres personnes. Toutefois, le chiffrement est loin d'être efficace. Des recherches menées par des chercheurs de l'équipe "Offensive AI Research Lab" de l'université Ben-Gurion en Israël concluent que les pirates peuvent lire les conversations privées avec les assistants d'IA même lorsqu'elles sont chiffrées. Les chercheurs ont mis au point une attaque qui permet de déchiffrer les réponses des assistants d'IA avec une précision surprenante. Selon le rapport, l'exploit affecte tous les principaux chatbots, à l'exception de Google Gemini.

La technique exploite un canal auxiliaire présent dans tous les chatbots affectés. Elle affine ensuite les résultats relativement bruts à l'aide de grands modèles de langage spécialement formés pour cette tâche. Le résultat paraît surprenant à bien des égards : un adversaire passif au milieu, c'est-à-dire un adversaire qui peut surveiller les paquets de données passant entre un assistant d'IA et l'utilisateur, peut déduire le sujet spécifique de 55 % de toutes les réponses capturées, généralement avec une grande précision dans les mots. Cette attaque peut déduire des réponses avec une précision parfaite des mots dans 29 % des cas.

Yisroel Mirsky, directeur de la division Offensive AI Research Lab, a déclaré : « actuellement, n'importe qui peut lire les conversations privées envoyées par ChatGPT et d'autres services. Il peut s'agir d'acteurs malveillants présents sur le même réseau Wi-Fi ou LAN qu'un client (par exemple, dans le même café), ou même d'un acteur malveillant sur Internet, c'est-à-dire toute personne capable d'observer le trafic. L'attaque est passive et peut se produire à l'insu d'OpenAI ou de ses clients ». Selon Mirsky, la manière dont OpenAI chiffre le trafic de ChatGPT est défectueuse et n'empêche donc pas ce type d'attaques d'écoute.

Mirsky explique : « OpenAI chiffre son trafic pour empêcher ce type d'attaques d'écoute, mais nos recherches montrent que la façon dont OpenAI utilise le chiffrement est défectueuse, et que le contenu des messages est donc exposé ». Mirsky faisait référence à OpenAI, mais à l'exception de Google Gemini, tous les autres principaux chatbots sont également vulnérables.

Comment les chercheurs ont mis au point leur attaque par canal auxiliaire

Une attaque par canal auxiliaire est un moyen d'obtenir des informations secrètes d'un système par le biais de sources indirectes ou involontaires, comme des manifestations physiques ou des caractéristiques comportementales, comme l'énergie consommée, le temps nécessaire ou le son, la lumière ou le rayonnement électromagnétique produit au cours d'une opération donnée. En surveillant attentivement ces sources, les attaquants peuvent rassembler assez d'informations pour récupérer les frappes ou les clés de chiffrement des processeurs, les cookies du navigateur du trafic HTTPS ou les secrets des cartes à puce.

Le canal auxiliaire dans l'attaque de l'équipe réside dans les jetons que les chabots utilisent lorsqu'ils répondent à une requête de l'utilisateur. Les jetons s'apparentent à des mots qui sont codés de manière à pouvoir être compris par les modèles. Selon les chercheurs, pour améliorer l'expérience de l'utilisateur, la plupart des assistants d'IA envoient les jetons à la volée, dès qu'ils sont générés, de sorte que les utilisateurs finaux reçoivent les réponses en continu, mot par mot, au fur et à mesure qu'elles sont générées, plutôt qu'en une seule fois, beaucoup plus tard, une fois que l'assistant d'IA a généré la réponse complète.

Cependant, bien que la livraison des jetons soit chiffrée, la transmission en temps réel, jeton par jeton, expose un canal auxiliaire jusqu'alors inconnu, que les chercheurs appellent "la séquence de longueur de jeton". Dans un premier temps, l'attaque analyse la taille de chaque jeton, qui est la même sous forme chiffrée et en clair. La longueur du jeton correspond presque directement à la longueur de la chaîne de caractères qu'il représente. Par la suite, l'attaque analyse la séquence de chaque longueur de jeton pour obtenir toutes les phrases ou expressions potentielles que les mots, dans cet ordre, pourraient composer.

Avec des millions de possibilités pour une seule phrase et des ordres de grandeur plus importants pour un paragraphe entier, le résultat de ce canal auxiliaire est au mieux brut. Pour affiner ce résultat, Mirsky et ses coéquipiers (Roy Weiss, Daniel Ayzenshtyen et Guy Amit) ont mis au point ce qu'ils appellent une attaque par inférence de jetons. Elle consiste à faire passer les données brutes renvoyées par le canal auxiliaire par deux modèles d'IA soigneusement entraînés. Mirsky note : « c'est comme essayer de résoudre une énigme dans la Roue de la Fortune, mais dans le cas actuel, il ne s'agit pas d'une simple phrase ».

« Il s'agit d'un paragraphe entier de phrases et aucun des caractères n'a été révélé. Toutefois, les modèles d'IA sont très doués pour étudier les schémas à long terme et peuvent résoudre ces énigmes avec une précision remarquable si l'on dispose d'un nombre suffisant d'exemples tirés d'autres jeux », explique Mirsky. Étant donné que les chatbots dialoguent avec un style distinct et répètent certaines phrases, il est possible d'identifier des schémas dans la séquence de jetons et de déchiffrer ainsi l'ensemble du texte en fonction du contexte. Selon l'équipe de recherche, cela s'apparente à une attaque par texte connu.

L'équipe a découvert qu'il était possible d'apprendre aux modèles à effectuer cette attaque en les entraînant à traduire des séquences de jetons en texte à l'aide d'exemples de chats disponibles sur Internet. Étant donné que la première phrase de la réponse d'une IA a tendance à être plus stylistique et prévisible que les suivantes, les chercheurs ont affiné leurs résultats en utilisant un LLM spécialisé dans la déduction de la première phrase d'une réponse et un autre optimisé pour déduire les phrases intérieures en fonction du contexte des phrases précédentes.

Gemini de Google échappe à l'attaque par canal auxiliaire des chercheurs

À l'exception de Google Gemini, tous les grands modèles de langage basés sur le chat largement disponible transmettent les jetons immédiatement après les avoir générés, en grande partie parce que les modèles sont lents et que les fournisseurs ne veulent pas que les utilisateurs attendent que l'ensemble du message ait été généré avant d'envoyer du texte. Cette conception en temps réel joue un rôle clé dans la création du canal auxiliaire. Étant donné qu'un jeton est envoyé individuellement - un à la fois - les adversaires dotés d'une capacité AitM passive peuvent mesurer leur longueur, quel que soit le chiffrement.

Par exemple, lorsque l'assistant d'IA envoie le texte "Vous devriez consulter un médecin" sous forme de jetons individuels, il transmet un paquet distinct pour chacun de ces mots. La taille de la charge utile de chacun de ces paquets sera de 3, 6, 3, 1, 6 (plus quelques frais généraux statiques qui peuvent être filtrés). Même si un attaquant n'a aucune idée des caractères contenus dans le message, il connaît la longueur de chaque mot et l'ordre de ces mots dans une phrase. Cet exemple est une simplification, car, dans le domaine des grands modèles de langage, les jetons ne sont pas toujours des mots à proprement parler.

En revanche, lorsqu'un chabot envoie tous les jetons ensemble, l'attaquant ne voit qu'un seul paquet dont la taille de la charge utile est de 19. Dans ce cas, il ne sait pas si le paquet comprend un seul mot de 19 caractères ou plusieurs mots de 19 lettres au total. Selon les chercheurs, ce même principe explique pourquoi l'attaque n'est pas en mesure de lire les messages-guides que les utilisateurs envoient aux chatbots. Les jetons contenus dans les messages-guides ne sont pas envoyés au coup par coup ; les messages-guides sont envoyés par lots importants chaque fois que l'utilisateur appuie sur la touche "Entrée".

Le tableau ci-dessus, appelé tableau 1 dans le rapport de l'étude, décompose les chatbots de différents fournisseurs d'IA pour montrer lesquels étaient, ou restent, vulnérables à l'attaque. Dans le rapport de l'étude, le groupe de recherche explique :

Dans un contexte de communication en temps réel, les services d'IA transmettent le prochain jeton ri immédiatement après qu'il a été généré. Nos observations de plusieurs services d'assistants d'IA (référencés dans le tableau 1) indiquent que le jeton ri est envoyé soit en tant que message individuel, soit en tant que partie d'un message cumulatif (par exemple, [r1,r2,...,ri]). Dans les deux cas, la longueur de la charge utile du paquet est directement liée au nombre de caractères contenus dans ri.

Dans le cas des messages cumulatifs, la longueur de chaque jeton peut être déduite en calculant la différence de longueur de la charge utile entre les paquets successifs. Par conséquent, pour chaque message de réponse, il est possible de discerner la longueur de chaque jeton, même lorsque le trafic est chiffré. La séquence de longueur des jetons d'une réponse est notée T = [t1,t2,...,tn], où ti représente la longueur du jeton ri. La relation entre le jeton ri et sa longueur ti peut être exprimée par ti = |ri|, la valeur absolue du nombre de caractères dans ri.

Cette séquence de longueur de jeton L peut être exploitée pour déduire les jetons originaux, ce qui permet de violer la confidentialité de la conversation en révélant chaque réponse de l'IA. Ces réponses peuvent également être utilisées pour déduire les invites elles-mêmes, soit indirectement grâce au contexte, soit directement dans les cas où l'IA répète la question avant de poursuivre.

« Nous avons constaté que cette attaque est extrêmement efficace pour déchiffrer les réponses aux questions courantes que les gens posent à leurs assistants (par exemple, histoire, conseils), mais qu'elle a du mal à déchiffrer un contenu arbitraire (par exemple, résoudre un puzzle) », note Mirsky. Les chercheurs ont fait deux propositions pour atténuer l'efficacité de leur attaque. La première consiste à suivre l'exemple de Google et à cesser d'envoyer les jetons un par un.

L'autre consiste à appliquer le "padding", une technique qui consiste à ajouter des espaces aléatoires aux paquets afin qu'ils aient tous une longueur fixe égale au plus grand paquet possible. Ces deux approches risquent de nuire à l'expérience utilisateur du chatbot. L'envoi de jetons par lots importants peut entraîner des retards et rendre le flux de données saccadé. L'ajout de paquets augmente le volume de trafic envoyé dans chaque réponse.

Les plug-ins de ChatGPT comportent plusieurs failles de sécurité critiques

Parmi tous les chatbots vulnérables à l'attaque, ceux d'OpenAI et de Cloudflare ont mis en œuvre des mesures d'atténuation au cours des dernières 48 heures. Microsoft a publié une déclaration faisant état de l'exigence de l'AitM (Adversary in the Middle). Il a ajouté : « il est peu probable que des détails spécifiques tels que les noms soient prédits. Nous nous engageons à protéger nos clients contre ces attaques potentielles et nous allons y remédier par une mise à jour ». L'on ignore si des acteurs de la menace ont pu détecter et exploiter cette vulnérabilité critique affectant les principaux chabots, à l'exception de Gemini.

Par ailleurs, une étude de Salt Labs sur les menaces a mis au jour des failles de sécurité critiques dans les plug-ins ChatGPT, mettant en évidence un nouveau risque pour les entreprises. Ces failles de sécurité introduisent un nouveau vecteur d'attaque et pourraient permettre à des acteurs malveillants de prendre le contrôle du compte d'une organisation sur des sites Web tiers, ou d'accéder à des informations personnelles identifiables (PII) et à d'autres types de données sensibles stockées dans des applications tierces. L'équipe de Salt Labs a découvert trois types différents de vulnérabilités dans les plug-ins ChatGPT.

La première exploite le processus d'approbation du code de ChatGPT pour permettre aux attaquants d'installer un plug-in malveillant donnant accès au compte de l'utilisateur. La seconde se trouve dans PluginLab, un framework que les développeurs et les entreprises utilisent pour développer des plug-ins pour ChatGPT. Les chercheurs ont découvert que PluginLab n'authentifiait pas correctement les comptes d'utilisateurs, ce qui permettrait à un attaquant potentiel d'insérer un autre identifiant d'utilisateur et d'obtenir un code représentant la victime, ce qui pourrait conduire à la prise de contrôle du compte sur le plug-in.

La troisième vulnérabilité, découverte dans plusieurs plug-ins, est la manipulation de la redirection OAuth (Open Authorization). Plusieurs plug-ins ne valident pas les URL, ce qui signifie qu'un attaquant peut insérer une URL malveillante et voler les informations d'identification de l'utilisateur. Après avoir découvert les vulnérabilités, les chercheurs de Salt Labs ont suivi des pratiques de divulgation coordonnées avec OpenAI et les fournisseurs tiers. Tous les problèmes ont été rapidement résolus et rien n'indique que ces failles aient été exploitées dans la nature.

« Les outils d'IA générative tels que ChatGPT ont rapidement capté l'attention de millions de personnes à travers le monde, car ils ont le potentiel d'améliorer considérablement l'efficacité des opérations commerciales et de la vie quotidienne. Alors que de plus en plus d'organisations tirent parti de ce type de technologie, les attaquants réorientent eux aussi leurs efforts, trouvant des moyens d'exploiter ces outils et d'accéder par la suite à des données sensibles », déclare Yaniv Balmas, vice-président de la recherche chez Salt Security.

« Nos récentes découvertes de vulnérabilités dans ChatGPT illustrent l'importance de protéger les plug-ins de ce type de technologie pour s'assurer que les attaquants ne puissent pas accéder aux actifs critiques de l'entreprise et exécuter des prises de contrôle de comptes ».

Sources : Offensive AI Research Lab (PDF), Salt Labs, Cloudflare,

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'attaque par canal auxiliaire affectant les principaux chatbots d'IA ?
L'approche de Google avec Gemini suggère-t-elle que l'entreprise a anticipé cette forme d'attaque ?
Que pensez-vous des failles de sécurité critiques introduites par les plug-ins de ChatGPT pour les utilisateurs ?

Voir aussi

ChatGPT : une faille de sécurité expose 24 adresses e-mail malgré les dispositions prises par OpenAI, tandis que des experts alertent sur le risque de création de « jardins clos d'IA »

Des chercheurs découvrent un moyen simple de faire en sorte qu'une IA ignore ses garde-fous et diffuse des contenus interdits, l'exploit affecte aussi bien ChatGPT que ses rivaux Bard et Claude

Gemini : Google sauvegarde par défaut vos conversations avec son chatbot IA séparément pendant des années, e qui soulève des questions de sécurité

[cap_gregg]

Jusqu'ici le développement informatique était réalisé par des humains. Mais aujourd'hui une mutation s'opère : on sent que l'IA va changer la donne.

Or cette mutation s'est déjà produite dans d'autres domaines, donc il est intéressant de regarder ces exemples pour anticiper l'avenir de l'informatique. L'exemple le plus proche est certainement le domaine de l'Usinage. Autrefois il comportait deux métiers principaux : les Ingénieurs qui dessinaient des plans d'objets, et les Programmeurs de machine-outil qui transformaient ces plans en programmes destinés aux machines produisant les objets réels.

Observons bien la mutation : aujourd'hui les plans (informatisés) sont directement interprétés par les machines grâce à des IA. Cela veut dire que, dans l'Usinage, non seulement il n'y a plus de Programmeurs, mais il n'y a même plus de programmes. Donc on peut déjà prédire qu'à terme en informatique des IA 'exécuteront' directement les spécifications (la logique), elle les interprèteront.

Or il y a une énorme différence entre 'interpréter directement des spécifications' et 'produire automatiquement du code'. Par exemple un code est prévu pour fonctionner avec des types de données physiques bien précis, alors qu'une IA sait interpréter une logique en s'adaptant à l'environnement, quel que soit le type de données. On peut donc prédire aussi que la logique va progressivement être séparée, et même isolée du physique. C'est très difficile à concevoir car nous sortons de 70 ans de domination absolue du monde physique. Aujourd'hui encore la logique doit être intégralement retranscrite (embarquée) dans le code, donc au final le physique est responsable à la fois du physique et de la logique. Demain avec l'isolation logique/physique, ce sera la logique qui pilotera directement, ce qui semble a priori beaucoup plus 'cohérent', et l'IA exécutera en tenant compte des contraintes physiques.

Si on creuse cette hypothèse d'isolation logique/physique, on peut imaginer que de nouveaux outils permettront de formaliser la logique et de la stocker logiquement (*), que les traitements seront rapprochés des données (en pure logique un traitement est finalement un fournisseur de données), que des systèmes logiques seront chargés d'interpréter les traitements et d'en distribuer l'exécution sur plusieurs machines, ... On voit donc que cette hypothèse est très riche, quelle est prometteuse de maîtrise fonctionnelle, architecturale et organisationnelle.

Donc oui, l'IA va provoquer des changements en informatique, mais par l'interprétation des logiques et non par la génération de code.
Et oui les conséquences seront énormes. Ce sera même carrément un changement de paradigme.


(*) Le stockage logique de la logique permet Assistance fonctionnelle/cohérence, Cartographie, Redécoupages, Navigation dans histo des versions, Analyse d'impact, Simulation, Documentation automatisée, Optimisation automatique ...

[Gluups]

Il n'est pas exclu que cette histoire génère un retour à l'emploi. Il suffirait que l'Intelligence Artificielle évolue comme le domaine des traductions, comme illustré par la documentation Microsoft.

Cela conduirait les utilisateurs à préférer revenir au boulier et au papier-crayon.

Donc effectivement, plus de programmeurs.

[petitours]

L'exemple de la doc Microsoft est très bon, excellente en C# avant l'arrivée de la mouture actuelle ni faite ni à faire.

On parle des difficultés, de ce que change l'IA et j'en passe mais jamais n'est abordé la question qui devrait pourtant être à la base de tout : Why ?

[Gluups]

L'exemple de la doc Microsoft est très bon, excellente en C# avant l'arrivée de la mouture actuelle ni faite ni à faire.

Ce qui me reste particulièrement en travers est le snobisme d'utiliser quelque chose "à la Windows place". Alors que vraisemblablement c'est l'affaire d'une heure de boulot, mais si on le faisait on mépriserait moins l'utilisateur, ce dont Microsoft ne veut à aucun prix.

Quand on a réussi à tout afficher en police de taille 8 pendant plus de dix ans avec des utilisateurs de plus de 65 ans, on ne va pas condescendre à afficher les mots dans le bon ordre. Ce serait la honte suprême. Surtout si jamais les phrases se mettaient à avoir un sens.

On parle des difficultés, de ce que change l'IA et j'en passe mais jamais n'est abordé la question qui devrait pourtant être à la base de tout : Why ?

Question centrale, probablement.

Note que jamais personne n'aborde la question de pourquoi il a fallu piller l'Afrique, pour obliger les Africains à venir faire des embouteillages chez nous.

Parce que là on s'en douterait, ce sont les mêmes qui mégotent sur le prix des matières premières, qui mégotent sur les salaires, et qui en même temps veulent réduire le nombre de salariés.

Mais après tout, si "notre" président a pu se prévaloir d'avoir réformé les retraites en s'arqueboutant pour ne pas le faire, pourquoi se gêner ...

(J'espère que ça ne s'est pas vu que j'ai géré les citations avec les pieds ?)

[Axel Mattauch]

L'exemple de la doc Microsoft est très bon, excellente en C# avant l'arrivée de la mouture actuelle ni faite ni à faire.

On parle des difficultés, de ce que change l'IA et j'en passe mais jamais n'est abordé la question qui devrait pourtant être à la base de tout : Why ?

La réponse est bien dans le billet de Bruno du 24 février, lequel rapporte les propos de Mattsi Jansky

Les grands modèles de langage (LLM) ont la capacité impressionnante de donner l'illusion d'intelligence, malgré leur absence réelle de compréhension.

Pourquoi dépenser la moindre somme pour documenter un produit, s'il suffit d'en donner un succédané, qui donne l'impression qu'une documentation existe.
MS n'est pas le seul, mas il est emblématique.

PS: Une seconde raison est que pour pouvoir documenter un produit, encore faut-il que ce produit existât. Or de nombreux "produits" sont en perpétuelle mutation, un nouveau bogue remplaçant un ancien bogue auquel on s'était habitué.

[Stéphane le calme]

L'essor de l'IA pousse les guerres de talents de la Silicon Valley à de nouveaux extrêmes,
les entreprises technologiques proposent des packages de rémunération d’un million de dollars par an et recrutent des équipes entières

Les entreprises technologiques proposent des packages de rémunération d’un million de dollars par an, des calendriers d’acquisition accélérée d’actions et des offres pour débaucher des équipes d’ingénieurs entières afin d’attirer des experts en IA générative, telle que celle qui alimente ChatGPT. Elles rivalisent entre elles et avec les startups qui aspirent à apporter la prochaine grande innovation pour détrôner les grandes enseignes du numérique. Cette pénurie de talents en IA se produit alors que des licenciements continuent dans d’autres domaines technologiques et que les entreprises réallouent leurs ressources pour investir davantage dans le coût énorme du développement de la technologie IA.

Le boom de l'intelligence artificielle pousse les guerres de talents de la Silicon Valley à de nouveaux extrêmes.

Les entreprises technologiques proposent des rémunérations annuelles de plusieurs millions de dollars, des programmes d'acquisition d'actions accélérés et des offres de débauchage d'équipes entières d'ingénieurs pour attirer des personnes possédant une expertise et une expérience dans le type d'IA générative qui alimente ChatGPT et d'autres bots. Ces entreprises sont en concurrence les unes avec les autres et avec des startups qui aspirent à devenir la prochaine grande entreprise qui détrônera les géants.

Les offres sont exceptionnelles, même si l'on se réfère aux normes relativement somptueuses du secteur en matière de salaires et d'avantages. La pénurie actuelle de talents dans le domaine de l'IA est également remarquable pour une autre raison : elle survient alors que les licenciements se poursuivent dans d'autres secteurs de la technologie et que les entreprises réaffectent leurs ressources pour investir davantage dans la couverture des coûts énormes liés au développement de la technologie de l'IA.

« Il y a un changement séculaire dans les talents que nous recherchons », déclare Naveen Rao, responsable de l'IA générative chez Databricks. « Nous avons une surabondance de personnes d'un côté et une pénurie de l'autre ».

Les commerciaux spécialisés dans l'IA sont également très demandés et difficiles à trouver

Databricks, une startup spécialisée dans le stockage et la gestion de données, n'a pas de mal à trouver des ingénieurs logiciels. Mais lorsqu'il s'agit de candidats qui ont formé de grands modèles de langage, ou LLM, à partir de zéro ou qui peuvent aider à résoudre des problèmes délicats dans le domaine de l'IA, tels que les hallucinations, Rao affirme qu'il n'y a peut-être que quelques centaines de personnes qualifiées sur le marché.

Certains de ces candidats de premier plan, difficiles à trouver, peuvent facilement obtenir une rémunération totale d'un million de dollars par an ou plus.

Les commerciaux spécialisés dans l'IA sont également très demandés et difficiles à trouver. Vendre au début d'une transition technologique, lorsque les choses évoluent rapidement, exige un ensemble de compétences et de connaissances différentes. Les candidats possédant ces compétences gagnent environ le double de ce que gagnerait un vendeur de logiciels d'entreprise. Mais ce n'est pas la norme pour la plupart des personnes travaillant dans le domaine de l'IA, explique Rao.

Des salaires qui s'envolent

Pour les postes de direction dans l'IA et l'apprentissage automatique, les augmentations du salaire de base varient de 5 % à 11 % entre avril 2022 et avril 2023, selon une enquête de WTW menée auprès de plus de 1 500 employeurs. Les augmentations du salaire de base des rôles non managériaux allaient de 13 % à 19 % au cours de la même période.

Zuhayeer Musa, cofondateur de Levels.fyi, indique que le salaire médian de six candidats ayant consulté la plateforme de services de carrière au sujet d'offres d'emploi d'OpenAI s'élevait à 925 000 dollars, bonus et actions compris. La rémunération médiane de 344 ingénieurs en apprentissage machine et en IA chez Meta qui ont révélé leur salaire à Levels.fyi était de près de 400 000 dollars par an, bonus et actions compris, a-t-il ajouté.

Scott Chetham, PDG de Faro Health, qui utilise l'IA pour aider les entreprises pharmaceutiques à concevoir des essais de médicaments plus efficaces, a pour objectif de maintenir les salaires dans les 25 % supérieurs de ce que les entreprises du secteur paient. Jusqu'en 2023, cela a été difficile à réaliser en raison de valeurs aberrantes extrêmement élevées, mais il voit maintenant des signes de ralentissement cette année. « Il est encore tôt, mais la situation n'est pas aussi grave qu'elle l'était », a déclaré Chetham.

L'entreprise de Chetham a récemment courtisé une candidate de l'une des plus grandes sociétés de conseil et lui a fait une offre. L'entreprise a riposté en doublant le salaire de l'employée. La candidate lui a dit qu'elle était contrariée que son entreprise n'ait proposé de doubler son salaire que lorsqu'elle s'est vue proposer un poste concurrent, car elle aurait pu la payer davantage depuis le début.

Pour conserver ses propres talents, Chetham a multiplié les incitations sous forme d'actions pour ses meilleurs employés. Leur première série d'actions de l'entreprise est acquise sur quatre ans, mais au bout de deux ans, ils reçoivent une nouvelle série d'actions qui sont acquises au bout de cinq ans.

« Nous devons sans cesse renouveler les actions pour que les gens restent motivés », explique-t-il.

L’entreprenariat, la voie royale ?

Alors que la rémunération de base est généralement moins élevée dans les startups que dans les grandes entreprises technologiques, certains employés à l'instinct entrepreneurial parient sur le fait qu'ils peuvent se démarquer davantage en se mettant à leur compte. Arthur Mensch, un ancien employé de Google, a quitté l'entreprise pour lancer la startup Mistral AI qui, à moins d'un an d'existence, est déjà évaluée à un peu plus de 2 milliards de dollars.

Un chercheur en IA de Google affirme avoir été approché régulièrement par des recruteurs au cours des cinq dernières années, mais qu'il y a eu une augmentation notable récemment.

Le chercheur explique qu'il n'a pas été tenté par les opportunités offertes par les start-ups, car peu d'entre elles disposent des fonds nécessaires pour former les LLM, les algorithmes d'apprentissage automatique formés sur des montagnes de texte qui alimentent les programmes d'IA. Google dispose des ressources dont il a besoin et, en plus, il tient à ce que son travail soit intéressant et à ce qu'il fasse progresser l'IA pour de bon, explique le chercheur. Et contrairement à beaucoup de ses collègues, il a récemment reçu un supplément d'équité en guise de prime.

Justin Kinsey, président de SBT Industries, une société de recrutement spécialisée dans les semi-conducteurs, explique que les candidats peuvent être séduits par divers facteurs, de la rémunération à la promesse d'autonomie sur leur travail, en passant par le fait d'adhérer à la mission d'une startup.

Il raconte qu'il a récemment recruté un directeur de l'ingénierie pour une startup de matériel d'IA auprès de Microsoft. Le candidat a renoncé à plus d'un million de dollars de primes et d'actions Microsoft, et a accepté une réduction de 100 000 dollars de son salaire de base pour rejoindre la startup, a expliqué Kinsey, parce que le candidat avait une énorme confiance dans le PDG. D'ici cinq à sept ans, la recrue prévoit d'obtenir 40 millions de dollars rien qu'avec les actions, précise Kinsey.

Des équipes déjà formées pour être opérationnelles immédiatement

Pour un autre candidat, ce qui a scellé l'accord, c'est la promesse verbale qu'il pourrait lancer une ligne de produits entièrement nouvelle une fois qu'il aurait fabriqué la première puce de l'entreprise.

La course à la construction de puces - le matériel nécessaire à l'apprentissage de grands modèles de langage - est si intense que, l'année dernière, quatre clients ont demandé à Kinsey de débaucher des équipes entières d'ingénieurs de la concurrence afin de réduire le temps nécessaire à une nouvelle équipe pour bien collaborer. « On nous a demandé d'aider à débaucher une équipe », explique-t-il. « Ils pouvaient rejoindre l'entreprise et se mettre directement au travail, cela éliminait une courbe d'apprentissage abrupte ».

Les travailleurs de la technologie qui n'ont pas d'expérience en matière d'IA cherchent à l'ajouter à leur CV. Lorsque la Wharton School de l'université de Pennsylvanie a récemment organisé à San Francisco un programme de formation des cadres de quatre jours intitulé Generative AI and Business Transformation (IA générative et transformation de l'entreprise) pour 12 000 dollars, les 50 places disponibles se sont rapidement envolées, explique Caroline Pennartz, porte-parole de la Wharton School.

Alexis Roucourt, qui a travaillé chez Meta et qui est actuellement consultant, explique que nombre de ses amis travaillant dans le secteur de la technologie remarquent le nombre croissant d'emplois nécessitant des connaissances en matière d'IA. Cela a suscité des inquiétudes et une course pour se mettre à niveau. Plusieurs travailleurs qu'il connaît se perfectionnent pour rester au fait des tendances en matière d'IA et étoffer leur curriculum vitae.

Sources : Levels.fyi, Databricks, Faro Health

Et vous ?

Pensez-vous que les entreprises devraient investir davantage dans la formation des talents en IA plutôt que de simplement débaucher des experts ?
Quelles compétences spécifiques pensez-vous que les ingénieurs en IA devraient posséder pour réussir dans ce domaine ?
Comment les startups peuvent-elles rivaliser avec les géants technologiques pour attirer les meilleurs talents en IA ?
Croyez-vous que les packages de rémunération d’un million de dollars par an sont justifiés pour les experts en IA ? Pourquoi ou pourquoi pas ?
Quels sont les avantages et les inconvénients de la concentration des talents en IA dans la Silicon Valley ?

[Mathis Lucas]

OpenAI permet aux utilisateurs d'accéder à la version gratuite de ChatGPT sans avoir à créer un compte, mais il y a un hic :
l'expérience est limitée à GPT-3.5 et introduit de nouvelles restrictions

OpenAI vient d'annoncer que les internautes peuvent à présent utiliser ChatGPT sans avoir à créer un compte. Auparavant, l'accès au chatbot d'IA nécessitait la création d'un compte. Ce changement étend l'accessibilité de ChatGPT, mais constitue également une réponse d'OpenAI à ses rivaux dont certains n'exigent pas la création d'un compte pour utiliser leurs chatbots. L'expérience est toutefois limitée à GPT-3.5 et OpenAI a introduit d'autres restrictions afin d'éviter les cas d'utilisation inappropriée : l'expérience sans compte ne permet pas de sauvegarder l'historique de conversation, de partager des conversations, etc. La collecte de données d'OpenAI fait l'objet de critiques.

OpenAI explique : « il est essentiel pour notre mission de rendre des outils tels que ChatGPT largement disponibles afin que les gens puissent profiter des avantages de l'IA. Pour tous ceux qui sont curieux de découvrir le potentiel de l'IA, mais qui ne veulent pas passer par les étapes de création d'un compte, commencez à utiliser ChatGPT dès aujourd'hui ». Selon les analystes, cette mesure facilite l'accès à ChatGPT et présente des avantages potentiels en matière de protection de la vie privée, mais elle pourrait également compliquer les efforts déployés par le laboratoire d'IA pour lutter contre les abus de ses systèmes.

L'ouverture de ChatGPT à tout le monde pourrait constituer une rampe d'accès sans friction pour les personnes qui l'utiliseraient comme substitut à Google Search ou permettre potentiellement à OpenAI de de gagner de nouveaux clients en offrant un moyen facile d'utiliser rapidement ChatGPT, puis en proposant une vente incitative pour les versions payantes du service. Ce changement permet aux utilisateurs d'interagir avec ChatGPT à leur guise, mais ils ne bénéficient pas des mêmes fonctionnalités que les utilisateurs disposant d'un compte. OpenAI a limité l'expérience sans compte en raison d'un certain nombre de risques.

We’re rolling out the ability to start using ChatGPT instantly, without needing to sign-up, so it's even easier to experience the potential of AI. https://t.co/juhjKfQaoD pic.twitter.com/TIVoX8KFDB

— OpenAI (@OpenAI) April 1, 2024

La version gratuite et l'utilisation sans compte sont basées sur le grand modèle de langage (LLM) GPT-3.5. Le modèle GPT-3.5 est largement connu pour fournir des informations moins précises que le modèle GPT-4 Turbo. Les utilisateurs devront dépenser de l'argent et créer un compte auprès d'OpenAI pour utiliser la version basée sur GPT-4 Turbo. Les utilisateurs devront également créer un compte afin de sauvegarder et de consulter leur historique de conversations, de partager des conversations et d'utiliser des fonctionnalités supplémentaires telles que les conversations vocales ou encore les instructions personnalisées.

Étant donné que les enfants pourront également utiliser ChatGPT sans compte, bien que cela soit contraire aux conditions d'utilisation du service, OpenAI indique également qu'il a introduit des "protections de contenu" supplémentaires, telles que le blocage d'un plus grand nombre de messages-guides et de "générations dans un plus grand nombre de catégories". Un porte-parole de l'entreprise a également ajouté :

L'expérience sans compte bénéficiera des mesures de sécurité déjà intégrées au modèle, telles que le refus de générer des contenus nuisibles. En plus de ces mesures d'atténuation existantes, nous mettons également en œuvre des mesures de protection supplémentaires spécialement conçues pour traiter d'autres formes de contenu qui pourraient être inappropriées pour une expérience sans compte.

Nous avons étudié les possibilités d'utilisation inappropriée d'un service sans compte, en nous fondant sur notre compréhension des capacités de GPT-3.5 et sur les évaluations des risques que nous avons réalisées.

L'approche totalement ouverte pourrait présenter quelques autres inconvénients. Sur X, le chercheur en IA Simon Willison a évoqué le risque d'abus automatisés pour contourner le paiement des services d'OpenAI : « je me demande comment fonctionne leur prévention contre scraping. J'imagine que la tentation sera grande pour les gens d'abuser de cette API gratuite 3.5 ». Cependant, comme l'indique la déclaration du porte-parole d'OpenAI, les équipes internes de l'entreprise auraient soigneusement réfléchi à la manière de détecter et d'empêcher les abus de l'utilisation sans compte. Cette réponse manque toutefois de détails.

Donc, nous n'avons aucune idée de ce que sont exactement ces politiques plus restrictives. Il ne fait aucun doute que nous le découvrirons bientôt, alors qu'une avalanche d'internautes vont se hâter pour tester cette nouvelle offre. « Nous reconnaissons qu'une itération supplémentaire peut être nécessaire et nous accueillons favorablement les commentaires », a ajouté le porte-parole d'OpenAI. Par ailleurs, l'inférence des grands modèles de langage reste extrêmement coûteuse et même le modèle GPT-3.5, raffiné et à faible élévation, nécessite de l'énergie et de l'espace sur les serveurs. Les gens vont l'exploiter à fond.

Pour cette menace, OpenAI dispose également d'une réponse peu claire : « les équipes chargées de la détection, de la prévention et de la réponse aux abus ont été impliquées tout au long de la conception et de la mise en œuvre de cette expérience et continueront de contribuer à sa conception à l'avenir ». Remarquez l'absence de toute information concrète. Comme n'importe qui d'autre, ils ont probablement aussi peu d'idée de ce que les gens vont faire subir au modèle. Ils devront être réactifs plutôt que proactifs. On ne sait pas encore quelles zones ou quels groupes auront accès en premier à l'expérience sans compte.

Mais cela commence cette semaine et s'étendra progressivement à toutes les régions du monde. Enfin, l'utilisation de ChatGPT permet à OpenAI de recueillir des données qui l'aideront à former de futurs modèles, bien que les utilisateurs gratuits et les membres de l'abonnement ChatGPT Plus puissent refuser que les données qu'ils saisissent dans ChatGPT soient utilisées pour la formation à l'IA. (OpenAI affirme qu'il n'utilise jamais les données des membres de ChatGPT Team et Enterprise.) Mais les utilisateurs de ChatGPT Plus s'offusquent contre cette collecte de données et appellent l'entreprise à y mettre un terme.

L'un des critiques de cette approche affirme : « en tant qu'abonné payant de longue date de ChatGPT (et de leur API), je suis extrêmement frustré par le fait que l'option "Historique des chats et formation" regroupe toujours ces deux concepts sans rapport. Pour que mes données ne soient pas utilisées, je dois paralyser le produit (celui pour lequel je paie) pour moi-même. C'est très bien qu'ils rendent le produit disponible à plus de personnes sans compte, mais j'aimerais vraiment qu'ils suppriment ce schéma sombre pour ceux d'entre nous qui les paient ». OpenAI n'a pas répondu à cette préoccupation des utilisateurs.

Microsoft Copilot, qui est basé sur des modèles OpenAI, propose également une expérience sans friction et sans connexion, mais il permet l'accès à un modèle basé sur GPT-4. Google Gemini exige actuellement une connexion et Anthropic envoie un code de connexion par courriel.

Source : OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la possibilité d'utiliser désormais ChatGPT sans avoir à créer un compte ?
Que pensez-vous des restrictions introduites par OpenAI dans le cadre de l'expérience sans compte ?
Quels impacts ce changement pourrait-il avoir sur le chatbot d'IA et son propriétaire ?
Selon vous, cette approche comporte-t-elle des inconvénients ? Si oui, lesquels ?

Voir aussi

ChatGPT for Teams : OpenAI lance un nouveau plan d'abonnement destiné aux petites et moyennes équipes qui fournit « un espace de travail collaboratif sécurisé pour tirer le meilleur parti de ChatGPT

ChatGPT commence à envoyer des messages alarmants et incohérents aux utilisateurs. « ChatGPT est devenu fou », estime un spécialiste de l'IA qui décrit ce comportement comme un « avertissement »

L'utilisation de ChatGPT ruine la mémoire et les performances scolaires, et rend les étudiants moins intelligents, selon une étude réalisée par des chercheurs

[Stéphane le calme]

L’IA : un allié ou un rival pour les travailleurs ? Jon Stewart accuse les PDG de l'industrie de faire de « fausses promesses »,
notant qu'ils minimisent la possibilité que l'IA remplace les travailleurs tout en licenciant massivement

Jon Stewart, animateur du Daily Show, a abordé un sujet épineux qui préoccupe de nombreuses personnes : l’avenir avec l’intelligence artificielle. « Nous avons déjà connu des avancées technologiques qui promettaient une vie utopique sans corvées », a expliqué Stewart. « Mais la réalité est qu’elles viennent pour [prendre] nos emplois. Alors je veux votre assurance que l’IA ne retire pas l’humain de la boucle ».

L'humoriste et légende de la télévision de fin de soirée Jon Stewart en a assez de voir les dirigeants de l'industrie de l'IA faire des déclarations fracassantes sur la façon dont la technologie résoudra tous les problèmes, du changement climatique aux maladies génétiques, tout en célébrant la disparition du marché de l'emploi pour les humains.

Dans un épisode du "Daily Show" diffusé lundi, Stewart a pris à partie les PDG de l'industrie de l'IA, les accusant de faire de « fausses promesses » au sujet de l'IA en brossant le tableau d'une « vie utopique sans corvée ».

« Mais la réalité, c'est qu'ils viennent pour [prendre] nos emplois », a-t-il déclaré. « Je veux donc avoir l'assurance que l'IA n'élimine pas l'humain de la boucle ».

Ses commentaires donnent à réfléchir sur une situation de plus en plus désastreuse. Alors que les leaders de l'IA, notamment Sam Altman, PDG d'OpenAI, et Satya Nadella, PDG de Microsoft, ont à maintes reprises minimisé la possibilité que l'IA remplace massivement les travailleurs humains, nous avons déjà vu émerger une tendance inquiétante, avec des entreprises qui choisissent d'investir des milliards dans la technologie, tout en procédant à des licenciements massifs.

« C'est une question de productivité »

Dans son monologue, Stewart s'est penché sur les raisons possibles de cette tendance. « C'est une question de productivité », a déclaré Stewart avec dérision. « Et c'est une bonne chose pour nous tous, n'est-ce pas ? Bien qu'ils laissent échapper la vérité de temps en temps », a-t-il ajouté, en faisant référence à Nadella qui a admis qu'il y aurait un « déplacement de la main-d'œuvre sur le marché ».

« L'IA peut donc guérir les maladies et résoudre le problème du changement climatique », a déclaré Stewart. « Mais ce n'est pas exactement ce à quoi les entreprises vont l'utiliser, n'est-ce pas ? »

Stewart a cité l'exemple de Dukaan, une entreprise qui a utilisé l'IA pour licencier 90 % de ses employés. Comme l'a dit le PDG de l'entreprise, Suumit Shah, sur Fox News : « C'est brutal, si vous pensez comme un humain ». Et Stewart de déclarer :« "L'IA : c'est brutal, si vous pensez comme un humain" - ce n'est pas le slogan publicitaire le plus accrocheur que j'aie jamais entendu ».

« C'est comme la productivité sans l'impôt d'un plus grand nombre de personnes », déclare Brian Chesky, PDG d'Airbnb, dans une vidéo. « L'impôt sur les personnes : anciennement appelé employés », a déclaré Stewart.

« Alors que nous attendons que cette chose guérisse les maladies et résolve le problème du changement climatique, elle nous remplace sur le marché du travail - pas dans le futur, mais maintenant ».

Un accrochage avec Apple

Jon Stewart a diffusé ses critiques sur l'intelligence artificielle dans l'édition de lundi (1^er avril) du Daily Show, affirmant qu'Apple refusait qu'il le fasse sur son ancienne émission Apple TV+.

Stewart a lancé The Problem With Jon Stewart sur Apple TV+ en 2021, après avoir passé 16 ans à l'émission The Daily Show. Cependant, la série a été supprimée après deux saisons à la suite d'informations selon lesquelles l'animateur s'était heurté à Apple au sujet de la couverture par l'émission d'histoires liées à la Chine et à l'IA.

Stewart est revenu au Daily Show cette année, succédant à Trevor Noah. Lundi dernier, il a invité la présidente de la Federal Trade Commission, Lina Khan assurant au passage qu'Apple lui a demandé de ne pas parler avec elle l'émission The Problem With Jon Stewart.

« Je voulais vous faire participer à un podcast et Apple nous a demandé de ne pas le faire », a déclaré Stewart. Ils nous ont littéralement dit : « S'il vous plaît, ne lui parlez pas ».

Khan est une éminente critique des grandes entreprises technologiques et fait campagne depuis des années contre les monopoles d'entreprises telles qu'Amazon, Apple et Meta.

La confiance du public en l'IA et son impact sur les emplois

Même si le monologue de Stewart se caractérise par une rhétorique enjolivée et pince-sans-rire, l'humoriste met en lumière un problème très réel dont les analystes nous avertissent depuis de nombreuses années.

Par exemple, il y a deux semaines, un nouveau rapport de l'Institute for Public Policy Research a révélé que jusqu'à 8 millions d'emplois au Royaume-Uni pourraient être supprimés en raison de l'adoption de l'IA dans ce qu'ils ont appelé une « apocalypse de l'emploi ».

Les effets globaux de l'IA générative dépendront de la conception, de l'adoption et des choix politiques. « L'augmentation » signifie que la technologie est utilisée pour accroître la productivité des travailleurs afin de produire plus ou mieux, tandis que le « déplacement » signifie qu'elle est utilisée pour licencier des travailleurs avec moins d'effet d'entraînement sur la production. Nous présentons trois scénarios pour illustrer ce point. Dans notre scénario « d'augmentation totale », nous montrons qu'il peut n'y avoir aucun déplacement d'emplois. Si l'IA générative était largement intégrée dans l'économie, nous estimons qu'elle pourrait donner un coup de pouce économique de 13 % du PIB. À l'autre extrême, dans notre scénario de « déplacement total », 8 millions d'emplois pourraient être perdus sans que le PIB ne progresse. Entre ces deux scénarios se situe notre scénario central, dans lequel 4,4 millions d'emplois disparaissent, mais avec des gains économiques significatifs d'environ 6,4 % du PIB. Cela montre qu'il n'y a pas de voie prédéterminée pour la mise en œuvre de l'IA.

Une enquête menée en janvier auprès de PDG lors du Forum économique mondial de Davos, en Suisse, a également révélé que 25 % des PDG envisageaient de réduire les effectifs d'au moins 5 % « en raison de l'IA générative ». Entre-temps, la confiance du public dans l'IA s'érode rapidement: un récent sondage réalisé auprès de 32 000 personnes interrogées dans le monde entier a montré que 53 % d'entre elles seulement faisaient confiance à cette technologie.

Pour Stewart, l'IA est un « appât et un échange », les entreprises s'emparant du contenu créé par les humains pour le synthétiser et le régurgiter par le biais de modèles d'IA générative - tout cela au nom du profit.

« Qu'il s'agisse de la mondialisation, de l'industrialisation ou maintenant de l'intelligence artificielle », a déclaré Stewart, « le mode de vie auquel vous êtes habitué n'a rien à envier à la promesse de profits accrus et de nouveaux marchés ».

« Mais au moins ces autres perturbations se sont déroulées sur un siècle ou des décennies », a-t-il ajouté. « L'IA sera prête à prendre le relais d'ici jeudi ».

« Et une fois que ce sera le cas, qu'est-ce qu'il nous restera à faire, nous autres ? »

« L'IA pourrait remplacer toutes les formes de travail », selon Larry Summers, membre du conseil d'administration d'OpenAI

Larry Summers, 69 ans, est économiste et homme politique américain. Ancien secrétaire au Trésor et président émérite de l'université de Harvard, Summers a rejoint en novembre dernier le nouveau conseil d'administration d'OpenAI constitué après les troubles suscités par l'éviction momentanée de Sam Altman du poste de PDG de l'entreprise. Bien que controversé dans ce rôle, il exerce maintenant une influence considérable sur l'avenir de l'organisation qui, plus que toute autre, a favorisé la commercialisation et l'adoption à grande échelle de l'IA. Jeudi, il s'est exprimé sur l'impact potentiel de l'IA sur l'avenir du travail.

Lors de l'événement Fortune Innovation Forum qui s'est tenu fin mars à Hong Kong, Summers a déclaré que l'IA pourrait remplacer presque toutes les formes de travail. Mais ne vous attendez pas à un « miracle de la productivité » de sitôt. Il a déclaré : « la bonne règle générale en matière d'innovation technologique est que les choses prennent plus de temps à se produire que ce que l'on pense, et qu'elles se produisent ensuite plus rapidement que ce que l'on pensait. Je ne pense pas que l'IA va provoquer un miracle de productivité dans les trois à cinq prochaines années ». Il a ajouté qu'il reste encore plusieurs défis à relever.

Summers a expliqué que le franchissement du "dernier kilomètre" du développement technologique (le moment où une technologie révolutionnaire devient utilisable par le grand public) prend généralement plus de temps qu'on l'espère. Il a cité l'exemple de ce qu'il a appelé la "courbe de productivité en J", affirmant que la réalisation de gains de productivité à partir d'une nouvelle idée nécessite des années d'investissement, de recherche et de développement. Son avis contraste avec celui d'autres partisans de l'IA, dont l'un a affirmé avoir déployé un modèle d'IA capable de réaliser le travail de 700 personnes.

« Pensez, par exemple, aux véhicules autonomes. Des dizaines, voire des centaines de milliers de travailleurs se consacrent depuis des années aux véhicules autonomes [...] et jusqu'à présent, aucun conducteur, camionneur ou chauffeur de taxi n'a perdu son emploi. Nous avons eu un tas de travailleurs qui se sont consacrés aux véhicules autonomes, et aucun résultat n'a été mesuré dans les statistiques », a déclaré Summers. Mais le membre du conseil d'administration de l'OpenAI est loin d'être un sceptique en matière d'IA. Il s'est montré beaucoup plus optimiste en ce qui concerne l'impact potentiel de l'IA sur l'emploi.

Summers a déclaré : « si l'on se place dans la perspective de la prochaine génération, il pourrait s'agir de l'événement le plus important de l'histoire économique depuis la révolution industrielle. Elle [l'IA] offre la perspective de remplacer non pas certaines formes de travail humain, mais presque toutes les formes de travail humain ». De la construction de maisons à l'établissement de diagnostics médicaux, il a prédit que l'IA sera un jour capable d'effectuer presque tous les travaux humains, en particulier le "travail cognitif" des cols blancs. Il n'a pas précisé comment l'IA s'y prendra pour prendre en charge les travaux manuels.

Sources : vidéo dans le texte, Institute for Public Policy Research

Et vous ?

L’IA est-elle une menace pour l’emploi humain ? Discutez des avantages et des inconvénients de l’automatisation et de l’intelligence artificielle dans le monde du travail.
Comment pouvons-nous garantir que l’IA ne laisse personne de côté ? Explorez des idées pour assurer une transition équitable vers un avenir automatisé.
Quels emplois sont les plus vulnérables à l’automatisation ? Pensez aux secteurs spécifiques et aux compétences qui pourraient être remplacées par des machines.
Devrions-nous craindre l’IA ou l’accueillir à bras ouverts ? Évaluez les perspectives positives et négatives de l’intégration de l’IA dans notre société.
Comment pouvons-nous former et préparer les travailleurs pour l’ère de l’IA ? Partagez des idées sur l’éducation, la formation continue et l’adaptabilité.

[seedbarrett]

« L'IA pourrait remplacer toutes les formes de travail », selon Larry Summers, membre du conseil d'administration d'OpenAI

Et dire qu'il y a des gens qui vont le croire... Pour rappel, on nous avait vendu des voitures volantes et des robots pour faire les corvées à la maison pour l'an 2000, on a eu le 11 septembre. Vivement la fin de cette bulle ridicule et un retour des GPU accessible, parce qu'on sait tous qu'on va devoir travailler encore plus, pour un salaire toujours plus bas. Sauf ceux qui sont biens nés, eux ils vont apprécier

[Ryu2000]

L’IA est-elle une menace pour l’emploi humain ?

Oui, comme on le voit là :

Stewart a cité l'exemple de Dukaan, une entreprise qui a utilisé l'IA pour licencier 90 % de ses employés. Comme l'a dit le PDG de l'entreprise, Suumit Shah, sur Fox News : « C'est brutal, si vous pensez comme un humain ». Et Stewart de déclarer :« "L'IA : c'est brutal, si vous pensez comme un humain" - ce n'est pas le slogan publicitaire le plus accrocheur que j'aie jamais entendu ».

« C'est comme la productivité sans l'impôt d'un plus grand nombre de personnes », déclare Brian Chesky, PDG d'Airbnb, dans une vidéo. « L'impôt sur les personnes : anciennement appelé employés », a déclaré Stewart.

« Alors que nous attendons que cette chose guérisse les maladies et résolve le problème du changement climatique, elle nous remplace sur le marché du travail - pas dans le futur, mais maintenant ».

On voit beaucoup de licenciements massifs qui sont en partis liés à l'IA.

Moins de jobs => moins de revenus => moins de consommation (et ça boucle).
Quand une entreprise avec plein d'employés s'installent quelque part, on nous raconte toujours le même "ça va faire vivre plein de commerces autour de l'entreprise".
Ben là l'entreprise va virer tout le monde, donc les commerces autour vont couler.

Comment pouvons-nous garantir que l’IA ne laisse personne de côté ? Explorez des idées pour assurer une transition équitable vers un avenir automatisé.

Il n'y a pas de solution.
Le chômage et la précarité vont exploser.

Ça ne fonctionne pas l'histoire "on va énormément taxer les entreprises qui utilisent l'IA afin que ça finance le RSA et les retraites de tout le monde".

Quels emplois sont les plus vulnérables à l’automatisation ? Pensez aux secteurs spécifiques et aux compétences qui pourraient être remplacées par des machines.

Tous les emplois de bureaux sont menacés.
L'IA va augmenter la productivité des humains, donc il y aura besoin de moins d'humains pour faire la même quantité de travail.

Comment pouvons-nous former et préparer les travailleurs pour l’ère de l’IA ? Partagez des idées sur l’éducation, la formation continue et l’adaptabilité.

Ben déjà il ne faut surtout pas commencer des études pour travailler dans l'IA.
Il y a assez de spécialistes et au bout d'un moment les grosses entreprises rachèteront les petites et vireront les employés.

Peut-être que l'avenir c'est l'artisanat.
Peut-être cultiver des légumes en permaculture, sans engrais, pour les vendre à des riches.

[Jade Emy]

ChatGPT fournit de fausses informations sur les personnes, et OpenAI admet qu'elle n'est pas en mesure de les corriger, elle ne peut pas dire d'où viennent les données, ni quelles sont les données stockées.

Selon Noyb, ChatGPT fournit de fausses informations sur les personnes, et OpenAI admet ouvertement qu'elle n'est pas en mesure de corriger les informations incorrectes, et qu'elle ne peut pas dire d'où viennent les données, ni quelles sont les données stockées.

Dans l'UE, le RGPD exige que les informations sur les individus soient exactes et que ceux-ci aient un accès complet aux informations stockées, ainsi que des informations sur la source. Or, il est surprenant de constater qu'OpenAI admet ouvertement qu'elle n'est pas en mesure de corriger les informations incorrectes sur ChatGPT. En outre, l'entreprise ne peut pas dire d'où proviennent les données ni quelles données ChatGPT stocke sur des personnes individuelles.

L'entreprise est parfaitement consciente de ce problème, mais ne semble pas s'en préoccuper. Au lieu de cela, OpenAI affirme simplement que "l'exactitude des faits dans les grands modèles de langage reste un domaine de recherche actif". C'est pourquoi Noyb a déposé une plainte contre OpenAI auprès de la DPA autrichienne.

ChatGPT continue d'halluciner - et même OpenAI ne peut l'arrêter. Le lancement de ChatGPT en novembre 2022 a déclenché un engouement sans précédent pour l'IA. Les gens ont commencé à utiliser le chatbot à toutes sortes de fins, y compris pour des tâches de recherche. Le problème est que, selon OpenAI elle-même, l'application ne fait que générer "des réponses aux demandes des utilisateurs en prédisant les prochains mots les plus probables qui pourraient apparaître en réponse à chaque demande".

En d'autres termes : Bien que l'entreprise dispose de nombreuses données d'entraînement, il n'y a actuellement aucun moyen de garantir que ChatGPT montre aux utilisateurs des informations factuellement correctes. Au contraire, les outils d'IA générative sont connus pour "halluciner" régulièrement, ce qui signifie qu'ils inventent simplement des réponses.

C'est une bonne chose pour les devoirs, mais pas pour les données sur les individus. Si des informations inexactes peuvent être tolérées lorsqu'un élève utilise ChatGPT pour l'aider à faire ses devoirs, elles sont inacceptables lorsqu'il s'agit d'informations concernant des personnes. Depuis 1995, la législation européenne exige que les données à caractère personnel soient exactes. Actuellement, cette exigence est inscrite à l'article 5 du RGPD.

Les personnes disposent également d'un droit de rectification en vertu de l'article 16 du GDPR si les données sont inexactes, et peuvent demander que les informations erronées soient supprimées. En outre, en vertu du "droit d'accès" prévu à l'article 15, les entreprises doivent être en mesure de montrer quelles sont les données qu'elles détiennent sur les personnes et quelles en sont les sources.

Maartje de Graaf, avocate spécialisée dans la protection des données chez Noyb :
Inventer de fausses informations est déjà problématique en soi. Mais lorsqu'il s'agit de fausses informations sur des personnes, les conséquences peuvent être graves. Il est clair que les entreprises sont actuellement incapables de faire en sorte que les chatbots tels que ChatGPT soient conformes à la législation de l'UE lorsqu'ils traitent des données concernant des personnes. Si un système ne peut pas produire des résultats précis et transparents, il ne peut pas être utilisé pour générer des données sur des personnes. La technologie doit suivre les exigences légales, et non l'inverse.

Il n'est pas possible de se contenter d'inventer des données sur les personnes. Il s'agit d'un problème structurel. Selon un récent rapport du New York Times, "les chatbots inventent des informations au moins 3 % du temps - et jusqu'à 27 %". Pour illustrer ce problème, on peut se pencher sur le cas du plaignant (une personnalité publique) dans l'affaire Noyb contre OpenAI. Interrogé sur sa date d'anniversaire, ChatGPT a fourni à plusieurs reprises des informations erronées au lieu d'indiquer aux utilisateurs qu'il ne disposait pas des données nécessaires.

Aucun droit RGPD pour les individus capturés par ChatGPT ? Bien que la date de naissance du plaignant fournie par ChatGPT soit incorrecte, OpenAI a refusé sa demande de rectification ou d'effacement des données, arguant qu'il n'était pas possible de corriger les données. OpenAI affirme qu'elle peut filtrer ou bloquer des données sur certaines invites (comme le nom du plaignant), mais sans empêcher ChatGPT de filtrer toutes les informations concernant le plaignant. OpenAI n'a pas non plus répondu de manière adéquate à la demande d'accès du plaignant. Bien que le RGPD donne aux utilisateurs le droit de demander aux entreprises une copie de toutes les données personnelles traitées à leur sujet, OpenAI n'a divulgué aucune information sur les données traitées, leurs sources ou leurs destinataires.

Maartje de Graaf, avocate spécialisée dans la protection des données chez Noyb :
L'obligation de se conformer aux demandes d'accès s'applique à toutes les entreprises. Il est clairement possible de conserver des traces des données de formation qui ont été utilisées, ou au moins d'avoir une idée des sources d'information. Il semble qu'à chaque 'innovation', un autre groupe d'entreprises pense que ses produits ne doivent pas être conformes à la loi.

Jusqu'à présent, les efforts des autorités de contrôle sont restés vains. Depuis la popularité soudaine de ChatGPT, les outils d'IA générative ont rapidement fait l'objet d'un examen minutieux de la part des organismes européens de protection de la vie privée. L'autorité italienne de protection des données s'est notamment penchée sur l'inexactitude du chatbot en imposant une restriction temporaire du traitement des données en mars 2023. Quelques semaines plus tard, le Comité européen de la protection des données (CEPD) a mis en place un groupe de travail sur le ChatGPT afin de coordonner les efforts nationaux. Il reste à voir où cela mènera. Pour l'instant, OpenAI ne semble même pas prétendre pouvoir se conformer au RGPD de l'UE.

Plainte déposée. Noyb demande maintenant à l'autorité autrichienne de protection des données (DSB) d'enquêter sur le traitement des données d'OpenAI et sur les mesures prises pour garantir l'exactitude des données personnelles traitées dans le cadre des grands modèles de langage de l'entreprise. En outre, Noyb demande au DSB d'ordonner à OpenAI de se conformer à la demande d'accès du plaignant et de mettre son traitement en conformité avec le GDPR. Enfin, Noyb demande à l'autorité d'imposer une amende pour garantir la conformité future. Il est probable que cette affaire soit traitée dans le cadre de la coopération européenne.

À propos de Noyb :

Noyb utilise les meilleures pratiques des groupes de défense des droits des consommateurs, des militants de la protection de la vie privée, des pirates informatiques et des initiatives de technologie juridique et les fusionne en une plateforme européenne stable d'application de la loi. Avec les nombreuses possibilités d'application du règlement européen sur la protection des données (RGPD), Noyb est en mesure de soumettre des cas de protection de la vie privée d'une manière beaucoup plus efficace qu'auparavant. En outre, noyb suit l'idée d'un litige ciblé et stratégique afin de renforcer votre droit à la vie privée.

Noyb utilisera également des initiatives de relations publiques et médiatiques pour souligner et garantir votre droit à la vie privée sans avoir à aller devant les tribunaux. En fin de compte, noyb est conçu pour unir ses forces avec les organisations, les ressources et les structures existantes afin de maximiser l'impact du RGPD, tout en évitant les structures parallèles.

Source : Noyb

Et vous ?

Pensez-vous que cette plainte de Noyb est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

ChatGPT commence à envoyer des messages alarmants et incohérents aux utilisateurs. « ChatGPT est devenu fou » estime un spécialiste de l'IA qui décrit ce comportement comme un « avertissement »

L'application de chatbot d'intelligence artificielle d'OpenAI, ChatGPT, enfreint les règles de protection des données du RGPD, selon l'autorité italienne de protection des données

OpenAI doit défendre les affabulations de ChatGPT après avoir échoué dans son procès pour diffamation. Les utilisateurs pourraient bientôt savoir si les résultats inexacts l'IA seront tolérés