1 pièce(s) jointe(s)
OpenAI développe un logiciel pour détecter le texte généré par ChatGPT
OpenAI développe un logiciel pour détecter le texte généré par ChatGPT,
plusieurs outils sont déjà proposés pour aider à déterminer quels textes ont été générés par IA et lesquels ont été écrits par des humains
OpenAI développe un logiciel capable de détecter si du texte a été généré par son modèle ChatGPT après que les responsables de l'éducation de la ville de New York ont annoncé qu'il empêchait les élèves d'accéder à l'outil dans les écoles publiques.
Les rapports d'élèves utilisant l'IA pour faire leurs devoirs à leur place ont incité les enseignants à réfléchir à la manière dont ils affectent l'éducation. Certains ont exprimé des inquiétudes quant à la façon dont les modèles de langages peuvent plagier des travaux existants ou permettre aux étudiants de tricher. Maintenant, OpenAI travaillerait à développer des « atténuations » qui aideront les gens à détecter le texte généré automatiquement par ChatGPT.
« Nous avons rendu ChatGPT disponible en tant que Research Preview pour apprendre de l'utilisation dans le monde réel, ce qui, selon nous, est un élément essentiel du développement et du déploiement de systèmes d'IA capables et sûrs. Nous intégrons constamment les commentaires et les leçons apprises », a déclaré un porte-parole de l'entreprise.
À en croire des témoignages de professeurs d'université, les étudiants confient à ChatGPT la résolution de leurs devoirs de maison, notamment en dissertation. « Le monde universitaire n'a rien vu venir. Nous sommes donc pris au dépourvu », explique Darren Hudson Hick, professeur adjoint de philosophie à l'université Furman.
« Je l'ai signalé sur Facebook, et mes amis [professeurs] ont dit : "ouais ! J'en ai attrapé un aussi" », a-t-il ajouté. Au début du mois, Hick aurait demandé à sa classe d'écrire un essai de 500 mots sur le philosophe écossais du 18e siècle David Hume et le paradoxe de l'horreur, qui examine comment les gens peuvent tirer du plaisir de quelque chose qu'ils craignent, pour un test à la maison. Mais selon le professeur de philosophie, l'une des dissertations qui lui sont parvenus présentait quelques caractéristiques qui ont "signalé" l'utilisation de l'IA dans la réponse "rudimentaire" de l'étudiant. Hick explique que cela peut être détecté par un œil avisé.
« C'est un style propre. Mais il est reconnaissable. Je dirais qu'il écrit comme un élève de terminale très intelligent », a expliqué Hick à propos des réponses apportées par ChatGPT aux questions. « Il y avait une formulation particulière qui n'était pas fausse, mais juste étrange. Si vous deviez enseigner à quelqu'un comment écrire des essais, c'est ce que vous lui diriez avant qu'il crée son style », a-t-il ajouté. Malgré sa connaissance de l'éthique du droit d'auteur, Hick a déclaré qu'il était presque impossible de prouver que le document avait été concocté par ChatGPT. Le professeur affirme avoir fait appel à un logiciel de vérification de plagiat.
« Nous avons toujours appelé à la transparence autour de l'utilisation du texte généré par l'IA. Nos politiques exigent que les utilisateurs soient francs avec leur public lorsqu'ils utilisent notre API et nos outils créatifs... Nous sommes impatients de travailler avec les éducateurs sur des solutions utiles, et d'autres façons d'aider les enseignants et les étudiants à tirer parti de l'IA*», a indiqué un porte-parole d'OpenAI.
Être capable de distinguer l'écriture produite par un humain ou une machine changera la façon dont ils peuvent être utilisés dans le milieu universitaire. Les écoles seraient en mesure d'appliquer plus efficacement l'interdiction des essais générés par l'IA, ou peut-être seraient-elles plus disposées à accepter des articles si elles pouvaient voir comment ces outils peuvent aider leurs élèves.
Oui, les modèles de langage génératif peuvent être bons mais ils ne savent pas de quoi ils parlent
Aussi impressionnant que puisse paraître l'écriture générée par l'IA dans les gros titres avec des conférences universitaires et des écoles interdisant les articles écrits par machine, voici un rappel qu'ils manquent de compréhension par rapport à la véritable écriture humaine.
Dans un éditorial publié dans Salon, Gary Smith, professeur d'économie au Pomona College, a présenté quelques exemples où GPT-3 ne parvient pas à raisonner et à répondre efficacement aux questions :
« Si vous jouez avec GPT-3 (et je vous encourage à le faire), votre réponse initiale sera probablement l'étonnement... Vous semblez avoir une vraie conversation avec une personne très intelligente. Cependant, en approfondissant, vous découvrirez bientôt que si le GPT-3 peut enchaîner des mots de manière convaincante, il n'a aucune idée de ce que signifient les mots », a-t-il écrit.
« Prédire que le mot terre est susceptible de suivre le groupe de mots tomber par ne nécessite aucune compréhension de ce que signifie l'un ou l'autre mot - seulement un calcul statistique que ces mots vont souvent ensemble. Par conséquent, GPT-3 est enclin à faire des déclarations faisant autorité qui sont finalement complètement fausses ».
OpenAI a publié ChatGPT, un modèle plus récent en novembre dernier, conçu pour être une amélioration de GPT-3, mais il souffre toujours des mêmes problèmes, comme tous les modèles de langage existants.
Cela a-t-il été écrit par un robot ? Ces outils aident à détecter le texte généré par l'IA
C'est tellement difficile d'être un bot de nos jours. Juste au moment où vous pensiez que nous écririons tous avec l'IA d'ici à l'éternité, les ingénieurs ont commencé à développer de nouvelles façons de détecter si le texte a été écrit par ChatGPT ou un autre générateur de texte AI.
Voici trois outils de détection qui peuvent être utilisés dès maintenant (ou très bientôt).
Détecteur de sortie GPT-2
OpenAI impressionne Internet avec ses efforts pour reproduire l'intelligence humaine et les capacités artistiques depuis 2015. Mais en novembre dernier, la société est finalement devenue méga-virale avec la sortie du générateur de texte AI ChatGPT. Les utilisateurs de l'outil bêta ont publié des exemples de réponses textuelles générées par l'IA à des invites qui semblaient si légitimes qu'elles ont semé la peur dans le cœur des enseignants et ont même fait craindre à Google que l'outil ne tue son activité de recherche.
Si les ingénieurs d'OpenAI sont capables de créer un bot qui peut écrire aussi bien ou mieux que l'humain moyen, il va de soi qu'ils peuvent également créer un bot qui est meilleur que l'humain moyen pour détecter si le texte a été généré par IA.
La démo en ligne du modèle de détecteur de sortie GPT-2 vous permet de coller du texte dans une boîte et de voir immédiatement la probabilité que le texte ait été écrit par l'IA. Selon les recherches d'OpenAI, l'outil a un taux de détection relativement élevé, mais « doit être associé à des approches basées sur les métadonnées, au jugement humain et à l'éducation du public pour être plus efficace ».
GLTR (Giant Language model Test Room)
Lorsque OpenAI a publié GPT-2 en 2019, les gens du MIT-IBM Watson AI Lab et du Harvard Natural Language Processing Group ont uni leurs forces pour créer un algorithme qui tente de détecter si le texte a été écrit par un bot.
Un texte généré par ordinateur peut sembler avoir été écrit par un humain, mais un écrivain humain est plus susceptible de sélectionner des mots imprévisibles. En utilisant la méthode « il en faut un pour en connaître un », si l'algorithme GLTR peut prédire le mot suivant dans une phrase, alors il supposera que cette phrase a été écrite par un bot.
GPTZero
Durant la période des fêtes de fin d'années, Edward Tian était occupé à créer GPTZero, une application qui peut aider à déterminer si le texte a été écrit par un humain ou un bot. En tant qu'universitaire à Princeton, Tian comprend comment les professeurs d'université pourraient avoir un intérêt direct à détecter un « AIgiarism », ou un plagiat assisté par IA.
Tian dit que son outil mesure le caractère aléatoire des phrases ("perplexité") plus le caractère aléatoire global ("burstiness") pour calculer la probabilité que le texte ait été écrit par ChatGPT. Depuis qu'il a tweeté à propos de GPTZero le 2 janvier, Tian dit qu'il a déjà été approché par des sociétés à capital risque souhaitant investir et qu'il développera bientôt des versions mises à jour.
Filigrane (à venir)
En plus d'aborder le problème comme les détecteurs de plagiat l'ont fait dans le passé, OpenAI tente de résoudre le problème en filigranant tout le texte ChatGPT. Selon une récente conférence sur la sécurité de l'IA par le chercheur invité d'OpenAI, Scott Aaronson, les ingénieurs ont déjà construit un prototype fonctionnel qui ajoute un filigrane à tout texte créé par OpenAI.
« Fondamentalement, chaque fois que GPT génère un texte long, nous voulons qu'il y ait un signal secret autrement imperceptible dans ses choix de mots, que vous pouvez utiliser pour prouver plus tard que, oui, cela vient de GPT », explique Aaronson. L'outil utiliserait ce qu'il appelle une « fonction cryptographique pseudo-aléatoire ». Et seul OpenAI aurait accès à cette clé.
Apple ne veut pas rater le train de l'IA grand public, mais s'oriente vers des livres audio racontés par des voix synthétisées par une IA
Apple cherche à s'associer à des écrivains et éditeurs indépendants pour les aider à raconter leurs livres en utilisant des voix synthétisées par IA.
Les auteurs ont été invités à contacter Draft2Digital et Ingram CoreSource, deux sociétés qui produisent et publient des livres électroniques sur l'application Apple Books, s'ils souhaitent transformer leur travail en livres audio. Ils n'acceptent que les soumissions écrites en anglais pour la romance et la fiction, les autres genres ne sont pas encore pris en charge.
« De plus en plus d'amateurs de livres écoutent des livres audio, mais seule une fraction des livres est convertie en audio, laissant des millions de titres inédits », a déclaré Apple dans un article de blog. « De nombreux auteurs - en particulier les auteurs indépendants et ceux associés à de petits éditeurs - ne sont pas en mesure de créer des livres audio en raison du coût et de la complexité de la production. La narration numérique Apple Books rend la création de livres audio plus accessible à tous, vous aidant à répondre à la demande croissante. en mettant plus de livres à la disposition des auditeurs ».
Par rapport aux sons robotiques et minuscules que les ordinateurs produisaient lorsqu'ils imitaient les humains, les voix synthétiques de l'IA se sont considérablement améliorées. Elles sonnent maintenant assez naturellement et sont moins monotones.
La nouvelle fonctionnalité permettra aux auteurs auto-publiés d'élargir leur audience et leur donnera une autre source de revenus. Comme toujours, Apple prendra jusqu'à 30% de tous les achats effectués sur les applications disponibles sur son App Store.
Sources : OpenAI, Apple, GLTR
Et vous ?
:fleche: Développer des outils capables d'indiquer si des textes ont été générés par IA ou par un humain est-il, selon vous, une urgence dans le contexte de la disponibilité d'outils comme ChatGPT ? Pourquoi ?
:fleche: Que pensez-vous de l'approche d'Apple ?
1 pièce(s) jointe(s)
VALL-E : l'IA de Microsoft peut imiter n'importe quelle voix avec seulement un échantillon de 3 secondes
VALL-E : l'IA de synthèse vocale de Microsoft peut imiter n'importe quelle voix avec seulement un échantillon de trois secondes,
y compris les émotions et le ton d'un orateur
Microsoft a récemment publié VALL-E, un nouveau modèle de langage pour la synthèse vocale TTS (text-to-speech). Après avoir été formé sur 60 000 heures de données vocales en anglais, il a démontré des capacités d'apprentissage en contexte dans des situations sans coup sûr. VALL-E vous permet de créer un discours personnalisé de haute qualité avec seulement un enregistrement de 3 secondes. Il permet des techniques TTS basées sur des invites qui sont instantanées et contextuelles. Il n'est pas nécessaire d'ajouter une ingénierie structurelle ou des caractéristiques acoustiques préconçues.
Il s'agit d'un progrès significatif dans la direction de systèmes TTS au son plus naturel. Microsoft a fourni quelques exemples du modèle utilisé qui montre les évolutions dans le développement de la technologie TTS.
Microsoft a récemment publié un outil d'intelligence artificielle connu sous le nom de VALL-E qui peut reproduire la voix des gens. L'outil a été formé sur 60 000 heures de données vocales en anglais et utilise des clips de 3 secondes de voix spécifiques pour générer du contenu. Contrairement à de nombreux outils d'intelligence artificielle, VALL-E peut reproduire les émotions et le ton d'un orateur, même lors de la création d'un enregistrement de mots que l'orateur d'origine n'a jamais prononcés. En clair, une fois qu’il a appris une voix spécifique, VALL-E peut synthétiser l’audio de cette personne disant n’importe quoi et le faire d’une manière qui tente de préserver le ton émotionnel de l’orateur.
En plus de préserver le timbre vocal et le ton émotionnel d’un locuteur, VALL-E peut également imiter « l’environnement acoustique » de l’échantillon audio. Par exemple, si l’échantillon provient d’un appel téléphonique, la sortie audio ressemblera également à un appel téléphonique.
Un article de l'Université Cornell a utilisé VALL-E pour synthétiser plusieurs voix. Quelques exemples de travaux sont disponibles sur GitHub.
Les échantillons de voix partagés par Microsoft varient en qualité. Alors que certains d'entre eux semblent naturels, d'autres sont clairement générés par des machines et semblent robotiques. Bien sûr, l'IA a tendance à s'améliorer avec le temps, donc à l'avenir, les enregistrements générés seront probablement plus convaincants. De plus, VALL-E n'utilise que des enregistrements de 3 secondes comme invite. Si la technologie était utilisée avec un ensemble d'échantillons plus grand, elle pourrait sans aucun doute créer des échantillons plus réalistes.
Ses créateurs pensent que VALL-E pourrait être utilisé pour des applications de synthèse vocale de haute qualité, l’édition de la parole où un enregistrement d’une personne pourrait être édité et modifié à partir d’une transcription textuelle.
VALL-E est un « modèle de langage de codec neuronal » qui s’appuie sur une technologie baptisée EnCodec, qui a été présentée par Meta en octobre 2022. Encodec est une méthode de compression audio alimentée par l'IA, qui serait capable de compresser le son 10 fois plus petit que le format MP3 à 64 kbps, sans perte de qualité. Selon Meta, cette technique pourrait améliorer considérablement la qualité sonore des discours sur les connexions à faible bande passante, comme les appels téléphoniques dans les zones où le service est irrégulier. Les chercheurs de Meta auraient obtenu des résultats de pointe en matière de compression audio vocale à faible débit (1,5 kbps à 12 kbps), évalués par des annotateurs humains qui ont comparé plusieurs méthodes de compression, dont le dernier codec Lyra-v2 de Google, avec la méthode non compressée et les ont classées en conséquence.
Contrairement à d’autres méthodes de synthèse vocale qui synthétisent généralement la parole en manipulant des formes d’onde, VALL-E génère des codes de codec audio discrets à partir d’invites textuelles et acoustiques. Il analyse essentiellement le son d’une personne, décompose ces informations en composants discrets (appelés « jetons ») grâce à EnCodec, et utilise des données d’entraînement pour faire correspondre ce qu’il « sait » sur la façon dont cette voix sonnerait si elle prononçait d’autres phrases en dehors de l'échantillon.
Citation:
Envoyé par Microsoft
Nous introduisons une approche de modélisation du langage pour la synthèse vocale (TTS). Plus précisément, nous entraînons un modèle de langage de codec neuronal (appelé VALL-E) à l'aide de codes discrets dérivés d'un modèle de codec audio neuronal prêt à l'emploi, et considérons TTS comme une tâche de modélisation de langage conditionnelle plutôt qu'une régression continue du signal comme dans les travaux précédents. Au cours de la phase de pré-formation, nous augmentons les données de formation TTS à 60 000 heures de conversation en anglais, ce qui est des centaines de fois plus important que les systèmes existants. VALL-E émerge des capacités d'apprentissage en contexte et peut être utilisé pour synthétiser un discours personnalisé de haute qualité avec seulement un enregistrement inscrit de 3 secondes d'un locuteur invisible comme invite acoustique. Les résultats des expériences montrent que VALL-E surpasse de manière significative le système TTS zéro-shot de pointe en termes de naturel de la parole et de similarité des locuteurs. De plus, nous constatons que VALL-E pourrait préserver l'émotion de l'orateur et l'environnement acoustique de l'invite acoustique en synthèse.
Déjà des préoccupations éthiques
Pour le moment, VALL-E n'est généralement pas disponible, ce qui peut être une bonne chose car les répliques de la voix des personnes générées par l'IA pourraient être utilisées de manière dangereuse par des acteurs malveillants et d'autres personnes ayant des intentions malveillantes :
« Étant donné que VALL-E pourrait synthétiser la parole qui maintient l’identité du locuteur, il peut comporter des risques potentiels d’utilisation abusive du modèle, tels que l’usurpation d’identification vocale ou l’usurpation d’identité d’un locuteur spécifique. Pour atténuer ces risques, il est possible de construire un modèle de détection pour discriminer si un clip audio a été synthétisé par VALL-E. Nous mettrons également en pratique les principes de Microsoft AI lors du développement ultérieur des modèles ».
Bien que VALL-E soit sans aucun doute impressionnant, il soulève plusieurs préoccupations éthiques. À mesure que l'intelligence artificielle deviendra plus puissante, les voix générées par VALL-E et les technologies similaires deviendront plus convaincantes. Cela ouvrirait la porte à des appels de spam réalistes reproduisant les voix de personnes réelles qu'une victime potentielle connaît.
Les politiciens et autres personnalités publiques pourraient également être usurpés. Avec la vitesse de propagation des médias sociaux et la polarité des discussions politiques, il est peu probable que beaucoup s'arrêtent pour demander si un enregistrement scandaleux est authentique, tant qu'il semble au moins quelque peu authentique.
Les problèmes de sécurité viennent également à l'esprit. Certaines banques ont une option visant à utiliser la voix comme mot de passe lorsqu'un propriétaire de compte appelle. Il existe des mesures en place pour détecter les enregistrements vocaux et nous pouvons supposer que la technologie pourrait détecter si une voix VALL-E était utilisée. Cela étant dit, il y a de quoi rendre mal à l'aise. Il y a de fortes chances que la course aux armements s'intensifie entre le contenu généré par l'IA et les logiciels de détection de l'IA.
Bien qu'il ne s'agisse pas d'un problème de sécurité, certains ont évoqué le fait que les acteurs faisant des doublages pourraient perdre du travail au profit de VALL-E et des technologies concurrentes. Bien qu'il soit malheureux de voir des gens perdre leur travail, difficile de voir comment contourner cela. Si VALL-E atteint un point où il peut remplacer les acteurs vocaux pour les livres audio ou d'autres contenus, les entreprises vont l'utiliser. C'est juste la réalité de la technologie qui progresse.
En fait, Apple a récemment annoncé une fonctionnalité qui utilise l'IA pour lire des livres audio. « De plus en plus d'amateurs de livres écoutent des livres audio, mais seule une fraction des livres est convertie en audio, laissant des millions de titres inédits », a déclaré Apple dans un article de blog. « De nombreux auteurs - en particulier les auteurs indépendants et ceux associés à de petits éditeurs - ne sont pas en mesure de créer des livres audio en raison du coût et de la complexité de la production. La narration numérique Apple Books rend la création de livres audio plus accessible à tous, vous aidant à répondre à la demande croissante. en mettant plus de livres à la disposition des auditeurs ».
La nouvelle fonctionnalité permettra aux auteurs auto-publiés d'élargir leur audience et leur donnera une autre source de revenus. Comme toujours, Apple prendra jusqu'à 30% de tous les achats effectués sur les applications disponibles sur son App Store.
Comme toute technologie, VALL-E sera utilisé pour le bien, le mal et tout le reste. Microsoft a une déclaration d'éthique sur l'utilisation de VALL-E, mais l'avenir de son utilisation est encore trouble. Le président de Microsoft, Brad Smith, a discuté de la réglementation de l'IA dans le passé. Nous devrons voir quelles mesures Microsoft met en place pour réglementer l'utilisation de VALL-E.
:fleche: Démos de VALL-E sur GitHub
Sources : VALL-E, Apple
Et vous ?
:fleche: Que pensez-vous de VALL-E ?
:fleche: Comprenez-vous la raison pour laquelle Microsoft n'a pas encore donné la possibilité au public de tester cet outil ?
:fleche: Quels dérives imaginez-vous avec cet outil ?
:fleche: Les doubleurs sont-ils susceptibles d'être inquiétés par une telle technologie ? Dans quelle mesure ?
1 pièce(s) jointe(s)
Microsoft serait en pourparlers pour investir 10 milliards de dollars dans OpenAI, le propriétaire de ChatGPT
Microsoft serait en pourparlers pour investir 10 milliards de dollars dans OpenAI, le propriétaire de ChatGPT
ce qui devrait donner à la firme de Redmond un accès plus étroit aux produits d'OpenAI
Microsoft serait en pourparlers pour investir 10 milliards de dollars dans OpenAI, propriétaire de ChatGPT, dans le cadre d'un financement qui valorisera la société à 29 milliards de dollars. La nouvelle souligne l'intérêt croissant pour la société d'intelligence artificielle, dont le nouveau chatbot a ébloui les amateurs et les experts du secteur par sa capacité à produire des dissertations et des poèmes, à déboguer du code et à répondre à toute sorte de questions. Si les deux entreprises parviennent à un accord, cela donnera lieu au deuxième investissement de Microsoft dans OpenAI, après que le géant de Redmond a investi un milliard de dollars dans la startup d'IA en 2019.
Il y a quelques jours, des personnes au fait des plans internes d'OpenAI ont rapporté que la startup d'IA est en pourparlers pour vendre des actions existantes dans le cadre d'une offre publique d'achat qui est susceptible de faire passer sa valorisation à environ 29 milliards de dollars. L’opération en ferait l'une des startups d'IA les plus précieuses sur le papier, bien qu'elle génère peu de revenus. Les sociétés de capital-risque Thrive Capital et Founders Fund seraient aptes à investir dans l'opération, qui totaliserait au moins 300 millions de dollars en ventes d'actions. Lundi, Semafor a rapporté que Microsoft devrait également participer à l'opération.
Rien ne montre que l'opération a été finalisée, mais les documents envoyés aux investisseurs potentiels ces dernières semaines, qui décrivent ses conditions, indiquent que l'opération devrait être conclue d'ici la fin de 2022. En fait, très peu de détails ont filtré sur ce potentiel accord avec Microsoft. Selon les sources, l'investissement de Microsoft ferait partie d'un accord complexe dans lequel l'entreprise obtiendrait 75 % des bénéfices d'OpenAI jusqu'à ce que la firme de Redmond récupère ses fonds. (Il n'est pas clair si l'argent qu'OpenAI dépense sur Azure, la branche de cloud computing de Microsoft compterait dans le calcul de son compte.)
Une fois ce seuil atteint, on repassera à une structure reflétant la propriété d'OpenAI, avec une participation de 49 % pour Microsoft, 49 % pour les autres investisseurs et 2 % pour la société mère à but non lucratif d'OpenAI. Les personnes interrogées par Semafor ont également indiqué au site d'information qu'il existe un plafond de profit qui varie pour chaque groupe d'investisseurs, ce qui est inhabituel pour les opérations de capital-risque, dont les investisseurs espèrent qu'elles leur rapportent 20 ou 30 fois leur argent. En outre, les conditions et le montant de l'investissement pourraient également changer, et l'accord pourrait échouer.
Selon les analystes, les 29 milliards de dollars représentent une évaluation importante pour OpenAI, une entreprise qui n'a pas encore défini son modèle économique, et les 10 milliards de dollars représentent un prix élevé pour les actionnaires de Microsoft. Mais l'investissement n'est pas vraiment un pari. ChatGPT perd de l'argent : selon Sam Altman, PDG d'OpenAI, chaque fois qu'une personne entre en contact avec son chatbot, cela coûte à la société quelques centimes en puissance de calcul. Elle dépensera la majeure partie de l'argent sur Microsoft Azure, qui travaille dur pour atteindre la parité avec son concurrent Amazon Web Services (AWS).
Si OpenAI parvient à gagner de l'argent sur des produits tels que ChatGPT et le modèle de génération d'images Dall-E, Microsoft recevra 75 % des bénéfices jusqu'à ce qu'elle récupère son investissement initial. Les analystes indiquent que, au-delà des risques et des bénéfices financiers pour Microsoft, le plus grand prix est qu'il peut travailler aux côtés d'OpenAI pour développer la technologie sur Microsoft cloud, ce qui place instantanément la firme de Redmond à l'avant-garde de ce qui pourrait être la technologie grand public la plus importante de la prochaine décennie. Selon les analystes, il s'agit d'un coup de maître pour Microsoft.
L'année dernière, Microsoft a dévoilé des plans pour intégrer le logiciel de génération d'images DALL-E 2 dans son moteur de recherche Bing. Au début de cette année, un nouveau rapport a indiqué que Microsoft et OpenAI travaillent sur une version du moteur de recherche Bing intégrant le chatbot d'IA ChatGPT afin de défier Google Search, le moteur de recherche numéro 1 dans le monde. Grâce à cette intégration, Bing pourrait fournir des réponses plus humaines aux questions au lieu de simples liens vers des informations. ChatGPT pourrait aider son moteur de recherche de Microsoft à rivaliser avec le Knowledge Graph de Google.
Le mois dernier, des employés de Google ont interrogé le PDG Sundar Pichai et le responsable de la recherche en IA Jeff Dean sur la menace que représente le chatbot pour Google. Google a travaillé sur une technologie similaire dans son système LaMDA, un modèle de langage pour les applications de dialogue, mais aurait fait face à un risque de réputation en cas d'erreurs ou de fautes. Selon plusieurs rapports sur le sujet, Pichai et la direction de l'entreprise ont depuis mobilisé des équipes de chercheurs pour répondre à ChatGPT, déclarant la situation comme une menace de "code rouge". Microsoft a refusé de commenter la rumeur.
Selon les données de Statcounter, Google détenait une part de marché de 92,21 % en décembre 2022, tandis que Bing n'en détient qu'environ 3,42 %. Google domine largement le marché des moteurs de recherche, mais une intégration réussie des capacités de ChatGPT dans Bing pourrait permettre à la firme de Redmond de gratter des parts de marché au détriment de son rival. Il est difficile de prévoir quel intérêt cette nouvelle version de Bing pourrait susciter chez les internautes. Mais selon certains analystes, au regard de l'engouement provoquer par ChatGPT à sa sortie (plus d'un million d'inscriptions en moins d'une semaine), Google a de quoi trembler.
L'investissement de 10 milliards de dollars de Microsoft est un pari qu'OpenAI restera loin devant les autres entreprises utilisant les algorithmes d'IA qui sous-tendent des produits comme ChatGPT. Mais il est probable qu'OpenAI devra faire face à une concurrence féroce de la part de sociétés comme Stability AI, auteur du modèle de génération d'images Stable Diffusion. On ne sait toujours pas comment cette nouvelle génération d'entreprises d'IA parviendra à dégager les "fossés" et les "effets de réseau" qui maintiennent les concurrents à distance. Sans cela, il est difficile de gagner de l'argent dans les technologies grand public.
Le mois dernier, une présentation d'OpenAI aux investisseurs indiquait que l'organisation prévoyait des revenus de l'ordre de 200 millions de dollars l'année prochaine et d'un peu plus d'un milliard de dollars d'ici 2024. OpenAI facture aux développeurs qui utilisent sa technologie environ un penny ou un peu plus pour générer 20 000 mots de texte, et environ 2 cents pour créer une image à partir d'un message écrit. Enfin, des sources ont également rapporté que Microsoft est en pourparlers pour intégrer certaines des fonctionnalités de ChatGPT dans ses autres programmes, comme Word et le service de messagerie Outlook.
En 2019, Microsoft a investi un milliard de dollars dans OpenAI dans le cadre d'un partenariat pluriannuel. Ce dernier visait à développer des technologies de calcul intensif pilotées par l'IA sur le service de cloud computing Azure de Microsoft. Les produits d'IA d'OpenAI ont bien évolué depuis lors, notamment avec les lancements de GPT-2 et GTP-3, Dall-E et Dall-E 2, ainsi que le chatbot d'IA ChatGPT. Maintenant, Microsoft tente de profiter des capacités qu'offrent ces nouvelles technologies, notamment celle qui sous-tend ChatGPT. Microsoft et OpenAI ont refusé de commenter la rumeur sur le nouvel investissement de 10 milliards de dollars.
Source : Semafor
Et vous ?
:fleche: Quel est votre avis sur le sujet ?
Voir aussi
:fleche: La startup OpenAI en pourparlers pour vendre des actions dans le cadre d'une offre publique d'achat, susceptible de faire passer sa valorisation à 29 milliards de dollars
:fleche: Google lance une alerte rouge à ses équipes pour le développement d'un concurrent à ChatGPT, l'IA qui menace son moteur de recherches et les postes des développeurs informatiques humains
:fleche: Microsoft investit 1 Md$ dans OpenAI, la société fondée par Elon Musk, qui tente de développer une IA semblable à l'intelligence humaine
:fleche: Microsoft et OpenAI travailleraient sur une version du moteur de recherche Bing intégrant le chatbot d'IA ChatGPT afin de défier Google, elle pourrait être lancée avant la fin du mois de mars
Une fausse application ChatGPT tente d'escroquer les utilisateurs via un abonnement hebdomadaire de 7,99 $
Une fausse application mobile se faisant passer pour ChatGPT tente d'escroquer les utilisateurs via un abonnement hebdomadaire de 7,99 $
l'App Store et le Play Store en contiendraient plusieurs
Plusieurs experts ont récemment alerté que des acteurs malveillants surfent sur la vague du chatbot d'IA ChatGPT d'OpenAI pour escroquer les internautes. L'exemple le plus palpable est une application qui a grimpé en flèche dans les classements de l'App Store, avec un abonnement hebdomadaire de 7,99 dollars. L'application n'a aucune affiliation avec OpenAI, mais fait payer les internautes pour utiliser un service qui est entièrement gratuit sur le Web. Les alertes indiquent que l'App Store et le Play Store regorgent d'applications typiques, ce qui remet une nouvelle fois en cause les processus de validation des applications chez Apple et Google.
La popularité de ChatGPT a grimpé en flèche depuis son lancement le mois dernier en raison des capacités étonnantes dont il est doté. ChatGPT est capable d'articuler des réponses courtes et longues lorsqu'on lui demande d'écrire un e-mail, un essai, un message, un ver, etc. Le chatbot a vu sa popularité croître auprès des étudiants et des universitaires qui l'ont utilisé pour leurs recherches et leurs travaux. ChatGPT peut être utilisé gratuitement sur le Web par toute personne possédant un compte OpenAI. En outre, bien qu'il existe de nombreuses applications qui affirment tirer parti de GPT-3, la société n’a pas publié une API officielle pour ChatGPT.
OpenAI n'a pas non plus publié une application mobile officielle permettant d'interagir avec son chatbot. Mais la popularité de ChatGPT a malheureusement incité des escrocs et des développeurs peu scrupuleux à profiter de sa popularité pour en tirer un profit mal acquis. Certains développeurs tentent de profiter de la tendance en créant des applications mobiles douteuses - tant sur l'App Store que sur le Play Store - qui visent à gagner de l'argent au nom de versions professionnelles ou de crédits supplémentaires pour obtenir plus de réponses du chatbot d'IA. Le nombre d'applications de ce type aurait augmenté ces derniers jours.
Comme l'a signalé Austen Allred, cofondateur et PDG de BloomTech (ou Bloom Institute of Technology), un bootcamp de codage en ligne à but lucratif, une application en particulier, appelée "ChatGPT Chat GPT AI With GPT-3", donne l'impression d'être l'application officielle du chatbot ChatGPT. Mais elle ne semble avoir aucune affiliation avec OpenAI, les créateurs de ChatGPT ou le chatbot lui-même. L'application fait payer aux utilisateurs un abonnement de 7,99 dollars par semaine, de 19,99 dollars par mois ou de 49,99 dollars par an pour supposément utiliser le chatbot d'OpenAI un nombre illimité de fois et éliminer les publicités intrusives.
Certaines des sources l'ayant testée ont rapporté que l'application et son chatbot sont incohérents, fournissant parfois des réponses génériques ou totalement hors sujet à une invite proposée par l'utilisateur. Notamment, le développeur avait une application similaire sur le Google Play Store qui aurait totalisé plus de 100 000 téléchargements, mais elle a été retirée maintenant. Par contre, l'application serait actuellement la deuxième application de productivité la plus populaire sur l'App Store aux États-Unis, ce qui indique qu'elle est plutôt très populaire. Elle compterait près de 12 000 évaluations, avec un certain nombre d'avis positifs et négatifs.
« C'est une fausse application », dit un commentaire. « C'est juste une fausse immitation d'OpenAI et d'autres mauvaises choses », a écrit un autre utilisateur. Malgré son activité suspecte, sa présence et sa popularité galopante, l'application semble avoir passé le processus d'examen de l'App Store d'Apple plusieurs fois depuis son lancement initial il y a environ trois semaines. Les développeurs à l'origine de l'application, nommée "Social Media Apps & Game Sports health Run Hiking Runing fitness tracking", ont d'autres applications douteuses sur la plateforme, dont les applications "Activity Lock Screen Widget 16" et "BetterTrack Ride Hike Run Swim".
Apple a déclaré qu'il mène une lutte acharnée contre les escroqueries et les applications douteuses sur l'App Store, dont certaines rapportent des millions de dollars de recettes. Apple considère son App Store comme une "plateforme de confiance" où les applications sont "tenues de respecter les normes les plus strictes en matière de confidentialité, de sécurité et de contenu". Mais il n'est pas rare que des applications douteuses et potentiellement malveillantes arrivent à passer à travers les mailles du filet. Dimanche, Allred a tweeté que l'App Store était rempli d'applications - sans aucun lien avec OpenAI - qui tentent de faire payer l'utilisation de ChatGPT.
Le Google Play Store serait également rempli d'applications ChatGPT douteuses, téléchargées par milliers, qui n'offrent aucune fonctionnalité utilisable. Le principe de ces applications est d'inclure ChatGPT dans le nom de l'application et d'apparaître favorablement dans les résultats de recherche en renforçant ou en manipulant leurs propres évaluations. Certains développent plusieurs applications avec des noms similaires dans l'espoir que l'une d'entre elles attire l'attention des utilisateurs. Il n'est pas clair si Apple et Google prennent activement des mesures contre ces applications ou si OpenAI a attiré leur attention sur ce problème.
Les développeurs d'applications qui clonent des sites Web ou d'autres applications mobiles populaires ne sont pas une nouvelle tendance. Par le passé, l'on a déjà vu les boutiques d'applications d'Apple et de Google inondées de clones de Wordle, Threes et Flappy Bird. Ces fausses applications peuvent parfois devenir le vecteur d'une grande escroquerie. Par exemple, en avril 2021, une fausse application publiée sur l'App Store d'Apple a escroqué un utilisateur et lui a volé ses 17,1 bitcoins, soit un peu plus de 600 000 dollars au moment du vol. Beaucoup ont cherché le moyen de tenir Apple et Google responsables de ces fraudes, mais sans succès.
En effet, cette nouvelle histoire avec ChatGPT pose une nouvelle fois la question de la validation des logiciels chez Apple et Google. Comme indiqué plus haut, l'application a dû passer par plusieurs processus de vérification. Pourtant, personne chez Apple ou Google ne semble avoir trouvé son contenu suspect. Personne ne semble s'être interrogé non plus sur l'usurpation de la marque ChatGPT ou des produits d'OpenAI. La question est de savoir avec quelle rapidité et quelle rigueur les gardiens de ces plateformes agissent sur ces clones, si tant est qu'ils le fassent. Apple et Google n'ont pas répondu aux demandes de commentaires.
Source : Austen Allred
Et vous ?
:fleche: Quel est votre avis sur le sujet ?
:fleche: Que pensez-vous de ces applications qui se font passer pour ChatGPT d'OpenAI ?
:fleche: Que pensez-vous du processus de validation des applications chez Apple et Google ?
:fleche: Selon vous, comment peut-on éviter que ce type d'application passe à travers les mailles du filet ?
Voir aussi
:fleche: Microsoft et OpenAI travailleraient sur une version du moteur de recherche Bing intégrant le chatbot d'IA ChatGPT afin de défier Google, elle pourrait être lancée avant la fin du mois de mars
:fleche: La startup OpenAI en pourparlers pour vendre des actions dans le cadre d'une offre publique d'achat, susceptible de faire passer sa valorisation à 29 milliards de dollars
:fleche: OpenAI développe un logiciel pour détecter le texte généré par ChatGPT, plusieurs outils visent à déterminer quels textes ont été générés par IA et lesquels ont été écrits par des humains
1 pièce(s) jointe(s)
ChatGPT pourrait bientôt commencer à vous faire payer ses compétences en matière d'IA
ChatGPT pourrait bientôt commencer à vous faire payer ses compétences en matière d'IA
OpenAI annonce qu'il travaille sur ChatGPT Professional, une version premium de son chatbot viral
OpenAI a annoncé qu'il travaille actuellement sur une version professionnelle du chatbot d'IA ChatGPT. Greg Brockman, cofondateur et président d'OpenAI, a annoncé sur Twitter que la version professionnelle du chatbot d'IA "offrira des limites élevées et des performances beaucoup plus rapides". Brockman précise néanmoins que l'utilisation de l'API ne sera pas liée à la version professionnelle. Les personnes intéressées peuvent s'inscrire sur une liste d'attente et attendre la date de sélection. Ce faisant, OpenAI demande également des avis sur les prix possibles et demande des prix élevés et bas par mois auxquels un achat peut être envisagé.
ChatGPT a été consulté des millions de fois depuis son lancement à la fin du mois de novembre, les internautes se précipitant pour profiter de la capacité du système à écrire une prose longue, complexe et précise. Les capacités du chatbot sont telles que Microsoft aurait décidé de l'utiliser pour muscler certains de ces logiciels, notamment, Bing, Word, PowerPoint et Outlook. La firme de Redmond serait également en pourparlers pour investir jusqu'à 10 milliards de dollars dans la startup d'IA, après un premier investissement d'un milliard de dollars en 2019. En outre, certains placent ChatGPT comme une alternative au moteur de recherche de Google.
ChatGPT a dû faire face à des centaines de milliers de demandes d'utilisateurs créant des rapports, des essais et parfois même du code. OpenAI dit avoir été obligé de mettre en place des limites d'utilisation, d'introduire un système de file d'attente pendant les périodes d'affluence et d'autres méthodes pour minimiser la demande. Cela inclut un message à l'écran déclarant : « nous faisons face à une demande exceptionnellement élevée. Veuillez patienter pendant que nous travaillons à la mise à l'échelle de nos systèmes ». À en croire l'entreprise, l'enthousiasme suscité par le Chatbot n'a pas cessé de croître depuis son lancement fin novembre.
Jusqu'à présent, son déploiement a été gratuit et OpenAI l'a qualifié d'"avant-première de recherche", mais l'entreprise étudie actuellement les moyens de rentabiliser la plateforme. La puissance de ChatGPT donne à OpenAI un "levier important" sur le prix que la société peut demander pour accéder à son chatbot. Dans une annonce sur le serveur Discord officiel de l'entreprise, OpenAI a déclaré qu'elle "commence à réfléchir à la manière de monétiser ChatGPT" comme l'un des moyens d'"assurer la viabilité à long terme de l'outil". Selon les informations disponibles sur le sujet, la version monétisée de ChatGPT devrait s'appeler "ChatGPT Professional".
Du moins, c'est ce qui ressort d'une liste d'attente qu'OpenAI a publiée sur le serveur Discord, qui pose une série de questions sur les préférences de paiement. La liste décrit également les avantages de ChatGPT Professional, qui incluent l'absence de fenêtres de "blackout" (c'est-à-dire d'indisponibilité), l'absence d'étranglement et un nombre illimité de messages avec ChatGPT (au moins 2 fois la limite quotidienne normale). OpenAI note que les répondants à la liste d'attente peuvent être sélectionnés pour piloter ChatGPT Professional, mais que le programme est en phase expérimentale et ne sera pas largement disponible "pour le moment".
Tous ces mouvements laissent entrevoir un avenir où ChatGPT sera simplement une fonction d'autres applications, plutôt qu'un service autonome. Microsoft semble confiant quant à l'avenir de cette technologie, mais il sera fascinant de voir comment Google réagira, étant donné la menace que représente ChatGPT pour son moteur de recherche emblématique. OpenAI pourrait suivre une approche similaire à celle utilisée pour ses autres outils basés sur le GPT-3, notamment en facturant un prix fixe pour chacun des quelques milliers de jetons utilisés dans une requête. Mais Brockman a déclaré que ce n'était pas l'approche qu'ils prévoyaient d'adopter.
La liste d'attente d'OpenAI comprend un formulaire qui pose des questions sur l'utilisation de ChatGPT, la chose la plus précieuse à laquelle il servira et des questions sur la tarification. Il s'agit d'évaluer le point le plus haut et le point le plus bas où un utilisateur considérerait que le produit est trop cher ou si bas que la qualité en souffrirait. Une autre porte sur le point où le prix est "cher, de sorte qu'il n'est pas hors de question portée, mais demande de réfléchir avant de l'acheter". La dernière question du formulaire consiste à noter d’un à cinq le degré de contrariété que l'utilisateur éprouverait s'il ne pouvait plus utiliser ChatGPT.
Le passage à un niveau payant était inévitable compte tenu des coûts liés au fonctionnement du service. Le PDG d'OpenAI, Sam Altman, a récemment tweeté que "les coûts de calcul sont exorbitants" et que "la société devrait monétiser à un moment donné". Mais la question que se posent la plupart des utilisateurs occasionnels est de savoir comment la version gratuite pourrait évoluer exactement. Collectivement, les éléments cités ci-dessus donnent une bonne idée du type de restrictions qui pourraient bientôt s'appliquer à la version gratuite de ChatGPT. Mais un autre moyen d'accéder à ChatGPT sera probablement de passer par Microsoft Office.
ChatGPT Professional intervient à un moment où OpenAI est sous pression pour réaliser des bénéfices sur des produits tels que ChatGPT. La société s'attend à gagner 200 millions de dollars en 2023, une somme dérisoire comparée au plus d'un milliard de dollars qui ont été investis dans la startup depuis sa création jusqu'à présent. Comme indiqué plus haut, Microsoft cherche à investir 10 milliards de dollars dans OpenAI. Si la rumeur se confirme, la firme de Redmond recevrait les trois quarts des bénéfices d'OpenAI jusqu'à ce qu'il récupère l'argent, les autres investisseurs prenant 49 % et OpenAI se contentera des 2 % restants.
GPT-3, le modèle de langage d'OpenAI sur lequel ChatGPT est basé, a donné cette suggestion à ses créateurs : « une façon pour OpenAI de monétiser ChatGPT est de proposer des services par abonnement aux entreprises. Les entreprises pourraient payer un droit d'accès à la technologie, l'utiliser pour créer des modèles personnalisés de traitement du langage naturel, et l'utiliser pour alimenter leurs plateformes de chatbot et de service client ». Nick Swan, fondateur du cabinet de conseil en recherche en ligne SEOTesting, a déclaré que le succès de ChatGPT Professional se jouera sur le prix auquel OpenAI écidera de le vendre.
« Pour les magasins de commerce électronique de premier plan, un outil capable de se "souvenir" de toutes les interactions avec ses clients et de générer instantanément une réponse sur mesure en fonction d'une invite serait un développement énorme. Je ne serais pas surpris de voir les utilisateurs occasionnels se voir offrir une quantité limitée d'utilisations gratuites, peut-être par mois, avant de devoir s'abonner au service, tandis que les entreprises bénéficieront d'un tarif réduit pour un service premium. Cela serait similaire à divers autres modèles, comme la génération d'images par l'IA ainsi que le journalisme en ligne », dit-il.
En attendant ChatGPT Professional, l'App Store d'Apple et le Play Store de Google semblent être inondés de fausses applications se faisant passer pour ChatGPT qui tentent d'escroquer les utilisateurs via un abonnement. L'une de ces applications a grimpé en flèche dans les classements de l'App Store, avec un abonnement hebdomadaire de 7,99 dollars. L'application n'a aucune affiliation avec OpenAI, mais fait payer les internautes pour utiliser un service qui est entièrement gratuit sur le Web.
Source : Liste d'attente pour ChatGPT Professional
Et vous ?
:fleche: Quel est votre avis sur le sujet ?
:fleche: Que pensez-vous de la version professionnelle de ChatGPT ?
:fleche: Selon vous, connaitra-t-elle autant de succès que la version gratuite actuelle ?
Voir aussi
:fleche: Microsoft envisagerait de s'appuyer sur ChatGPT pour muscler Word, PowerPoint, Outlook et d'autres applications de sa suite avec les capacités de cette IA qui menace l'existence de Google
:fleche: Une fausse application mobile se faisant passer pour ChatGPT tente d'escroquer les utilisateurs via un abonnement hebdomadaire de 7,99 $, l'App Store et le Play Store en contiendraient plusieurs
:fleche: OpenAI développe un logiciel pour détecter le texte généré par ChatGPT, plusieurs outils visent à déterminer quels textes ont été générés par IA et lesquels ont été écrits par des humains
1 pièce(s) jointe(s)
À Lyon, ChatGPT est utilisé par la moitié des élèves de Master d'un professeur pour rédiger leurs devoirs
À Lyon, ChatGPT est utilisé par la moitié des élèves de Master d'un professeur pour rédiger leurs devoirs
« Cette pratique m’inquiète. Elle pose un véritable problème d’intégration des savoirs », prévient Stéphane Bonvallet
À Lyon, un professeur a remarqué de curieuses similitudes dans les copies rendues par la moitié de ses étudiants; il leur avait donné une semaine pour rédiger leurs devoirs. Si les mots différaient, leurs structures démonstratives et leurs exemples sont restés constamment les mêmes. C’est en se renseignant auprès de ses élèves que l’un d’eux a fini par avouer l’utilisation de ChatGPT dans la rédaction.
À en croire des témoignages de professeurs d'université, les étudiants confient à ChatGPT la résolution de leurs devoirs de maison, notamment en dissertation. « Le monde universitaire n'a rien vu venir. Nous sommes donc pris au dépourvu », explique Darren Hudson Hick, professeur adjoint de philosophie à l'université Furman.
« Je l'ai signalé sur Facebook, et mes amis [professeurs] ont dit : "ouais ! J'en ai attrapé un aussi" », a-t-il ajouté. Au début du mois, Hick aurait demandé à sa classe d'écrire un essai de 500 mots sur le philosophe écossais du 18e siècle David Hume et le paradoxe de l'horreur, qui examine comment les gens peuvent tirer du plaisir de quelque chose qu'ils craignent, pour un test à la maison. Mais selon le professeur de philosophie, l'une des dissertations qui lui sont parvenus présentait quelques caractéristiques qui ont "signalé" l'utilisation de l'IA dans la réponse "rudimentaire" de l'étudiant. Hick explique que cela peut être détecté par un œil avisé.
« C'est un style propre. Mais il est reconnaissable. Je dirais qu'il écrit comme un élève de terminale très intelligent », a expliqué Hick à propos des réponses apportées par ChatGPT aux questions. « Il y avait une formulation particulière qui n'était pas fausse, mais juste étrange. Si vous deviez enseigner à quelqu'un comment écrire des essais, c'est ce que vous lui diriez avant qu'il crée son style », a-t-il ajouté. Malgré sa connaissance de l'éthique du droit d'auteur, Hick a déclaré qu'il était presque impossible de prouver que le document avait été concocté par ChatGPT. Le professeur affirme avoir fait appel à un logiciel de vérification de plagiat.
Être capable de distinguer l'écriture produite par un humain ou une machine changera la façon dont ils peuvent être utilisés dans le milieu universitaire. Les écoles seraient en mesure d'appliquer plus efficacement l'interdiction des essais générés par l'IA, ou peut-être seraient-elles plus disposées à accepter des articles si elles pouvaient voir comment ces outils peuvent aider leurs élèves.
Premier cas connu en France de l'utilisation de ChatGPT en milieu universitaire ?
Le journal lyonnais Le Progrès nous fait déjà part d’un premier cas connu d’utilisation de l’IA chez les étudiants dans l'Hexagone.
Stéphane Bonvallet, enseignant en handicapologie (matière enseignée dans certains cursus de santé du secondaire), a demandé à ses élèves de faculté de Lyon de «*Définir les grands traits de l’approche médicale du handicap en Europe*». Il leur a laissé une semaine pour travailler sur le sujet.
Cependant, lors de la correction, il s'est aperçu que sept copies sur les quatorze de sa classe font appel à une construction identique, avancent des arguments qui se ressemblent, mais sans jamais tourner au plagiat : «*Il ne s’agissait pas de copier-coller. Mais les copies étaient construites exactement de la même manière*», relate-t-il. «*On y retrouvait les mêmes constructions grammaticales. Le raisonnement était mené dans le même ordre, avec les mêmes qualités et les mêmes défauts ».
Stéphane Bonvallet raconte au Progrès en avoir discuté directement avec une étudiante. Elle reconnaît alors que la moitié de la promotion de 14 élèves ont eu recours à ChatGPT.
Les étudiants n’ont pas reçu de blâme pour cet usage, puisque l’utilisation d'outil de la même trempe que ChatGPT n'est pas proscrit par le milieu scolaire : « n’ayant pas de cadre interdisant actuellement cette pratique, j’ai été contraint de les noter », explique-t-il au quotidien. Puisque les autres notes étaient comprises entre 10 et 12,5, le professeur a choisi d'attribuer la même note de 11,75 à tous ces travaux qui se sont appuyés sur ChatGPT.
En se renseignant auprès de ses collègues, il a fait le constat que ce cas était loin d’être isolé.
« Cette pratique m’inquiète. Elle pose un véritable problème d’intégration des savoirs, car les élèves n’ont plus besoin d’effectuer la moindre recherche pour composer », a regretté le professeur.
Les copies sont désormais en possession de la direction.
La ville de New York interdit aux étudiants et aux enseignants d'utiliser ChatGPT
« En raison de préoccupations concernant les effets négatifs sur l'apprentissage des élèves, ainsi que la sécurité et l'exactitude du contenu, l'accès à ChatGPT est prohibé sur les réseaux et les appareils des écoles publiques de la ville de New York », déclare un porte-parole du Département de l’éducation de la ville.
La controverse au sujet de cette décision tient au moins sur l’observation évidente que ChatGPT peut faire office de complément à un moteur de recherche. Décider d’en interdire l’accès revient donc à faire pareil avec des plateformes sur lesquels les étudiants sont aussi susceptibles de trouver des réponses à leurs évaluations : Wikipedia, Google, etc.
Oui, les modèles de langage génératif peuvent être bons mais ils ne savent pas de quoi ils parlent
Aussi impressionnant que puisse paraître l'écriture générée par l'IA dans les gros titres avec des conférences universitaires et des écoles interdisant les articles écrits par machine, voici un rappel qu'ils manquent de compréhension par rapport à la véritable écriture humaine.
Dans un éditorial publié dans Salon, Gary Smith, professeur d'économie au Pomona College, a présenté quelques exemples où GPT-3 ne parvient pas à raisonner et à répondre efficacement aux questions :
« Si vous jouez avec GPT-3 (et je vous encourage à le faire), votre réponse initiale sera probablement l'étonnement... Vous semblez avoir une vraie conversation avec une personne très intelligente. Cependant, en approfondissant, vous découvrirez bientôt que si le GPT-3 peut enchaîner des mots de manière convaincante, il n'a aucune idée de ce que signifient les mots », a-t-il écrit.
« Prédire que le mot terre est susceptible de suivre le groupe de mots tomber par ne nécessite aucune compréhension de ce que signifie l'un ou l'autre mot - seulement un calcul statistique que ces mots vont souvent ensemble. Par conséquent, GPT-3 est enclin à faire des déclarations faisant autorité qui sont finalement complètement fausses ».
Cela a-t-il été écrit par un robot ? Ces outils aident à détecter le texte généré par l'IA
C'est tellement difficile d'être un bot de nos jours. Juste au moment où vous pensiez que nous écririons tous avec l'IA d'ici à l'éternité, les ingénieurs ont commencé à développer de nouvelles façons de détecter si le texte a été écrit par ChatGPT ou un autre générateur de texte AI.
Voici trois outils de détection qui peuvent être utilisés dès maintenant (ou très bientôt).
Détecteur de sortie GPT-2
OpenAI impressionne Internet avec ses efforts pour reproduire l'intelligence humaine et les capacités artistiques depuis 2015. Mais en novembre dernier, la société est finalement devenue méga-virale avec la sortie du générateur de texte AI ChatGPT. Les utilisateurs de l'outil bêta ont publié des exemples de réponses textuelles générées par l'IA à des invites qui semblaient si légitimes qu'elles ont semé la peur dans le cœur des enseignants et ont même fait craindre à Google que l'outil ne tue son activité de recherche.
Si les ingénieurs d'OpenAI sont capables de créer un bot qui peut écrire aussi bien ou mieux que l'humain moyen, il va de soi qu'ils peuvent également créer un bot qui est meilleur que l'humain moyen pour détecter si le texte a été généré par IA.
La démo en ligne du modèle de détecteur de sortie GPT-2 vous permet de coller du texte dans une boîte et de voir immédiatement la probabilité que le texte ait été écrit par l'IA. Selon les recherches d'OpenAI, l'outil a un taux de détection relativement élevé, mais « doit être associé à des approches basées sur les métadonnées, au jugement humain et à l'éducation du public pour être plus efficace ».
GLTR (Giant Language model Test Room)
Lorsque OpenAI a publié GPT-2 en 2019, les gens du MIT-IBM Watson AI Lab et du Harvard Natural Language Processing Group ont uni leurs forces pour créer un algorithme qui tente de détecter si le texte a été écrit par un bot.
Un texte généré par ordinateur peut sembler avoir été écrit par un humain, mais un écrivain humain est plus susceptible de sélectionner des mots imprévisibles. En utilisant la méthode « il en faut un pour en connaître un », si l'algorithme GLTR peut prédire le mot suivant dans une phrase, alors il supposera que cette phrase a été écrite par un bot.
GPTZero
Durant la période des fêtes de fin d'années, Edward Tian était occupé à créer GPTZero, une application qui peut aider à déterminer si le texte a été écrit par un humain ou un bot. En tant qu'universitaire à Princeton, Tian comprend comment les professeurs d'université pourraient avoir un intérêt direct à détecter un « AIgiarism », ou un plagiat assisté par IA.
Tian dit que son outil mesure le caractère aléatoire des phrases ("perplexité") plus le caractère aléatoire global ("burstiness") pour calculer la probabilité que le texte ait été écrit par ChatGPT. Depuis qu'il a tweeté à propos de GPTZero le 2 janvier, Tian dit qu'il a déjà été approché par des sociétés à capital risque souhaitant investir et qu'il développera bientôt des versions mises à jour.
Filigrane (à venir)
En plus d'aborder le problème comme les détecteurs de plagiat l'ont fait dans le passé, OpenAI tente de résoudre le problème en filigranant tout le texte ChatGPT. Selon une récente conférence sur la sécurité de l'IA par le chercheur invité d'OpenAI, Scott Aaronson, les ingénieurs ont déjà construit un prototype fonctionnel qui ajoute un filigrane à tout texte créé par OpenAI.
« Fondamentalement, chaque fois que GPT génère un texte long, nous voulons qu'il y ait un signal secret autrement imperceptible dans ses choix de mots, que vous pouvez utiliser pour prouver plus tard que, oui, cela vient de GPT », explique Aaronson. L'outil utiliserait ce qu'il appelle une « fonction cryptographique pseudo-aléatoire ». Et seul OpenAI aurait accès à cette clé.
Conclusion
Le plus grand débat tourne autour de la possibilité de voir les intelligences artificielles rendues au stade où elles sont dotées de « bon sens », capables de réflexion causale, c’est-à-dire de cette capacité à raisonner sur « le pourquoi les choses se produisent. »
Google par exemple est lancé en secret sur le développement de Pitchfork, ou AI Developer Assistance. C’est un outil qui utilise l'apprentissage automatique pour apprendre au code à s'écrire et se réécrire lui-même. Comment ? En apprenant des styles correspondant à des langages de programmation, et en appliquant ces connaissances pour écrire de nouvelles lignes de code.
L’intention initiale derrière ce projet était de créer une plateforme capable de mettre automatiquement à jour la base de code Python chaque fois qu'une nouvelle version était publiée, sans nécessiter l'intervention ou l'embauche d'un grand nombre d'ingénieurs. Cependant, le potentiel du programme s'est avéré beaucoup plus important que prévu.
Désormais, l'intention est de donner vie à un système polyvalent capable de maintenir un standard de qualité dans le code, mais sans dépendre de l'intervention humaine dans les tâches de développement et de mise à jour. Un tel objectif pourrait ne plus relever de la science fiction lorsqu’on sait que des équipes de recherche en intelligence artificielle promettent déjà l’atteinte du stade d’intelligence artificielle générale dans 5 à 10 ans.
Source : Le Progrès
Et vous ?
:fleche: Pour ou contre l'utilisation des outils comme ChatGPT en milieu scolaire ? Pourquoi ?
3 pièce(s) jointe(s)
Une app de santé mentale critiquée pour l'utilisation de chatGPT pour des conseils à 4000 utilisateurs
ChatGPT peut-il être votre thérapeute ? Une application de santé mentale critiquée pour avoir utilisé l'IA chatGPT pour prodiguer des conseils à 4000 utilisateurs
Les utilisateurs ont donné une note élevée aux réponses de l'IA
Koko, une plate-forme en ligne de santé mentale, a prodigué à quelque 4 000 utilisateurs un conseil qui avait été créé par une AI, sans les en informer au préalable. Rob Morris, le co-fondateur de l'application de santé mentale Koko, a expliqué comment ils utilisaient une approche « co-pilote », avec des humains supervisant l'IA au besoin. Ils l'ont fait sur environ 30 000 messages.
La plate-forme a constaté que les messages composés par l'IA étaient nettement mieux notés que ceux écrits par les humains, tandis que les temps de réponse ont diminué de 50% à moins d'une minute.
Malgré le succès auprès des utilisateurs, le test a été arrêté car il semblait inauthentique.
Les chatbots IA comme ChatGPT peuvent faire beaucoup de choses. Ils peuvent répondre aux tweets, écrire de la science-fiction, planifier le Noël de la famille et agir comme avocat au tribunal. Mais un chatbot peut-il fournir un soutien sûr et efficace en matière de santé mentale ? Une entreprise appelée Koko a décidé de le découvrir en se servant de l'IA pour aider à créer un soutien en matière de santé mentale pour environ 4 000 de ses utilisateurs en octobre.
« Franchement, ce sera l'avenir. Nous allons penser que nous interagissons avec des humains et ne pas savoir s'il y avait une IA impliquée. Comment cela affecte-t-il la communication interhumaine ? J'ai mes propres problèmes de santé mentale, donc je veux vraiment que cela soit fait correctement », a déclaré le co-fondateur de Koko, Rob Morris.
Koko est un service de santé mentale entre pairs qui permet aux gens de demander conseil et soutien à d'autres utilisateurs. Sur son site, il est mentionné : « Koko vous met en contact avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous ».
Dans une brève expérience, la société a permis aux utilisateurs de générer des réponses automatiques à l'aide de "Koko Bot" - alimenté par le GPT-3 d'OpenAI - qui pourraient ensuite être modifiées, envoyées ou rejetées. Selon Morris, les 30 000 messages assistés par l'IA envoyés pendant le test ont reçu une réponse extrêmement positive, mais la société a arrêté l'expérience après quelques jours parce qu'elle « semblait plutôt stérile ».
« Lorsque vous interagissez avec GPT-3, vous pouvez commencer à capter certains indices. Tout est vraiment bien écrit, mais c'est une sorte de formule, et vous pouvez le lire et reconnaître que tout est purement écrit par un bot et qu'aucune nuance humaine n'a été ajoutée », a déclaré Morris. « Il y a quelque chose dans l'authenticité qui se perd lorsque vous avez cet outil comme outil de soutien pour vous aider dans votre écriture, en particulier dans ce genre de contexte. Sur notre plate-forme, les messages semblaient meilleurs d'une certaine manière quand je pouvais sentir qu'ils étaient plus écrits par l'homme ».
Morris a publié un fil sur Twitter à propos du test qui impliquait que les utilisateurs ne comprenaient pas qu'une IA était impliquée dans leurs soins. Il a tweeté « qu'une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné ». Le tweet a provoqué un tollé sur Twitter à propos de l'éthique des recherches de Koko, étant donné que ses propos ont suggéré un manque clé de consentement éclairé pendant au moins une phase de l'expérience.
Citation:
Envoyé par Rob Morris
Les messages composés par l'IA (et supervisés par des humains) ont reçu des notes significativement plus élevées que celles écrites par des humains eux-mêmes (p < 0,001). Les temps de réponse ont diminué de 50 %, à bien moins d'une minute. Et pourtant… nous avons retiré cela de notre plate-forme assez rapidement. Pourquoi? Une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné. L'empathie simulée semble bizarre, vide.
Les machines n'ont pas vécu l'expérience humaine, alors quand elles disent « ça a l'air dur » ou « je comprends », ça sonne inauthentique. Et elles ne déploient aucun effort véritable (du moins aucun que les humains puissent apprécier !) Elles ne prennent pas du temps dans leur journée pour penser à vous. Une réponse de chatbot générée en 3 secondes, aussi élégante soit-elle, semble en quelque sorte bon marché.
Pensez à la différence entre obtenir une carte électronique et une carte physique de quelqu'un. Même si les mots sont les mêmes dans les deux cas, nous pourrions apprécier l'effort qui consiste à aller au magasin, choisir une carte, l'envoyer, etc.
Les machines peuvent-elles surmonter cela ? Probablement. Surtout si elles établissent une relation avec l'utilisateur au fil du temps. (Woebot a publié des données suggérant que son bot peut nouer des liens avec ses utilisateurs. Kokobot le fait probablement aussi dans certains cas).
J'ai eu de longues conversations avec chatGPT où je lui ai demandé de me flatter, d'agir comme s'il se souciait de moi. Quand il a admis plus tard qu'il ne pouvait pas vraiment se soucier de moi parce que, eh bien, c'est un modèle de langage, je me sentais vraiment un peu mal.
Peut-être sommes-nous si désespérés d'être entendus, d'avoir quelque chose qui prête vraiment attention à nous sans être distraits, sans regarder un téléphone, parcourir ses e-mails ou Twitter. Peut-être que nous aspirons à cela si profondément que nous nous convaincrons que le les machines se soucient réellement de nous.
Les implications ici sont mal comprises. Les gens finiraient-ils par rechercher le soutien émotionnel des machines, plutôt que des amis et de la famille ?
Comment tirer profit des machines empathiques, sans sacrifier les relations humaines existantes ? Comme le prévient Sherry Turkle, il est possible que la machine « commence comme une solution et finisse comme un usurpateur ».
Il est également possible que la véritable empathie soit une chose que nous, les humains, pouvons considérer comme la nôtre. C'est peut-être la seule chose que nous faisons que l'IA ne pourra jamais remplacer.
Sur Twitter, il a présenté une vidéo de deux minutes pour montrer comment le système fonctionne :
Peu de temps après avoir publié le fil Twitter, Morris a reçu de nombreuses réponses critiquant l'expérience comme étant contraire à l'éthique, citant des préoccupations concernant le manque de consentement éclairé et demandant si un comité d'examen institutionnel (IRB) avait approuvé l'expérience. Dans une réponse tweetée, Morris a déclaré que l'expérience « serait exemptée » des exigences de consentement éclairé car il n'avait pas prévu de publier les résultats :
« Ce serait exempté [ndlr. des exigences de consentement éclairé]. Le modèle a été utilisé pour suggérer des réponses aux fournisseurs d'aide, qui pouvaient choisir de l'utiliser ou non. Nous n'avons utilisé aucune donnée personnelle, toutes les données sont anonymes, il n'y a aucun plan de publication. Mais l'IRB de l'HGM est formidable... Je ne pourrais même pas utiliser d'encre rouge dans nos dépliants d'étude si je me souviens bien... »
Ce à quoi un utilisateur a répondu :
« En tant qu'ancien membre et président de l'IRB, vous avez mené des recherches sur des sujets humains sur une population vulnérable sans l'approbation ou l'exemption de l'IRB (VOUS ne pouvez pas décider). Peut-être que le processus MGH IRB est si lent parce qu'il traite de choses comme ça. Conseil non sollicité : prenez un avocat ».
Face aux réactions sur Twitter, il a tenu a apporté des clarifications sur son fil :
Citation:
Quelques précisions importantes sur mon récent fil de tweet :
Nous ne jumelions pas les gens pour discuter avec GPT-3, à leur insu. (rétrospectivement, j'aurais pu formuler mon premier tweet pour mieux refléter cela). Nous avons proposé à nos pairs sympathisants l'utilisation de GPT-3 pour les aider à élaborer leurs réponses. Nous voulions voir si cela les rendrait plus efficaces. Les gens du service ne discutaient pas directement avec l'IA.
Cette fonctionnalité était en opt-in. Tout le monde était au courant de la fonctionnalité lorsqu'elle était en ligne depuis quelques jours.
Cependant, l'expérience soulève des questions éthiques, y compris des doutes sur la façon dont Koko a informé les utilisateurs et les risques de tester une technologie non éprouvée dans un cadre de soins de santé en direct, même un peer-to-peer.
Conclusion
L'idée d'utiliser l'IA en tant que thérapeute est loin d'être nouvelle, mais la différence entre l'expérience de Koko et les approches thérapeutiques typiques de l'IA est que les patients savent généralement qu'ils ne parlent pas avec un vrai humain (fait intéressant, l'un des premiers chatbots, ELIZA, a simulé une séance de psychothérapie).
Dans le cas de Koko, la plateforme offrait une approche hybride où un intermédiaire humain pouvait prévisualiser le message avant de l'envoyer, au lieu d'un format de chat direct. Pourtant, sans consentement éclairé, les critiques affirment que Koko a violé les normes éthiques en vigueur conçues pour protéger les personnes vulnérables contre les pratiques de recherche nuisibles ou abusives.
Lundi, Morris a partagé un message réagissant à la controverse qui explique la voie à suivre de Koko avec GPT-3 et l'IA en général, écrivant : « Je reçois des critiques, des préoccupations et des questions sur ce travail avec empathie et ouverture. Nous partageons un intérêt à nous assurer que toutes les utilisations de l'IA sont traitées avec délicatesse, avec un profond souci de confidentialité, de transparence et d'atténuation des risques. Notre conseil consultatif clinique se réunit pour discuter des lignes directrices pour les travaux futurs, en particulier en ce qui concerne l'approbation de l'IRB ».
Source : Rob Morris
Et vous ?
:fleche: Quelle lecture faites-vous de la situation ?
:fleche: Penchez-vous plus du côté de Rob Morris ou de ceux qui lui reprochent son approche avec chatGPT ? Pourquoi ?
1 pièce(s) jointe(s)
Les scientifiques ne peuvent pas toujours faire la différence entre les résumés par l'IA et les originaux
Les résumés d'articles générés par ChatGPT parviennent à duper des scientifiques,
ils ne peuvent pas toujours faire la différence entre les résumés générés par l'IA et les résumés originaux
ChatGPT peut générer de faux résumés d'articles de recherche si convaincants que les scientifiques sont souvent incapables de les repérer, selon une prépublication sur le serveur bioRxiv fin décembre. Les chercheurs sont divisés sur les implications pour la science. Dans le domaine de la publication scientifique, une prépublication est une version d'un article scientifique qui précède son acceptation par le comité de rédaction d'une revue scientifique.
« Je suis très inquiète », déclare Sandra Wachter, qui étudie la technologie et la réglementation à l'Université d'Oxford, au Royaume-Uni, et n'a pas participé à la recherche. « Si nous sommes maintenant dans une situation où les experts ne sont pas en mesure de déterminer ce qui est vrai ou non, nous perdons l'intermédiaire dont nous avons désespérément besoin pour nous guider à travers des sujets compliqués », ajoute-t-elle.
ChatGPT crée un texte réaliste en réponse aux invites de l'utilisateur. Il s'agit d'un « grand modèle de langage », un système basé sur des réseaux de neurones qui apprennent à effectuer une tâche en assimilant d'énormes quantités de texte généré par l'homme. La société de logiciels OpenAI, basée à San Francisco, en Californie, a publié l'outil le 30 novembre.
Depuis sa sortie, les chercheurs se sont attaqués aux problèmes éthiques entourant son utilisation, car une grande partie de sa production peut être difficile à distinguer du texte écrit par l'homme.
C'est peut-être l'une des raisons qui a motivé la décision de l'International Conference on Machine Learning (ICML), l'une des conférences sur l'apprentissage automatique les plus prestigieuses au monde, qui a interdit aux auteurs d'utiliser des outils d'IA comme ChatGPT pour rédiger des articles scientifiques. L'ICML a déclaré : « Les articles qui incluent du texte généré à partir d'un modèle de langage à grande échelle (LLM) tel que ChatGPT sont interdits à moins que le texte produit ne soit présenté dans le cadre de l'analyse expérimentale de l'article ». La nouvelle a suscité de nombreuses discussions sur les réseaux sociaux, des universitaires et des chercheurs en IA défendant et critiquant la politique. Les organisateurs de la conférence ont répondu en publiant une déclaration plus longue expliquant leur pensée.
Selon l'ICML, la montée en puissance de modèles de langage d'IA accessibles au public comme ChatGPT représente un développement « excitant » qui s'accompagne néanmoins de « conséquences imprévues [et] de questions sans réponse ». L'ICML estime que celles-ci incluent des questions sur qui possède la sortie de ces systèmes (ils sont formés sur des données publiques, qui sont généralement collectées sans consentement et régurgitent parfois ces informations textuellement) et si le texte et les images générés par l'IA doivent être « considérés comme nouveaux ou simples dérivés de travaux existants ».
Cette dernière question est liée à un débat délicat sur la paternité, c'est-à-dire qui est considéré comme l'auteur d'un texte généré par l'IA ? La machine, son développeur ou son utilisateur ? Ceci est particulièrement important étant donné que l'ICML n'interdit que les textes « entièrement produits » par l'IA. Les organisateurs de la conférence disent qu'ils n'interdisent pas l'utilisation d'outils comme ChatGPT « pour éditer ou peaufiner le texte écrit par l'auteur » et notent que de nombreux auteurs ont déjà utilisé des « outils d'édition semi-automatisés » comme le logiciel de correction grammaticale Grammarly à cette fin.
Des scientifiques parfois incapables de déterminer quand du texte a été généré par ChatGPT
Des scientifiques ont fait une prépublication et un éditorial à l'aide de ChatGPT. Voici le résumé de la prépublication (la première partie a été générée par chatGPT et la seconde par les scientifiques) :
Citation:
L'intelligence artificielle (IA) a le potentiel de révolutionner le processus de découverte de médicaments, offrant une efficacité, une précision et une vitesse améliorées. Cependant, l'application réussie de l'IA dépend de la disponibilité de données de haute qualité, de la prise en compte des préoccupations éthiques et de la reconnaissance des limites des approches basées sur l'IA. Dans cet article, les avantages, les défis et les inconvénients de l'IA dans ce domaine sont passés en revue, et des stratégies et approches possibles pour surmonter les obstacles actuels sont proposées. L'utilisation de l'augmentation des données, l'IA explicable et l'intégration de l'IA aux méthodes expérimentales traditionnelles, ainsi que les avantages potentiels de l'IA dans la recherche pharmaceutique sont également discutés. Dans l'ensemble, cette revue met en évidence le potentiel de l'IA dans la découverte de médicaments et donne un aperçu des défis et des opportunités pour réaliser son potentiel dans ce domaine.
Remarque des auteurs humains : cet article a été créé pour tester la capacité de ChatGPT, un chatbot basé sur le modèle de langage GPT-3.5, à aider les auteurs humains à rédiger des articles de synthèse. Le texte généré par l'IA suivant nos instructions (voir Informations complémentaires) a été utilisé comme point de départ, et sa capacité à générer automatiquement du contenu a été évaluée. Après avoir procédé à un examen approfondi, les auteurs humains ont pratiquement réécrit le manuscrit, s'efforçant de maintenir un équilibre entre la proposition originale et les critères scientifiques. Les avantages et les limites de l'utilisation de l'IA à cette fin sont abordés dans la dernière section.
Puis, un groupe dirigé par Catherine Gao de la Northwestern University de Chicago, dans l'Illinois, a utilisé ChatGPT pour générer des résumés d'articles de recherche artificiels afin de tester si les scientifiques peuvent les repérer.
Les chercheurs ont demandé au chatbot de rédiger 50 résumés de recherche médicale basés sur une sélection publiée dans JAMA, The New England Journal of Medicine, The BMJ, The Lancet et Nature Medicine. Ils les ont ensuite comparés aux résumés originaux en les faisant passer à travers un détecteur de plagiat et un détecteur de sortie AI, et ils ont demandé à un groupe de chercheurs médicaux de repérer les résumés générés par IA.
Les résumés générés par ChatGPT ont traversé le vérificateur de plagiat : le score d'originalité médian était de 100 %, ce qui indique qu'aucun plagiat n'a été détecté. Le détecteur de sortie AI a repéré 66 % des résumés générés. Mais les relecteurs humains n'ont pas fait beaucoup mieux : ils n'ont identifié correctement que 68 % des résumés générés et 86 % des résumés authentiques. Ils ont incorrectement identifié 32 % des résumés générés comme étant réels et 14 % des résumés authentiques comme étant générés par l'IA.
« ChatGPT rédige des résumés scientifiques crédibles », déclarent Gao et ses collègues dans la prépublication. « Les limites de l'utilisation éthique et acceptable des grands modèles de langage pour aider l'écriture scientifique restent à déterminer ».
Wachter dit que si les scientifiques ne peuvent pas déterminer si la recherche est vraie, il pourrait y avoir des « conséquences désastreuses ». En plus d'être problématique pour les chercheurs, qui pourraient être entraînés dans des voies d'investigation erronées, parce que la recherche qu'ils lisent a été fabriquée, il y a « des implications pour la société dans son ensemble parce que la recherche scientifique joue un rôle si énorme dans notre société ». Par exemple, cela pourrait signifier que les décisions politiques fondées sur la recherche sont incorrectes, ajoute-t-elle.
Mais Arvind Narayanan, informaticien à l'Université de Princeton dans le New Jersey, déclare : « Il est peu probable qu'un scientifique sérieux utilise ChatGPT pour générer des résumés ». Il ajoute que le fait que les résumés générés puissent être détectés n'est « pas pertinent ». « La question est de savoir si l'outil peut générer un résumé précis et convaincant. Ce n'est pas possible, et donc l'avantage d'utiliser ChatGPT est minuscule, et l'inconvénient est important », dit-il.
Irene Solaiman, qui étudie l'impact social de l'IA chez Hugging Face, une société d'IA dont le siège est à New York et à Paris, craint toute dépendance à l'égard de grands modèles de langage pour la pensée scientifique. « Ces modèles sont formés sur des informations passées et le progrès social et scientifique peut souvent provenir d'une pensée, ou d'une ouverture à la pensée, différente du passé », ajoute-t-elle.
Les auteurs suggèrent que ceux qui évaluent les communications scientifiques, telles que les articles de recherche et les actes de conférence, devraient mettre en place des politiques pour éradiquer l'utilisation des textes générés par l'IA. Si les institutions choisissent d'autoriser l'utilisation de la technologie dans certains cas, elles doivent établir des règles claires concernant la divulgation.
Solaiman ajoute que dans les domaines où de fausses informations peuvent mettre en danger la sécurité des personnes, comme la médecine, les revues peuvent avoir à adopter une approche plus rigoureuse pour vérifier que les informations sont exactes.
Narayanan dit que les solutions à ces problèmes ne devraient pas se concentrer sur le chatbot lui-même, « mais plutôt sur les incitations perverses qui conduisent à ce comportement, comme les universités qui effectuent des examens d'embauche et de promotion en comptant les articles sans tenir compte de leur qualité ou de leur impact ».
En attendant, quelques outils sont déjà disponibles pour aider à détecter des textes générés par IA
Détecteur de sortie GPT-2
OpenAI impressionne Internet avec ses efforts pour reproduire l'intelligence humaine et les capacités artistiques depuis 2015. Mais en novembre dernier, la société est finalement devenue méga-virale avec la sortie du générateur de texte AI ChatGPT. Les utilisateurs de l'outil bêta ont publié des exemples de réponses textuelles générées par l'IA à des invites qui semblaient si légitimes qu'elles ont semé la peur dans le cœur des enseignants et ont même fait craindre à Google que l'outil ne tue son activité de recherche.
Si les ingénieurs d'OpenAI sont capables de créer un bot qui peut écrire aussi bien ou mieux que l'humain moyen, il va de soi qu'ils peuvent également créer un bot qui est meilleur que l'humain moyen pour détecter si le texte a été généré par IA.
La démo en ligne du modèle de détecteur de sortie GPT-2 vous permet de coller du texte dans une boîte et de voir immédiatement la probabilité que le texte ait été écrit par l'IA. Selon les recherches d'OpenAI, l'outil a un taux de détection relativement élevé, mais « doit être associé à des approches basées sur les métadonnées, au jugement humain et à l'éducation du public pour être plus efficace ».
GLTR (Giant Language model Test Room)
Lorsque OpenAI a publié GPT-2 en 2019, les gens du MIT-IBM Watson AI Lab et du Harvard Natural Language Processing Group ont uni leurs forces pour créer un algorithme qui tente de détecter si le texte a été écrit par un bot.
Un texte généré par ordinateur peut sembler avoir été écrit par un humain, mais un écrivain humain est plus susceptible de sélectionner des mots imprévisibles. En utilisant la méthode « il en faut un pour en connaître un », si l'algorithme GLTR peut prédire le mot suivant dans une phrase, alors il supposera que cette phrase a été écrite par un bot.
GPTZero
Durant la période des fêtes de fin d'années, Edward Tian était occupé à créer GPTZero, une application qui peut aider à déterminer si le texte a été écrit par un humain ou un bot. En tant qu'universitaire à Princeton, Tian comprend comment les professeurs d'université pourraient avoir un intérêt direct à détecter un « AIgiarism », ou un plagiat assisté par IA.
Tian dit que son outil mesure le caractère aléatoire des phrases ("perplexité") plus le caractère aléatoire global ("burstiness") pour calculer la probabilité que le texte ait été écrit par ChatGPT. Depuis qu'il a tweeté à propos de GPTZero le 2 janvier, Tian dit qu'il a déjà été approché par des sociétés à capital risque souhaitant investir et qu'il développera bientôt des versions mises à jour.
Filigrane (à venir)
En plus d'aborder le problème comme les détecteurs de plagiat l'ont fait dans le passé, OpenAI tente de résoudre le problème en filigranant tout le texte ChatGPT. Selon une récente conférence sur la sécurité de l'IA par le chercheur invité d'OpenAI, Scott Aaronson, les ingénieurs ont déjà construit un prototype fonctionnel qui ajoute un filigrane à tout texte créé par OpenAI.
« Fondamentalement, chaque fois que GPT génère un texte long, nous voulons qu'il y ait un signal secret autrement imperceptible dans ses choix de mots, que vous pouvez utiliser pour prouver plus tard que, oui, cela vient de GPT », explique Aaronson. L'outil utiliserait ce qu'il appelle une « fonction cryptographique pseudo-aléatoire ». Et seul OpenAI aurait accès à cette clé.
Source : prépublication
Et vous ?
:fleche: Comprenez-vous que les scientifiques n'arrivent pas toujours à faire la différence entre les résumés générés par l'IA et les résumés originaux ?
:fleche: Leur taux d'erreur vous semble acceptable ? Pourquoi ?
:fleche: Quelles implications possibles si les scientifiques n'y arrivent pas à tous les coups ?
:fleche: Que pensez-vous des propos d'Arvind Narayanan qui déclare : « Il est peu probable qu'un scientifique sérieux utilise ChatGPT pour générer des résumés », précisant que le fait que les résumés générés puissent être détectés ou non n'est « pas pertinent » puisque « La question est de savoir si l'outil peut générer un résumé précis et convaincant. Ce n'est pas possible, et donc l'avantage d'utiliser ChatGPT est minuscule, et l'inconvénient est important » ?
Voir aussi :
:fleche: Lyon*: ChatGPT utilisé par la moitié des élèves de Master d'un professeur pour rédiger leurs devoirs. « Cette pratique m'inquiète. Elle pose un véritable problème d'intégration des savoirs »
:fleche: CNET publie discrètement des articles entiers générés par l'IA et l'indique sur un descriptif déroulant, puis se ravise suite aux réactions
:fleche: Une application de santé mentale critiquée pour avoir utilisé l'IA chatGPT pour prodiguer des conseils à 4000 utilisateurs, ces derniers ont donné une note élevée aux réponses de l'IA
