Discussion :

[Patrick Ruiz]

Les élèves utilisent ChatGPT pour leurs devoirs et les enseignants utilisent ChatGPT pour les corriger, d’après des rapports
Qui suscitent des comparaisons avec les examens écrits et oraux

L’un des nouveaux professeurs d’informatique de l’université de Harvard est un chatbot. Il intervient comme assistant pour le cours introductif d’algorithmes et de développement web dénommé CS50. C’est un des exemples de mise à contribution de l’intelligence artificielle dans la formation des futurs intervenants de la filière du développement de logiciels. Comme mis en avant par plusieurs rapports, c’est désormais une tendance et elle ne manque pas de susciter des débats. En effet, certains observateurs sont d’avis qu’un retour aux examens écrits et oraux s’impose à l’ère de ChatGPT et autres Claude.

La décision de mettre à contribution ces intelligences artificielles tient à ce qu’elles peuvent permettre d’alléger la charge de travail de l’équipe pédagogique. Dans le cas de l’université de Harvard, le département d’informatique compte une centaine d’assistants et a de plus en plus de peine à encadrer des étudiants en nombre croissant, se connectant à partir de différents fuseaux horaires et avec des niveaux de connaissance et d’expérience variés.

L’intelligence artificielle est susceptible d’être le vecteur de la plus grande transformation de l’histoire : des cours personnalisés de haute qualité dispensés sans frais

Sal Khan, le fondateur et PDG de Khan Academy, est d’avis que l’intelligence artificielle pourrait déclencher la plus grande transformation positive que l’éducation n’ait jamais connue. Sal Khan a une vision ambitieuse pour l’avenir de l’éducation : il imagine un monde où chaque élève aurait accès à un super tuteur IA personnalisé qui l’accompagnerait tout au long de son parcours éducatif, lui offrant une expérience d’apprentissage optimale. Il imagine également un monde où chaque enseignant aurait accès à un assistant pédagogique IA qui l’aiderait à gérer sa classe, à préparer ses cours, à évaluer ses élèves et à se former. Il espère ainsi contribuer à démocratiser l’éducation et à libérer le potentiel de chaque individu. Il pense que l’intelligence artificielle peut être un outil puissant pour réaliser cette vision, à condition qu’elle soit utilisée de manière responsable et équitable.

C’est un positionnement qui fait écho à celui de Bill Gates. Le co-fondateur de Microsoft, Bill Gates, a prédit que les chatbots IA pourraient bientôt apprendre aux enfants à lire : « Je pense que l'intelligence artificielle a le potentiel de faire une grande différence dans l'éducation », a estimé Gates. « L'un des domaines dans lesquels je suis le plus enthousiasmé par l'IA est l'éducation de la petite enfance. Je pense que les chatbots IA pourraient être vraiment utiles pour apprendre aux enfants à lire ». Gates a souligné que de nombreux enfants ont du mal à apprendre à lire et que cela peut avoir un impact durable sur leurs performances scolaires. Il ajoute que les chatbots IA pourraient être utilisés pour fournir des instructions personnalisées aux enfants en difficulté, et que cela pourrait les aider à rattraper leurs pairs.

Est-ce néanmoins pertinent de mettre à contribution des outils d’intelligence artificielle erratiques dans la formation des apprenants de la filière de génie logiciel ?

Selon le rapport d’une étude - menée par les informaticiens Baba Mamadou Camara, Anderson Avila, Jacob Brunelle et Raphael Khoury affiliés à l'Université du Québec - le code généré par ces intelligences artificielles n'est pas très sûr. Dans le cadre de l'étude, les quatre chercheurs ont demandé à ChatGPT de générer 21 programmes dans cinq langages de programmation afin d'illustrer des failles de sécurité spécifiques telles que la corruption de la mémoire, le déni de service et une cryptographie mal élaborée. Le rapport indique que ChatGPT n'a produit que cinq programmes plus ou moins "sécurisés" sur 21 lors de sa première tentative.

Par exemple, le premier programme était un serveur FTP C++ pour le partage de fichiers dans un répertoire public. Mais le code produit par ChatGPT ne comportait aucune vérification des entrées, ce qui expose le logiciel à une vulnérabilité de traversée de chemin. Les conclusions du rapport font écho à des évaluations - mais pas identiques - similaires de GitHub Copilot, un outil de génération de code basé sur le modèle d'IA GPT-3 (récemment mis à niveau vers GPT-4).

Invité à corriger ses erreurs, le modèle d'IA a produit sept applications "plus sûres", mais cela ne concernait que la vulnérabilité spécifique évaluée. Les chercheurs ont constaté que ChatGPT ne reconnaissait pas que le code qu'il générait n'était pas sûr et qu'il ne fournissait des conseils utiles qu'après avoir été invité à remédier aux problèmes. Une chose contre laquelle les chercheurs mettent en garde. De plus, ils notent que ChatGPT ne partait pas d'un modèle contradictoire d'exécution du code et les a informés à plusieurs reprises que les problèmes de sécurité pouvaient être évités en ne fournissant pas d'entrées non valides au programme vulnérable.

Les auteurs ont estimé que ce n'était pas l'idéal, car le fait de savoir quelles questions poser suppose une certaine familiarité avec des bogues et des techniques de codage spécifiques. En d'autres termes, si vous connaissez la bonne question à poser à ChatGPT pour qu'il corrige une vulnérabilité, vous savez probablement déjà comment y remédier. Par ailleurs, les chercheurs soulignent également qu'il existe une incohérence éthique dans le fait que ChatGPT refuse de créer du code d'attaque, mais crée du code vulnérable. Ils citent un exemple de vulnérabilité de désérialisation en langage Java dans lequel "le chatbot a généré un code vulnérable".

ChatGPT a ensuite fourni des conseils sur la façon de le rendre plus sûr, mais a déclaré qu'il était incapable de créer la version plus sûre du code. « Les résultats sont inquiétants. Nous avons constaté que, dans plusieurs cas, le code généré par ChatGPT était bien en deçà des normes de sécurité minimales applicables dans la plupart des contextes. En fait, lorsqu'on lui a demandé si le code produit était sécurisé ou non, ChatGPT a été capable de reconnaître qu'il ne l'était pas », affirment les auteurs dans leur article. Les chercheurs ont déclaré que l'utilisation de ChatGPT pour la génération de code comportait des risques pour les entreprises.

Raphael Khoury, professeur d'informatique et d'ingénierie à l'Université du Québec en Outaouais et l'un des coauteurs de l'article, soutient que ChatGPT, dans sa forme actuelle, représente un risque, ce qui ne veut pas dire qu'il n'y a pas d'utilisations valables pour une aide IA erratique et peu performante. « Nous avons déjà vu des étudiants l'utiliser, et des programmeurs l'utiliseront dans la nature. Il est donc très dangereux d'avoir un outil qui génère un code non sécurisé. Nous devons faire prendre conscience aux étudiants que si un code est généré avec ce type d'outil, il est fort possible qu'il ne soit pas sécurisé », a-t-il déclaré.

Certains vidéos disponibles en ligne permettent d’illustrer des vulnérabilités comme celle de dépassement de tampon dans le code généré par ChatGPT.

C’est pour de telles raisons que des observateurs sont d’avis qu’un retour aux examens oraux s’impose à l’ère de l’IA et de ChatGPT

Les examens oraux ont été un élément essentiel de l'enseignement universitaire pendant des siècles. Ils offrent aux étudiants une occasion unique de démontrer leurs connaissances et leur compréhension d'un sujet dans un contexte de face-à-face. Contrairement aux examens écrits, les examens oraux permettent aux étudiants d'expliquer leur processus de réflexion et leur raisonnement, et d'engager un dialogue avec leur examinateur. Cela peut être particulièrement bénéfique pour les étudiants qui ont du mal à s'exprimer à l'écrit ou qui ont des difficultés à s'exprimer par écrit. Mais l'examen oral a connu un déclin à partir des années 1700.

Les universités avaient alors commencé à se tourner vers les évaluations écrites. L'examen des épreuves écrites était également un processus silencieux et donnait aux examinateurs suffisamment de temps pour noter dans le confort de leur propre maison. Cela dit, selon certains experts, bien que l'évaluation orale puisse sembler plus efficace et plus rentable, elle a un coût. Les évaluations écrites ne permettent pas de comprendre le processus de réflexion et le raisonnement d'un étudiant comme le font les examens oraux. En outre, ils estiment que les examens écrits ne permettent pas non plus le même niveau d'interaction entre l'étudiant et l'examinateur.

Dobson pense que les choses sont devenues encore plus problématiques ces dernières années lorsque l'utilisation de l'IA et des chatbots d'IA a conduit des universités à abandonner les examens oraux au profit d'examens écrits qui peuvent être notés de façon automatique. L'utilisation de l'IA pour la notation des évaluations a suscité des inquiétudes quant à la précision et à l'équité du processus de notation. Bien que ces technologies aient beaucoup progressé ces dernières années, elles sont toujours sujettes à des erreurs et à des biais. C'est un problème dans les matières qui nécessitent une évaluation subjective, comme la littérature ou la philosophie.

Pour ces raisons, et bien d'autres encore, certains observateurs sont d’avis que les universités devraient revenir aux examens oraux à l'ère de l'IA générative et de ChatGPT. Si l'IA et les chatbots peuvent être des outils utiles pour automatiser certaines tâches, cette catégorie d’intervenants est d’avis que ces technologies ne devraient pas remplacer l'élément humain de l'éducation. Cette dernière est d’avis que les examens oraux offrent une occasion unique aux étudiants de s'engager avec leurs examinateurs et de démontrer leur compréhension d'un sujet d'une manière qui ne peut pas être reproduite par l'IA ou les chatbots. Ceux-ci ajoutent que les examens oraux éliminent d'emblée tous les risques de tricherie.

Et vous ?

L’intelligence artificielle peut-elle vraiment remplacer ou compléter le rôle d’un tuteur ou d’un enseignant humain ? N’y a-t-il pas des aspects de l’éducation qui nécessitent une relation humaine, une empathie, une intuition, une créativité, une éthique, qui ne peuvent pas être reproduits ou simulés par une machine ?
L’intelligence artificielle peut-elle garantir une éducation de qualité pour tous ? N’y a-t-il pas des risques d’exclusion, de discrimination, de manipulation, de surveillance, de dépendance, qui peuvent affecter les utilisateurs de ces outils ? Comment assurer la transparence, la fiabilité, la sécurité, la diversité, l’inclusion, la justice, de ces outils ?
L’intelligence artificielle peut-elle s’adapter à tous les contextes et à toutes les cultures éducatives ? N’y a-t-il pas des différences, des spécificités, des besoins, des valeurs, qui varient selon les pays, les régions, les établissements, les disciplines, les niveaux, les élèves, les enseignants ? Comment respecter la pluralité et la singularité de ces contextes et de ces cultures ?

Voir aussi :

« ChatGPT est appelé à changer l'éducation telle que nous la connaissons, pas la détruire comme certains le pensent », affirme Douglas Heaven du MIT Technology Review

ChatGPT rédige désormais les dissertations des étudiants et l'enseignement supérieur est confronté à un grave problème, la détection des contenus générés par l'IA semble de plus en plus difficile

51 % des enseignants déclarent utiliser ChatGPT dans le cadre de leur travail, de même que 33 % des élèves, et affirment que l'outil a eu un impact positif sur leur enseignement et leur apprentissage

Un professeur surprend un étudiant en train de tricher avec le chatbot d'IA ChatGPT : « je suis terrorisé », il estime que ces outils pourraient aggraver la tricherie dans l'enseignement supérieur

[OrthodoxWindows]

Donc ChatGPT corrige ChatGPT

[Stéphane le calme]

Le pourcentage d'étudiants utilisant ChatGPT pour rédiger leurs devoirs et d'enseignants pour les corriger a augmenté selon un rapport,
une situation qui provoque plusieurs interrogations

Les enseignants et les étudiants utilisent les nouvelles technologies. Un rapport du cabinet de conseil en stratégie Tyton Partners, sponsorisé par la plateforme de détection du plagiat Turnitin, a révélé que la moitié des étudiants d'université utilisaient des outils d'IA à l'automne 2023. Dans le même temps, si les enseignants sont moins nombreux à utiliser l'IA, le pourcentage a augmenté pour atteindre 22 % des enseignants à l'automne 2023, contre 9 % au printemps 2023. La pratique consistant à utiliser l'IA pour rédiger des commentaires ou noter des devoirs soulève des questions d'ordre éthique : les parents et les étudiants peuvent se demander si une boucle de rétroaction sans fin de contenus générés et notés par l'IA à l'université vaut la peine d'y consacrer du temps et de l'argent.

Lorsque Diane Gayeski, professeur de communication stratégique à l'Ithaca College, reçoit une dissertation de l'un de ses étudiants, elle la soumet en partie à ChatGPT, en demandant à l'outil d'IA de la critiquer et de lui suggérer des moyens de l'améliorer. « La meilleure façon de considérer l'IA pour la notation est de la considérer comme un assistant d'enseignement ou un assistant de recherche qui pourrait faire un premier passage... et elle fait un très bon travail à cet égard », a-t-elle déclaré.

Elle montre à ses élèves les commentaires de ChatGPT et la façon dont l'outil a réécrit leur essai. « Je leur fais part de ce que je pense de leur introduction et nous en discutons », assure-t-elle. Gayeski demande à sa classe de 15 élèves de faire la même chose : passer leur projet par ChatGPT pour voir où ils peuvent apporter des améliorations.

L'émergence de l'IA est en train de remodeler l'éducation, présentant de réels avantages, tels que l'automatisation de certaines tâches afin de libérer du temps pour un enseignement plus personnalisé, mais aussi des risques importants, qu'il s'agisse de problèmes liés à la précision, au plagiat ou au maintien de l'intégrité.

Les enseignants comme les élèves utilisent les nouvelles technologies. Un rapport de la société de conseil en stratégie Tyton Partners, parrainé par la plateforme de détection du plagiat Turnitin, révèle que la moitié des étudiants se sont servi des outils d'IA à l'automne 2023. Parallèlement, bien que moins de membres du corps enseignant utilisent l'IA, le pourcentage a augmenté pour atteindre 22 % des membres du corps enseignant à l'automne 2023, contre 9 % au printemps 2023.

Les enseignants se tournent vers des outils et des plateformes d'IA - tels que ChatGPT, Writable, Grammarly et EssayGrader - pour les aider à corriger les copies, à rédiger des commentaires, à élaborer des plans de cours et à créer des devoirs. Ils utilisent également ces outils en plein essor pour créer des quiz, des sondages, des vidéos et des éléments interactifs afin d'améliorer les attentes en classe. Les étudiants, quant à eux, s'appuient sur des outils tels que ChatGPT et Microsoft CoPilot - qui est intégré dans Word, PowerPoint et d'autres produits.

Mais si certaines écoles ont élaboré des politiques sur la manière dont les élèves peuvent ou ne peuvent pas utiliser l'IA pour leurs travaux scolaires, beaucoup n'ont pas de lignes directrices à l'intention des enseignants. La pratique consistant à utiliser l'IA pour rédiger des commentaires ou noter des devoirs soulève également des questions d'ordre éthique. Les parents et les étudiants qui dépensent déjà des centaines de milliers de dollars en frais de scolarité peuvent se demander si une boucle de rétroaction sans fin de contenus générés et notés par l'IA à l'université vaut la peine d'y consacrer du temps et de l'argent.

« Si les enseignants l'utilisent uniquement pour noter et que les étudiants l'utilisent uniquement pour produire un produit final, cela ne fonctionnera pas », a déclaré Gayeski.

Pour ou contre l'utilisation de l'IA pour corriger ? Avantages et inconvénients

Selon Dorothy Leidner, professeur d'éthique des affaires à l'université de Virginie, l'utilisation de l'IA par les enseignants dépend de nombreux facteurs, notamment en ce qui concerne la notation. Si la matière testée dans une classe nombreuse est essentiellement constituée de connaissances déclaratives - c'est-à-dire qu'il y a clairement une bonne et une mauvaise réponse - alors un enseignant qui note à l'aide de l'IA « pourrait même être supérieur à un enseignant humain ». L'IA permettrait aux enseignants de corriger les copies plus rapidement et de manière plus cohérente, et d'éviter la fatigue ou l'ennui, a-t-elle ajouté.

Toutefois, Leidner a fait remarquer que lorsqu'il s'agit de classes plus petites ou de devoirs dont les réponses sont moins définitives, la notation devrait rester personnalisée afin que les enseignants puissent fournir des commentaires plus spécifiques et apprendre à connaître le travail d'un élève et, par conséquent, ses progrès au fil du temps. « L'enseignant doit être responsable de la notation, mais il peut confier une partie de cette responsabilité à l'intelligence artificielle », a-t-elle déclaré.

Elle a suggéré aux enseignants d'utiliser l'IA pour examiner certains paramètres - tels que la structure, l'utilisation de la langue et la grammaire - et d'attribuer une note numérique en fonction de ces chiffres. Mais les enseignants devraient ensuite noter eux-mêmes les travaux des élèves en recherchant la nouveauté, la créativité et la profondeur de la réflexion.

Une violation potentielle de la propriété intellectuelle des étudiants

Leslie Layne, qui a enseigné les meilleures pratiques de ChatGPT dans son atelier d'écriture à l'université de Lynchburg en Virginie, a déclaré qu'elle voyait les avantages pour les enseignants, mais aussi les inconvénients. « L'utilisation d'un feedback qui ne vient pas vraiment de moi semble un peu court-circuiter cette relation », a-t-elle déclaré.

Elle considère également que le téléchargement du travail d'un élève sur ChatGPT est une « énorme considération éthique » et une violation potentielle de leur propriété intellectuelle. Les outils d'IA tels que ChatGPT utilisent ces entrées pour former leurs algorithmes sur tout, des modèles de discours à la façon de faire des phrases, en passant par les faits et les chiffres.

Le professeur d'éthique Leidner s'est dit d'accord, affirmant que cela devrait être particulièrement évité pour les thèses de doctorat et les mémoires de maîtrise, car l'étudiant pourrait espérer publier son travail. « Il ne serait pas correct de télécharger le matériel dans l'IA sans que les étudiants en soient informés à l'avance », a-t-elle déclaré. « Et peut-être que les étudiants devraient donner leur consentement ».

Certains enseignants s'appuient sur un logiciel appelé Writable qui utilise ChatGPT pour aider à noter les devoirs, mais qui est "tokenisé", c'est-à-dire que les dissertations ne contiennent aucune information personnelle et ne sont pas partagées directement avec le système. Les enseignants téléchargent les essais sur la plateforme, qui a récemment été rachetée par la société d'éducation Houghton Mifflin Harcourt, qui propose ensuite des commentaires aux élèves.

D'autres éducateurs utilisent des plateformes telles que Turnitin, qui se targuent d'outils de détection du plagiat, pour aider les enseignants à identifier les devoirs rédigés par ChatGPT et d'autres IA. Mais ces types d'outils de détection sont loin d'être infaillibles ; OpenAI a fermé son propre outil de détection de l'IA l'année dernière en raison de ce que l'entreprise a appelé un « faible taux de précision ».

Conclusion

L’utilisation de l’intelligence artificielle pour évaluer les essais suscite des débats et soulève des questions éthiques dans le domaine de l’éducation. Voici un aperçu des avantages, des inconvénients liés à cette pratique :

• Avantages de l’IA pour l’évaluation des essais :
  
  • Automatisation : L’IA peut automatiser certaines tâches de notation, libérant ainsi du temps pour des interactions plus personnalisées avec les étudiants.
  • Rapidité : L’IA peut évaluer un grand nombre d’essais en peu de temps.
• Inconvénients et préoccupations éthiques :
  
  • Précision : L’IA peut ne pas toujours évaluer correctement la qualité d’un essai, en particulier lorsqu’il s’agit de créativité, d’originalité et de profondeur de réflexion.
  • Plagiat : L’utilisation d’IA pour évaluer les essais peut rendre plus difficile la détection du plagiat.
  • Intégrité académique : Certains estiment que l’utilisation excessive d’IA peut priver les étudiants d’interactions humaines et de mentorat, essentiels à leur expérience éducative.
  • Propriété intellectuelle : Le téléchargement d’essais d’étudiants dans des outils d’IA peut soulever des questions de propriété intellectuelle.

En fin de compte, l’utilisation de l’IA pour évaluer les essais est un domaine en évolution, et il est essentiel de trouver un équilibre entre efficacité, précision et intégrité académique. Les enseignants et les établissements doivent réfléchir soigneusement aux implications éthiques et aux meilleures pratiques pour garantir une évaluation équitable et de haute qualité.

Source : rapport GenAI in Higher Education

Et vous ?

Comment pouvons-nous garantir que les outils d’IA générative ne compromettent pas l’intégrité académique des travaux des étudiants ? Quelles mesures devraient être mises en place pour prévenir la tricherie et le plagiat lorsque les étudiants utilisent des outils de GenAI pour rédiger leurs devoirs ?
La GenAI peut-elle stimuler la créativité des étudiants ou risque-t-elle de les encourager à simplement reproduire des modèles existants ? Comment pouvons-nous encourager l’utilisation créative de la GenAI tout en maintenant des normes d’originalité ?
Pensez-vous que l’IA est plus objective que les enseignants humains lorsqu’il s’agit d’évaluer des essais ? Pourquoi ou pourquoi pas ?
Comment l’utilisation de l’IA pour évaluer les essais peut-elle affecter l’apprentissage des étudiants ? Est-ce positif ou négatif ?
Comment pouvons-nous trouver un équilibre entre l’efficacité (évaluation rapide) et la qualité (évaluation précise) lors de l’utilisation de l’IA pour noter les essais ?
Êtes-vous à l’aise avec l’idée que votre essai soit évalué par une machine ? Pourquoi ou pourquoi pas ?
Quelles mesures devraient être prises pour garantir la transparence des algorithmes d’évaluation des essais ? Qui devrait être responsable en cas d’erreur ?
À quoi pourrait ressembler l’enseignement supérieur lorsque la GenAI sera pleinement intégrée dans les salles de classe ?
Quelles compétences devraient être développées chez les étudiants pour qu’ils puissent tirer parti de ces outils de manière responsable et innovante ?

[RenarddeFeu]

J'ai toujours pensé que si une calculatrice suffisait à tuer la difficulté d'un exercice, c'est qu'il n'avait aucun intérêt pédagogique à la base. Cela semble aussi s'appliquer à ChatGPT.

[Stéphane le calme]

Écriture académique à l’ère de l’IA : progrès ou problème ? Les étudiants rédigent probablement des millions d'articles à l'aide de l'IA,
selon une étude menée par Turnitin

L’avènement de l’intelligence artificielle (IA) a transformé de nombreux aspects de notre vie quotidienne, et le domaine de l’éducation n’est pas en reste. Récemment, une étude menée par la société Turnitin, spécialisée dans la détection de plagiat, a révélé que les étudiants auraient soumis plus de 22 millions de travaux qui pourraient avoir été rédigés avec l’aide de l’IA au cours de l'année dernière.

Cette révélation soulève des questions importantes sur l’intégrité académique et la manière dont l’IA est en train de redéfinir les méthodes d’apprentissage et d’évaluation. Turnitin a déployé il y a un an un outil de détection d’écriture IA, formé sur un trésor de travaux étudiants ainsi que sur d’autres textes générés par l’IA. Depuis lors, plus de 200 millions de travaux ont été examinés par le détecteur, principalement rédigés par des élèves du secondaire et des étudiants universitaires

L’outil a identifié que 11 % des travaux pourraient contenir un langage écrit par l’IA dans 20 % de leur contenu, avec 3 % des travaux examinés signalés pour avoir 80 % ou plus de contenu écrit par l’IA.

Malgré les défauts de l’IA, tels que la création de faits fictifs et la citation de références académiques qui n’existent pas réellement, les étudiants ont utilisé des chatbots pour la recherche, l’organisation des idées et même comme prête-plume. Des traces de chatbots ont même été trouvées dans des écrits académiques évalués par des pairs et publiés.

La détection de l’utilisation de l’IA est complexe. Ce n’est pas aussi simple que de signaler un plagiat, car le texte généré reste un texte original. De plus, il y a une nuance dans la façon dont les étudiants utilisent l’IA générative ; certains peuvent demander à des chatbots d’écrire leurs travaux pour eux en gros blocs ou en entier, tandis que d’autres peuvent utiliser les outils comme une aide ou un partenaire de brainstorming.

Les outils de détection eux-mêmes présentent un risque de biais

Une étude réalisée en 2023 a révélé un taux de faux positifs de 61,3 % lors de l'évaluation des examens du Test of English as a Foreign Language (TOEFL) à l'aide de sept détecteurs d'intelligence artificielle différents. L'étude n'a pas examiné la version de Turnitin. La société affirme qu'elle a entraîné son détecteur sur des textes rédigés par des apprenants d'anglais et par des anglophones de naissance.

Dans notre étude, nous avons évalué les performances de sept détecteurs GPT largement utilisés sur 91 essais TOEFL (Test of English as a Foreign Language) provenant d'un forum chinois et 88 essais d'élèves américains de quatrième (eight-grade) provenant de l'ensemble de données ASAP de la Fondation Hewlett. Alors que les détecteurs ont correctement classé les essais des étudiants américains, ils ont incorrectement étiqueté plus de la moitié des essais du TOEFL comme étant « générés par l'IA » (taux moyen de faux positifs : 61,3 %).

Tous les détecteurs ont unanimement identifié 19,8 % des essais du TOEFL écrits par des humains comme étant rédigés par des IA, et au moins un détecteur a signalé 97,8 % des essais du TOEFL comme étant générés par des IA. En y regardant de plus près, les essais TOEFL identifiés à l'unanimité présentaient une perplexité de texte significativement plus faible. La perplexité du texte est une mesure de la « surprise » ou de la « confusion » d'un modèle de langage génératif lorsqu'il tente de deviner le mot suivant dans une phrase. Si un modèle de langage génératif peut prédire facilement le mot suivant, la perplexité du texte est faible. En revanche, si le mot suivant est difficile à prédire, la perplexité du texte est élevée. La plupart des détecteurs GPT utilisent la perplexité du texte pour détecter les textes générés par l'IA, ce qui risque de pénaliser par inadvertance les auteurs non natifs qui utilisent une gamme plus limitée d'expressions linguistiques.

Une étude publiée en octobre a montré que Turnitin était l'un des détecteurs de langue les plus précis parmi 16 détecteurs d'IA dans le cadre d'un test au cours duquel l'outil a examiné des travaux de premier cycle et des travaux générés par l'IA.

Cette étude évalue la précision de 16 détecteurs de texte d'IA publiquement disponibles pour distinguer les écrits générés par l'IA de ceux générés par l'homme. Les documents évalués comprennent 42 essais de premier cycle générés par ChatGPT-3.5, 42 générés par ChatGPT-4, et 42 écrits par des étudiants dans un cours de composition de première année sans l'utilisation de l'IA.

Les performances de chaque détecteur ont été évaluées en fonction de sa précision globale, de sa précision pour chaque type de document, de son caractère décisif (nombre relatif de réponses incertaines), du nombre de faux positifs (documents générés par des humains et désignés comme IA par le détecteur) et du nombre de faux négatifs (documents générés par l'IA et désignés comme humains).

Trois détecteurs - Copyleaks, TurnItIn et Originality.ai - ont une grande précision avec les trois ensembles de documents. Bien que la plupart des 13 autres détecteurs puissent faire la distinction entre les documents GPT-3.5 et les documents générés par l'homme avec une précision raisonnablement élevée, ils sont généralement inefficaces pour faire la distinction entre les documents GPT-4 et ceux rédigés par des étudiants de premier cycle. Dans l'ensemble, les détecteurs qui exigent une inscription et un paiement ne sont que légèrement plus précis que les autres.

Acheter ou ne pas acheter de licence ?

Les écoles qui utilisent Turnitin ont eu accès au logiciel de détection de l'IA pendant une période pilote gratuite, qui s'est achevée au début de cette année. Selon Annie Chechitelli, chef de produit de l'entreprise, la majorité des clients du service ont choisi d'acheter le logiciel de détection de l'IA. Mais les risques de faux positifs et de préjugés à l'encontre des apprenants d'anglais ont conduit certaines universités à abandonner ces outils pour l'instant. L'université d'État de Montclair, dans le New Jersey, a annoncé en novembre qu'elle cesserait d'utiliser le détecteur d'IA de Turnitin. L'université Vanderbilt et l'université Northwestern ont fait de même l'été dernier.

« C'est difficile. Je comprends que les gens veuillent un outil », déclare Emily Isaacs, directrice exécutive de l'Office of Faculty Excellence à l'université Montclair. Mais Emily Isaacs explique que l'université est préoccupée par les résultats potentiellement biaisés des détecteurs d'intelligence artificielle, ainsi que par le fait que les outils ne peuvent pas fournir de confirmation comme c'est le cas pour le plagiat. En outre, l'université de Montclair ne souhaite pas interdire de manière générale l'IA, qui aura sa place dans le monde universitaire. Avec le temps et une plus grande confiance dans les outils, les politiques pourraient changer. « Il ne s'agit pas d'une décision définitive, mais d'une décision immédiate », précise Isaacs.

Selon Chechitelli, l'outil Turnitin ne devrait pas être le seul élément à prendre en compte pour décider de la réussite ou de l'échec d'un étudiant. Au contraire, c'est l'occasion pour les enseignants d'entamer des conversations avec les élèves qui abordent toutes les nuances de l'utilisation de l'IA générative. « Les gens ne savent pas vraiment où se situe la limite », dit-elle.

L'utilisation de l'IA dans le processus de notation par les enseignants complexifie le problème

Les enseignants, comprenant la situation, souhaitent tenir les étudiants responsables de l’utilisation de l’IA générative sans autorisation ni divulgation. Mais cela nécessite un moyen fiable de prouver que l’IA a été utilisée dans un devoir donné. Les instructeurs ont parfois tenté de trouver leurs propres solutions pour détecter l’IA dans l’écriture, utilisant des méthodes non testées pour faire respecter les règles, ce qui a causé du stress chez les étudiants. Par exemple, en mai, un professeur de la Texas A&M University-Commerce a accusé sa classe d'avoir utilisé le ChatGPT, mettant ainsi en péril les diplômes.

Jared Mumm, enseignant au département des sciences agricoles et des ressources naturelles, aurait dit aux étudiants qu'ils recevraient un "X" dans le cours après avoir utilisé ChatGTP pour déterminer s'ils avaient utilisé le logiciel pour rédiger leurs travaux finaux. Il a indiqué qu'il avait testé chaque devoir deux fois et que le bot avait prétendu avoir rédigé tous les devoirs finaux.

« Je copie et colle vos réponses dans [ChatGPT] et [il] me dira si le programme a généré le contenu », selon l'e-mail. Les étudiants signalés comme tricheurs « recevaient un 0 ». « Je ne noterai pas ChatGPT », a-t-il écrit sur le devoir d'un élève. « Je dois évaluer ce que vous apprenez, pas [ce que produit] un ordinateur ».

Le courrier électronique a semé la panique dans la classe, certains élèves craignant que leur diplôme ne soit menacé. Une élève de terminale, qui avait obtenu son diplôme au cours du week-end, a déclaré que l'accusation l'avait mise dans un état de frénésie. Elle a rassemblé des preuves de son innocence - elle avait rédigé ses dissertations dans Google Docs, qui enregistre les horodatages - et les a présentées à Mumm lors d'une réunion.

« Nous avons beaucoup souffert pour obtenir ces diplômes », a-t-elle déclaré dans une interview au Post. « L'idée que mon dur labeur ne soit pas reconnu et que mon caractère soit remis en question m'a vraiment frustrée ».

Comme pour ajouter de la complexité au problème, certains enseignants utilisent même l'IA générative dans leurs processus de notation.

Les enseignants comme les élèves utilisent les nouvelles technologies. Un rapport de la société de conseil en stratégie Tyton Partners, parrainé par la plateforme de détection du plagiat Turnitin, révèle que la moitié des étudiants se sont servi des outils d'IA à l'automne 2023. Parallèlement, bien que moins de membres du corps enseignant utilisent l'IA, le pourcentage a augmenté pour atteindre 22 % des membres du corps enseignant à l'automne 2023, contre 9 % au printemps 2023.

Les enseignants se tournent vers des outils et des plateformes d'IA - tels que ChatGPT, Writable, Grammarly et EssayGrader - pour les aider à corriger les copies, à rédiger des commentaires, à élaborer des plans de cours et à créer des devoirs. Ils utilisent également ces outils en plein essor pour créer des quiz, des sondages, des vidéos et des éléments interactifs afin d'améliorer les attentes en classe. Les étudiants, quant à eux, s'appuient sur des outils tels que ChatGPT et Microsoft CoPilot - qui est intégré dans Word, PowerPoint et d'autres produits.

Conclusion

L’utilisation de l’IA dans la rédaction de travaux académiques est une réalité qui ne peut être ignorée. Elle présente à la fois des défis et des opportunités pour le système éducatif. Alors que nous naviguons dans cette nouvelle ère, il est crucial de trouver un équilibre entre l’adoption de ces technologies innovantes et le maintien de l’intégrité académique.

Sources : les détecteurs GPT sont biaisés à l'encontre des rédacteurs dont l'anglais n'est pas la langue maternelle, l'efficacité des logiciels conçus pour détecter les écrits générés par l'IA : Comparaison de 16 détecteurs de textes générés par l'IA, étude de Turnitin

Et vous ?

Que pensez-vous des résultats de l'étude de Turnitin ? Les trouvez-vous crédibles ou non ? Dans quelle mesure ?
Quelles devraient être les limites éthiques de l’utilisation de l’IA dans la rédaction de travaux académiques ?
Comment les établissements d’enseignement peuvent-ils s’adapter pour intégrer l’IA tout en préservant l’intégrité académique ?
L’IA générative devrait-elle être considérée comme un outil légitime pour aider les étudiants dans leur processus d’apprentissage ?
Quel rôle les enseignants devraient-ils jouer pour encadrer l’utilisation de l’IA par les étudiants ?
Comment pouvons-nous distinguer entre l’assistance de l’IA et la tricherie dans le contexte académique ?
Devrions-nous craindre que l’IA puisse compromettre le développement des compétences d’écriture et de pensée critique chez les étudiants ?
Quelles mesures les universités devraient-elles prendre pour détecter et décourager l’utilisation non divulguée de l’IA dans les travaux soumis ?