IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Le paradoxe des détecteurs d'IA en classe : accusés à tort de tricher, des étudiants apprennent l'IA


Sujet :

Intelligence artificielle

  1. #81
    Membre éprouvé
    Avatar de Matthieu Vergne
    Homme Profil pro
    Consultant IT, chercheur IA indépendant
    Inscrit en
    Novembre 2011
    Messages
    2 434
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant IT, chercheur IA indépendant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Novembre 2011
    Messages : 2 434
    Billets dans le blog
    3
    Par défaut
    Qu'ils laissent préparer l'écrit comme d'habitude, mais évaluent les étudiants à l'oral sur la base de ce qui a été écrit. L'important est qu'ils apprennent : qu'ils utilisent l'IA ou pas à l'écrit, tant qu'ils retiennent ce qu'il faut le boulot est fait. Et au passage ça remettra l'humain au centre.
    Site perso
    Recommandations pour débattre sainement

    Références récurrentes :
    The Cambridge Handbook of Expertise and Expert Performance
    L’Art d’avoir toujours raison (ou ce qu'il faut éviter pour pas que je vous saute à la gorge {^_^})

  2. #82
    Membre éprouvé
    Homme Profil pro
    Développeur
    Inscrit en
    Août 2003
    Messages
    1 549
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 39
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : Développeur

    Informations forums :
    Inscription : Août 2003
    Messages : 1 549
    Par défaut
    Je suis d'accord que pour apprendre il faut évidemment étudier et donc travailler mais :
    - avoir trop de devoirs doit pousser les élèves à utiliser des IA pour ce qui est écrit afin de dégager du temps pour autre chose. En plus, par rapport à mon cursus je dois me rappeler d'à peine 20% de ce que j'ai appris (par cœur pour certaines occasions) ( Pour la médecine et d'autres domaine il n'y a pas le choix). Je me rappelle du collège : une trentaines d'heure de cours par semaine avec 2x1h de trajet le matin (donc 6h30-18h30 juste pour ce qui était lié à l'école) et enfin le sport certains soir et parfois le WE... c'était bien rempli, je me demande comment on faisait
    - si les classes avaient des "tailles humaines", les professeurs connaîtraient bien tous les élèves et généralement il y a une corrélation entre ce qui se passe en cours et ce qui est rendu dans les travaux à la maison. Avec l'IA ça joue au chat et à la souris. L'oral n'est pas forcément révélateur car avec le stress, la timidité on peut perdre ses moyens
    - arrêter de survaloriser le tertiaire afin que ce qui débouche vers des métiers manuels soit aussi bien vu
    - avoir moins d'heures de cours mais potentiellement 1h encadrée régulièrement pour faire ses devoirs écrits seul ou en petit groupe de travail est peut être une piste
    - faire redoubler quand c'est nécessaire et ne plus se soucier des chiffres pour l'établissement qui maintiennent une élite au lieu de chercher à mieux aider les élèves (accompagnement, réorientation, ...)

    Parfois je me demande si un système d'éducation qui ne te pousse pas faire des études (donc rapidement travailler post-bac) mais qui te permet facilement de reprendre des études serait mieux (par facilement, ouvert au delà de 25 ans, si on s'est arrêté juste après le bac que le coût soit grandement réduit, ...)
    Continuer de valoriser l'alternance... même si j'ai l'impression que sur LinkedIn je vois de plus en plus d'étudiants ayant du mal à trouver une alternance ou un stage. En pratique pour l'entreprise ce n'est pas forcément simple.

  3. #83
    Membre prolifique
    Avatar de Ryu2000
    Homme Profil pro
    Étudiant
    Inscrit en
    Décembre 2008
    Messages
    11 036
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 37
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Décembre 2008
    Messages : 11 036
    Par défaut
    Citation Envoyé par smarties Voir le message
    - avoir trop de devoirs doit pousser les élèves à utiliser des IA
    Avant l'IA il y a avait déjà des élèves avec trop de devoir et ils se débrouillaient très bien sans.

    Là le problème c'est que peu importe ta classe, si t'as un "Devoir à la Maison" tu peux instantanément avoir la correction parfaite.
    Ça ne doit pas te motiver à faire le job à la main.
    T'arrives en vacances le vendredi à 16h30, si tu veux dans 30 minutes t'as fini ton gros DM de Maths et après t'es tranquille pendant 2 semaines. (Il ne faut pas oublier de saboter un minimum le travail, afin d'éviter d'avoir 19,75/20 sinon c'est trop louche)

    Citation Envoyé par smarties Voir le message
    - si les classes avaient des "tailles humaines"
    Il n'y a pas le budget, l'état est surendetté, il emprunte à des taux de plus en plus élevés, le premier poste de dépense est le remboursement des intérêts de la dette.
    Une dette c'est une dette.
    Le gouvernement souhaite diminuer ses dépenses afin de pouvoir donner plus d'argent aux banques.

    Peut-être que pour les très riches il existe des écoles privées très cher avec des effectifs moindre.
    En plus de ça ils ont des professeurs particuliers pour gosse de riche.

    Citation Envoyé par smarties Voir le message
    - arrêter de survaloriser le tertiaire afin que ce qui débouche vers des métiers manuels soit aussi bien vu
    Ouais il faudrait que les étudiants percutent que tu peux gagner plus avec un BAC Pro qu'avec une Master ou un Doctorat.
    Être employé de bureau c'est pas marrant.
    ♫♪ Des solutions aux problèmes des jeunes d'aujourd'hui ♪♫

  4. #84
    Membre éprouvé
    Homme Profil pro
    Développeur
    Inscrit en
    Août 2003
    Messages
    1 549
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 39
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : Développeur

    Informations forums :
    Inscription : Août 2003
    Messages : 1 549
    Par défaut
    Quand tu as des devoirs qui te sont donnés la veille pour le lendemain, que tu rentre chez toi vers 19h (donc tu manges à moins que tu ais une activité), je trouvais ça difficile de me motiver à l'époque donc je faisais le maximum en classe ou pendant les pauses.

    L'argent est en effet un problème pour l'état mais il pourrait éviter certaines dépenses pour les hauts fonctionnaires et les entreprises. En gagner en mettant l'écotaxe par exemple car nous sommes l'un des seuls pays d'Europe à ne pas en avoir...

    Il faut aussi que dès la primaire les enfants aient conscience qu'avoir un métier manuel soit aussi bien que derrière un bureau (voire mieux). Peut être plus de classes/modules avec des activités manuelles aideraient (usinage, travail du bois, bricolage, plomberie, jardinage, ...). Si on passe toute sa scolarité à travailler sur du papier / ordinateur (au chaud à un bureau) je trouve qu'il est naturel que les gens s'orientent dans le tertiaire.

    Réformer tout le système éducatif seraient long et compliqué de toute façon.

    Il sera difficile pour les jeunes de vivre sans l'IA sauf si tout est payant et cela réduirait drastiquement l'utilisation de celle-ci.

  5. #85
    Membre averti
    Homme Profil pro
    Ingénieur qualité méthodes
    Inscrit en
    Janvier 2009
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 64
    Localisation : France, Isère (Rhône Alpes)

    Informations professionnelles :
    Activité : Ingénieur qualité méthodes
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Janvier 2009
    Messages : 25
    Par défaut Cercle vicieux ou conspiration technosolutionniste ?
    ... Enfin bref, on touche le fond, là, non ? ...

    Est-ce qu'un jour un débat "démocratique" sur l'IA aura lieu, entre des gens non issus de la tech, avec des philosophes, des sociologues, peut-être même des politiques, et des vrais gens tirés au sort ?
    Parce qu'on est quand même en train de vivre une révolution qui pourrait bien se retourner contre l'espèce humaine toute entière. Cela dit, si ça pouvait débarrasser la planète d'une espèce particulièrement nuisible, ça ne serait pas un mal.

    Après, on peut aussi penser que c'est un véritable complot, une dérive pensée par les gourous de la tech pour prendre le pouvoir. Niveler par le bas, anéantir toute velléité de réflexion approfondie afin d'asseoir l'utilisation de l'IA et la prise de pouvoir de la technique sur les politiques pour faire enfin advenir une politique technosolutionniste et totalitaire qui leur permettra d'aller sur Mars après avoir rendu la Terre inhabitable. Ces gens sont sans limite.
    Bon, je conspirationnise un peu là ... mais c'est pas sûr... D'ailleurs le correcteur orthographique a accepté conspirationnise ... 2 fois... c'est un signe, non ?

  6. #86
    Membre averti
    Homme Profil pro
    Ingénieur qualité méthodes
    Inscrit en
    Janvier 2009
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 64
    Localisation : France, Isère (Rhône Alpes)

    Informations professionnelles :
    Activité : Ingénieur qualité méthodes
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Janvier 2009
    Messages : 25
    Par défaut
    Citation Envoyé par smarties Voir le message
    Il faut aussi que dès la primaire les enfants aient conscience qu'avoir un métier manuel soit aussi bien que derrière un bureau (voire mieux).
    Oui, absolument !
    Mais il faudrait aussi que les salaires soient rééquilibrés.. Aïe...
    .Que les gens qui sont au service des autres soient mieux considérés, y compris financièrement... Ouh là...
    Mais comme je ne souhaite pas un nivellement par le bas... ça remet aussi en cause la répartition des richesses... Ouch ...
    Et là, même si on met en avant le fait que notre environnement étant limité, la richesse de quelques uns ne peut s'accroître indéfiniment, on se fait taxer par certains (qui doivent être soit du bon côté soit atteints d'une sorte de syndrome de Stockholm) d'extrême gauchiste ... Et donc le maçon continuera de gagner le SMIC, et s'il est entrepreneur devra travailler 2 fois plus pour gagner pas beaucoup. Et l'aide à domicile continuera à exercer un vrai sacerdoce mal payé et mal considéré.
    Et c'est pas l'IA qui va améliorer tout ça !

  7. #87
    Membre éclairé
    Homme Profil pro
    Gérant
    Inscrit en
    Février 2006
    Messages
    265
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 52
    Localisation : Dom-Tom

    Informations professionnelles :
    Activité : Gérant

    Informations forums :
    Inscription : Février 2006
    Messages : 265
    Par défaut Pourquoi faire compliqué quand on peut faire simple ?
    Ou plus simplement, sans dépenser un seul €uro et sans prise de tête technologique, devoirs surveillés avec papier et stylo uniquement ! On verra très vite ceux qui étaient habitués à tricher...
    Pourquoi faire compliqué quand on peut faire simple ?

  8. #88
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    9 919
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 9 919
    Par défaut Un professeur lutte contre la tricherie alimentée par l'IA grâce à des examens oraux automatisés
    Combattre le feu par le feu : un professeur lutte contre la tricherie alimentée par l'IA
    grâce à des examens oraux automatisés qui coûtent 42 centimes par étudiant

    Confronté à des rendus d'étudiants trop parfaits pour être honnêtes, Panos Ipeirotis, professeur à la NYU Stern School of Business, a choisi de combattre le feu par le feu. En déployant un agent vocal basé sur ElevenLabs, Claude, Gemini et ChatGPT, il a organisé des examens oraux entièrement automatisés, personnalisés et évalués par un jury de modèles de langage — le tout pour 15 dollars, soit 42 cents par étudiant. Une expérience aussi révélatrice que controversée, qui interroge en profondeur l'avenir de l'évaluation académique à l'ère de l'IA générative.

    Tout a commencé par un sentiment diffus, mais persistant. Dans le cadre du cours « AI/ML Product Management » co-animé avec Konstantinos Rizakos à la NYU Stern School of Business, les soumissions préalables aux études de cas semblaient anormalement soignées. Pas le genre de « bon étudiant » soigné — plutôt le genre de mémo McKinsey relu par trois équipes d'édition. Panos Ipeirotis l'exprime sans détour sur son blog : l'IA était visiblement dans la boucle, non pas pour augmenter la réflexion des apprenants, mais pour la remplacer.

    Précision importante : dans un cours entièrement consacré à l'IA et au machine learning, l'utilisation de l'IA n'est pas interdite — elle est activement encouragée. La distinction qu'Ipeirotis cherche à préserver est plus subtile : utiliser l'IA pour amplifier sa propre réflexion est de l'éducation et non lui sous-traiter intégralement sa pensée. Cette nuance, facile à formuler, est devenue presque impossible à détecter dans les productions écrites.

    Sa réponse initiale fut classique : interroger les étudiants à l'improviste en plein cours. Le résultat fut, selon ses propres mots, « éclairant ». Nombre de ceux qui avaient rendu des travaux structurés et nuancés se révélaient incapables d'en expliquer les choix fondamentaux après deux questions de suivi. L'écart entre les productions écrites et la capacité à les défendre oralement était trop systématique pour être attribué au simple trac. La conclusion s'imposait : si vous ne pouvez pas défendre votre propre travail en temps réel, le document écrit ne mesure pas ce que vous pensez mesurer.

    Le professeur en tire une conclusion radicale : l'équilibre historique qui permettait aux examens à domicile d'évaluer la compréhension réelle est « mort, révolu, kaput ». Les étudiants peuvent désormais répondre à la quasi-totalité des questions d'examen traditionnelles grâce aux LLM disponibles. Même le repli vers les examens papier en salle ne suffit plus dès lors qu'on cherche à évaluer la contribution individuelle à des projets de groupe — une présentation peut être générée clé en main par NotebookLM ou Gemini sans que l'étudiant ait jamais ouvert le sujet.

    L'examen oral : vertueux mais non scalable — jusqu'à aujourd'hui

    L'examen oral s'impose naturellement comme la parade : impossible de souffler une réponse à un étudiant en temps réel sans que cela soit détectable, il force la pensée en mouvement, l'application spontanée, la défense de décisions réelles. Mais sa vertu est aussi son talon d'Achille : il ne passe pas à l'échelle.

    Avec 36 étudiants et deux instructeurs, l'expérience reste gérable — à peine. Mais les demandes d'aménagements s'accumulent instantanément : un vol le 15, trois autres examens ce jour-là, un événement familial. Tous légitimes. Multipliez par dix pour une grande classe, et vous obtenez un cauchemar logistique d'un mois. C'est précisément pourquoi les examens oraux ont progressivement disparu de l'enseignement supérieur à mesure que les effectifs grossissaient.

    L'idée d'Ipeirotis : utiliser l'IA pour restaurer ce format d'évaluation disparu. Inspiré par des travaux de recherche de Brian Jabarian montrant comment l'IA conduit des entretiens d'embauche, il décide de construire un agent vocal examinateur sur la plateforme ElevenLabs Conversational AI. L'idée peut sembler absurde. Elle ne l'était plus vraiment, à condition d'accepter que le problème à résoudre n'est pas de reproduire un jury humain, mais de mesurer une compréhension réelle à l'échelle.

    Architecture technique : sous-agents, variables dynamiques et jury de LLM

    L'examen se déroule en deux parties distinctes. La première porte sur le projet de fin de semestre de chaque étudiant : objectifs, données utilisées, choix de modélisation, métriques d'évaluation, points de défaillance. C'est là que la stratégie « copier-coller dans ChatGPT » s'effondre : improviser des réponses cohérentes sur des décisions spécifiques face à un interlocuteur qui creuse est autrement plus difficile que produire un texte poli. La seconde partie consiste à sélectionner une étude de cas parmi celles étudiées en cours et à répondre à des questions couvrant les thématiques abordées.

    Techniquement, l'agent est décomposé en sous-agents spécialisés via un système de workflow. Un agent d'authentification vérifie l'identité de l'étudiant avant tout. Un agent dédié au projet injecte les paramètres personnalisés (nom, détails du projet) en variables dynamiques. Un agent de discussion de cas sélectionne et interroge sur une étude de cas. Cette architecture multi-agents n'est pas que cosmétique : elle empêche le système de dériver vers une conversation non bornée et facilite le débogage. La prochaine étape naturelle est d'y connecter un système RAG sur les propres soumissions des étudiants — slides, rapports, notebooks — pour que l'agent puisse citer et sonder précisément leur travail réel.

    Pour la notation, Ipeirotis s'inspire de l'approche « Council of LLMs » proposée par Andrej Karpathy : trois modèles distincts — Claude, Gemini et ChatGPT — évaluent chaque transcription de manière indépendante, puis consultent les évaluations des autres et révisent leur jugement. Claude joue le rôle de président du jury et synthétise la note finale avec les preuves à l'appui. La délibération imite un jury humain, avec une dynamique de confrontation et de convergence.

    Nom : performance.png
Affichages : 66083
Taille : 72,6 Ko

    Ce qui a dysfonctionné — et les corrections apportées

    La première version de l'agent a essuyé des critiques sérieuses. Le problème le plus flagrant : la voix. Les professeurs avaient cloné celle d'un collègue, Foster Provost, dont le clone était techniquement le plus fidèle. Mais les étudiants l'ont trouvée « intense », « condescendante ». L'un d'eux a même signalé que « l'agent lui criait dessus ». L'anxiété de performance, déjà élevée dans un contexte d'examen oral, a été amplifiée par le timbre et le débit de la voix synthétique — une variable à laquelle les concepteurs de l'agent n'avaient pas accordé suffisamment d'importance au départ.

    Autre écueil majeur : l'agent empilait les questions. Au lieu d'en poser une à la fois, il formulait des requêtes composites (« Expliquez votre choix de métrique, quelles baselines avez-vous testées, pourquoi pas X, et que feriez-vous ensuite ? »), soit quatre questions déguisées en une seule. La charge cognitive pour un étudiant en temps réel devenait ingérable. La correction : une règle stricte dans le prompt — une seule question par tour, le reste est chaîné sur les échanges suivants.

    La clarification posait également problème : quand un étudiant demandait à l'agent de répéter la question, celui-ci la paraphrasait légèrement différemment, créant l'impression de répondre à un sujet distinct. La correction : instruction explicite de répéter mot pour mot, sans reformulation. Par ailleurs, l'agent interrompait les silences réflexifs trop rapidement. Le délai avant l'intervention a été porté de 5 à 10 secondes — un changement minime en apparence, mais déterminant pour la qualité des réponses.

    Enfin, la pseudo-aléa de sélection des cas s'est révélée problématique. Demander à un LLM de « choisir aléatoirement » parmi une liste, c'est comme demander à un humain de penser à un chiffre entre 1 et 10 : on obtient beaucoup de 7. L'agent a choisi Zillow dans 88 % des cas tant que cette étude figurait dans la liste. Après son retrait, il s'est verrouillé sur « predictive policing » dans 16 cas sur 21 le lendemain. Ce phénomène, documenté dans la littérature sur les biais des LLM, découle des préférences statistiques encodées dans les données d'entraînement. La solution : générer le nombre aléatoire côté code et le passer comme paramètre déterministe à l'agent — ne jamais déléguer l'aléatoire à un modèle de langage.

    Nom : zillow.png
Affichages : 14518
Taille : 11,8 Ko

    Les chiffres : 42 cents, un miroir pédagogique inattendu

    36 étudiants, 9 jours d'examen, 25 minutes en moyenne par session (de 9 à 64 minutes), 65 messages par conversation en moyenne. Coût total : 15 dollars — 8 pour Claude (le modèle le plus sollicité en tant que président du jury), 2 pour Gemini, 0,30 pour OpenAI, et environ 5 pour les minutes vocales ElevenLabs. Soit 0,42 dollar par étudiant, auxquels s'ajoute l'abonnement mensuel ElevenLabs à 99 dollars.

    L'alternative humaine ? 36 étudiants × 25 minutes × 2 correcteurs = 30 heures de travail. Au tarif d'un assistant d'enseignement (environ 25 $/h), cela représente 750 dollars. À tarif professoral, la réponse est plus simple : on ne fait tout simplement pas d'examens oraux. L'économie d'un facteur 50 est réelle, mais Ipeirotis insiste : le véritable avantage n'est pas le coût, c'est la valeur délivrée.

    Premier constat surprenant : la durée de l'examen ne corrèle pas avec la note obtenue (r = -0,03). L'examen le plus court — 9 minutes — a obtenu le meilleur score (19/20). Le plus long — 64 minutes — une note médiocre. Parler longtemps ne signifie pas maîtriser : l'hésitation verbale est en elle-même un signal d'évaluation que les formats écrits sont structurellement incapables de capturer.

    Deuxième révélation, plus inconfortable pour l'équipe enseignante : l'analyse par thématique a exposé une lacune dans l'enseignement lui-même. Sur le thème « Expérimentation », les étudiants ont obtenu en moyenne 1,94 sur 4 — contre 3,39 pour « Formulation du problème ». Trois étudiants (8 %) ont obtenu zéro ; aucun n'a atteint le score maximal. Ipeirotis l'admet sans détour : les tests A/B avaient été survolés en cours. L'évaluateur externe rendu impossible à ignorer a agi comme un miroir tendu à l'enseignant lui-même — une fonction que les examens internes n'assurent jamais.

    Nom : break.png
Affichages : 14541
Taille : 16,8 Ko

    La délibération du jury IA : Gemini trop généreux, Claude trop sévère

    Le premier tour de notation indépendant a révélé des divergences frappantes : Gemini affichait une moyenne de 17/20, Claude de 13,4/20 — un écart de 3,6 points, soit la différence entre un B+ et un B-. Claude et OpenAI convergeaient déjà dès ce premier tour (70 % de leurs notes à moins d'un point d'écart). Gemini se comportait en correcteur complaisant, incapable de résister à la tentation de la générosité — un biais possiblement encodé dans son alignement.

    Après la phase de délibération, l'accord s'est considérablement amélioré : 62 % des notes à moins d'un point d'écart (contre 0 % au premier tour), 85 % à moins de deux points. Gemini a baissé ses notes de 2 points en moyenne après avoir pris connaissance des critiques précises de Claude sur les lacunes en expérimentation. Il ne pouvait plus justifier un 17 face à des arguments factuels et circonstanciés.

    La qualité du feedback généré surpasse, selon Ipeirotis, ce que des correcteurs humains produisent habituellement sous contrainte de temps : des résumés structurés en points forts, faiblesses et actions, avec des citations verbatim extraites de la transcription. Pour l'étudiant le mieux noté : une observation précise sur sa maîtrise des compromis de métriques, illustrée par un exemple spécifique qu'il avait donné. Pour un étudiant en difficulté : une consigne d'entraînement détaillée sur la conception de tests A/B, avec les étapes exactes à maîtriser. Spécifique, actionnable, ancré dans la preuve. Ce niveau de granularité est tout simplement impossible à tenir pour un correcteur humain sur des dizaines de copies.

    Ce que disent les étudiants : stressant mais perçu comme juste

    Seulement 13 % des étudiants ont préféré le format oral IA. 57 % auraient opté pour un examen écrit traditionnel. 83 % ont trouvé l'oral plus stressant. Et pourtant : 70 % ont jugé qu'il évaluait leur compréhension réelle — l'item le mieux noté de tout le questionnaire. Les étudiants acceptent le verdict, même s'ils n'apprécient pas le vecteur.

    Ils ont en revanche plébiscité la flexibilité temporelle : pouvoir passer l'examen depuis chez soi, à l'heure de son choix, sur neuf jours. Un avantage logistique majeur qui compense partiellement la sévérité du format. Ipeirotis y voit aussi un avantage pédagogique structurel : puisque les questions spécifiques sont générées en temps réel par l'agent, les sujets d'examen ne peuvent pas fuiter. Les étudiants peuvent s'entraîner autant qu'ils le souhaitent avec le même agent — ce qui ne fait que renforcer leur maîtrise réelle. C'est précisément ainsi que l'apprentissage est censé fonctionner.

    Une expérience fondatrice pour l'évaluation à l'ère de l'IA

    Ce que l'expérience de Panos Ipeirotis démontre avant tout, c'est que l'IA générative n'a pas seulement créé un problème de tricherie : elle a rendu obsolètes des décennies de pratiques d'évaluation. La réponse ne peut pas se limiter à restaurer le passé — revenir aux examens sur papier est une régression qui ne règle pas le problème fondamental de l'évaluation individuelle dans les travaux collectifs.

    L'examen oral automatisé par IA n'est pas une solution parfaite. Il est stressant, techniquement fragile dans ses premières versions, et soulève des questions d'équité et d'accessibilité qui devront être traitées systématiquement — pour les étudiants dyslexiques, malentendants, ou simplement défavorisés par un environnement vocal anxiogène. Mais à 42 cents par étudiant, avec un feedback de qualité supérieure à ce que produisent des correcteurs humains sous pression, une capacité à diagnostiquer les lacunes de l'enseignement lui-même, et l'impossibilité structurelle de faire fuiter les sujets, il représente une piste d'une solidité inhabituelle.

    La conclusion d'Ipeirotis est lapidaire : « Combattre le feu par le feu. » L'IA a tué l'examen traditionnel. C'est à l'IA de forger ses successeurs. Les prompts de l'agent vocal et du jury de notation sont publics — une invitation ouverte à la communauté académique à s'emparer de cette approche, à l'améliorer, et à poser collectivement la question que ce professeur new-yorkais a eu le mérite de soulever en premier : comment évalue-t-on la compréhension réelle quand la simulation de la compréhension ne coûte plus rien ?

    Sources : blog de Panos Ipeirotis, prompts de l'agent vocal (GitHub), prompts du jury de notation (GitHub), Council of LLMs (GitHub), recherche de Brian Jabarian

    Et vous ?

    Si un jury de LLM évalue les connaissances de manière plus cohérente qu'un jury humain, cela signifie-t-il que les humains étaient de mauvais évaluateurs — ou que les machines ne mesurent pas ce qui compte vraiment ?

    La délibération entre Claude, Gemini et ChatGPT a poussé Gemini vers plus de sévérité. Peut-on parler de « pression sociale » entre IA, et dans quel sens ce mécanisme biaise-t-il l'évaluation finale ?

    À 42 cents par étudiant, l'examen oral automatisé pourrait devenir un standard mondial — y compris là où les enseignants qualifiés sont rares. Est-ce une opportunité pédagogique ou un risque d'appauvrissement de la relation éducative ?

    La durée d'un examen oral ne corrèle pas avec la note obtenue : le plus court a décroché le meilleur résultat. Qu'est-ce que cela dit de notre rapport culturel à la « démonstration d'effort » dans l'évaluation ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  9. #89
    Membre confirmé
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Février 2024
    Messages
    392
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 45
    Localisation : Allemagne

    Informations professionnelles :
    Activité : Architecte réseau

    Informations forums :
    Inscription : Février 2024
    Messages : 392
    Par défaut
    Je ne vois pas bien la valeur d'un diplôme du supérieur si ce dernier ne nécessite pas d'avoir fourni un travail inédit et original pour l'obtenir.

    Or le résultat produit par les LLM n'est ni inédit ni original. Par déduction, on peut légitimement se questionner sur la valeur des diplômes si ces derniers suffisent à tuer la difficulté des examens proposés.

  10. #90
    Invité de passage
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Novembre 2014
    Messages
    2
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Hauts de Seine (Île de France)

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Novembre 2014
    Messages : 2
    Par défaut Où se déroulerais l'examen dans ce modèle ?
    Bonjour,

    J'apprécie l'idée d'un examen basé sur le modèle d'un entretien d'embauche IA comme moyen de lutte contre la fraude. Est-il possible de savoir, dans de telles conditions où se déroule cet oral ? En salle de classe ou bien à la maison sans surveillance ? Car dans ce dernier cas, les méthode de triches sont encore nombreuses. On pourrait tout à fait mettre une IA juste à côté de soi, sur son téléphone où ses lunettes hit-tech qui écoute et souffle des réponses mot à mot (un peu comme les discours TV de présidents).

  11. #91
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    9 919
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 9 919
    Par défaut Le paradoxe des détecteurs d'IA en classe : accusés à tort de tricher, des étudiants apprennent l'IA
    Le paradoxe des détecteurs d'IA en classe : pour prouver qu'ils ne trichent pas en se servant de l'IA, des étudiants apprennent à utiliser l'IA.
    Pourquoi les détecteurs d'IA en classe sont dans une impasse

    Les outils de détection de contenu généré par intelligence artificielle, déployés à la hâte dans les établissements scolaires pour lutter contre la triche, produisent un effet exactement inverse à celui recherché. Des chercheurs et enseignants documentent un phénomène paradoxal : des étudiants n'ayant jamais utilisé l'IA se mettent à apprendre à la manier, non pas pour tricher, mais pour se défendre contre des accusations injustes. Portrait d'une dérive institutionnelle qui sacrifie la qualité d'écriture sur l'autel d'un algorithme défaillant.

    En économie comportementale, l'effet cobra désigne les situations où une mesure corrective aggrave le problème qu'elle était censée résoudre. L'histoire est bien connue : le gouvernement colonial britannique en Inde, souhaitant réduire la population de cobras, offrit une prime pour chaque serpent mort. Résultat, des éleveurs se mirent à en produire industriellement pour encaisser les primes. Quand le programme fut supprimé, les reptiles élevés en captivité furent relâchés, empirant la situation initiale.

    C'est exactement ce qui se passe aujourd'hui dans les salles de classe américaines — et, de façon croissante, ailleurs dans le monde occidental — avec les détecteurs de textes générés par IA. Mike Masnick, fondateur de TechDirt, et Dadland Maye, enseignant en écriture dans plusieurs universités américaines, ont documenté de façon rigoureuse un phénomène qui devrait alerter tous ceux qui s'intéressent aux interactions entre technologie et systèmes éducatifs.

    Le cas le plus révélateur n'est pas celui d'un tricheur pris la main dans le sac. C'est celui d'une étudiante dont la plume avait toujours été saluée par ses professeurs. Arrivée dans un nouvel établissement, elle comprend que son style confiant et élaboré risque de déclencher les algorithmes de détection — des enseignants ne la connaissant pas n'auraient aucun moyen de savoir que cette voix est la sienne. Sa réaction ? Elle interroge Google Gemini pour comprendre quels patterns stylistiques attirent l'attention des logiciels de surveillance. Cette enquête ouvre une porte. Elle apprend comment les prompts façonnent les sorties, quelles structures de phrases suscitent le soupçon. L'outil devient un moyen de compléter ses cours et de clarifier des notions complexes, mais la démarche la met mal à l'aise. « J'ai comme l'impression de tricher », confie-t-elle à Maye — bien que ce soit précisément l'envie de ne pas tricher qui l'y ait conduit.

    Un autre cas, plus radical encore : après avoir été faussement accusé d'utilisation de l'IA dans un autre cours, un étudiant décide de prendre les devants. Il souscrit à plusieurs abonnements IA, étudie minutieusement le fonctionnement des systèmes de détection et développe une véritable maîtrise des outils qu'il n'avait jamais prévu d'employer. Il décide ensuite de ne rien dire à ses professeurs, jugeant que sa nouvelle littératie en IA ne ferait qu'aggraver les soupçons à son égard.

    Des outils techniquement défaillants aux effets pédagogiques dévastateurs

    Pour comprendre pourquoi cette situation a pu se développer, il faut revenir sur le fonctionnement réel de ces détecteurs. La plupart analysent des métriques statistiques du texte : la perplexité (à quel point les choix lexicaux sont prévisibles par un modèle de langage) et la variabilité rythmique (la variabilité de la longueur et de la complexité des phrases). Le problème fondamental est qu'une écriture claire, efficace et disciplinée peut être confondue avec de l'IA, même lorsqu'elle est rédigée par des humains. En d'autres termes, les caractéristiques d'une bonne prose académique recoupent précisément ce que les détecteurs considèrent comme suspect.

    Les chiffres sont éloquents. Une étude publiée par Cell.com indique que 61,3 % des textes rédigés par des non-natifs anglophones sont signalés à tort comme générés par IA. Une étude de l'Université Stanford a établi que les taux de faux positifs pour les étudiants en langue seconde pouvaient atteindre 97 % — plus de la moitié des essais TOEFL ayant été classés comme générés par IA par les sept meilleurs détecteurs du marché. Ces chiffres vertigineux révèlent une réalité simple : ces outils ne détectent pas l'IA avec une fiabilité suffisante pour justifier des sanctions académiques.

    Une recherche publiée dans Acta Neurochirurgica (Springer Nature) conclut que la précision des détecteurs reste insuffisante dans un cadre académique, avec des erreurs notables dès que les textes sont techniques ou rédigés dans un style soutenu. En Australie, l'Australian Catholic University a suspendu l'usage du détecteur IA de Turnitin après que des étudiants ont été accusés à tort sur la seule base de scores automatisés. En France, le phénomène a déjà fait surface : en 2025, une lycéenne parisienne a été accusée d'avoir eu recours à une intelligence artificielle lors de l'épreuve de philosophie du baccalauréat, après avoir composé sur ordinateur.

    Turnitin revendique une précision de 98 à 99 %, mais admet un taux de faux positifs pouvant atteindre 4 %. Sur les 2,2 millions d'étudiants que comptent les États-Unis chaque année, ce seul taux représente potentiellement 88 000 étudiants accusés à tort. En mai 2025, à l'Université de Buffalo, environ 20 % des étudiants d'un même cours ont été simultanément signalés par le système — alors qu'ils avaient rédigé leurs travaux eux-mêmes.

    Nom : trusted.png
Affichages : 2792
Taille : 152,8 Ko

    Le soupçon comme pédagogie

    La dimension la plus préoccupante n'est pas statistique. Elle est pédagogique. En déployant des outils de surveillance automatisée sur les productions des étudiants, les institutions envoient un message clair sur la nature de l'écriture : elle est avant tout une performance à gérer, un risque à minimiser, un test à passer — non une pratique intellectuelle à développer.

    Maye, dans son article publié dans le Chronicle of Higher Education, formule cette idée avec précision : les outils de détection communiquaient quelque chose aux étudiants, même quand les enseignants ne disaient rien. Que le style pouvait jouer contre eux. Que la fluidité invite le soupçon. Le message implicite : écris de façon suffisamment quelconque pour ne pas déclencher l'alarme.

    Comme l'illustre l'anecdote fondatrice de Masnick — son enfant contraint de reformuler un essai sur Harrison Bergeron de Kurt Vonnegut parce que le mot « devoid » déclenchait le détecteur —, l'ironie est totale. Harrison Bergeron est précisément une dystopie dans laquelle une société impose « l'égalité » en handicapant quiconque excelle, pour ramener tout le monde au plus petit dénominateur commun. Et voilà que des outils censés protéger l'intégrité académique fonctionnent comme le Handicapper General de l'écriture étudiante, punissant la fluidité et pénalisant le vocabulaire.

    L'impact est particulièrement sévère pour les étudiants déjà vulnérables. Dans des établissements comme le CUNY, beaucoup travaillent entre 20 et 40 heures par semaine, nombreux sont multilingues, et ils se heurtent à des politiques IA différentes dans chaque cours. Un étudiant décrit avoir passé des heures à reformuler des phrases que les détecteurs signalaient comme générées par IA, alors que chaque mot était le sien. « Je reformule, encore et encore. Ça prend trop de temps », témoigne-t-il. Ce temps volé à l'apprentissage réel est peut-être le coût le plus lourd de cette dérive.

    La loi de Goodhart appliquée à l'éducation

    Les informaticiens reconnaîtront ici la loi de Goodhart, formulée dans les années 1970 par l'économiste britannique Charles Goodhart : « Quand une mesure devient un objectif, elle cesse d'être une bonne mesure. » Appliquée à l'éducation, cela signifie que dès lors que le score d'un détecteur IA devient le critère d'évaluation, les étudiants optimisent leur écriture pour ce score — et non pour communiquer avec clarté, originalité et profondeur.

    Cela crée un cercle vicieux : les étudiants, pour éviter d'être accusés d'utiliser des IA, adoptent un style d'écriture qui ressemble de plus en plus à celui généré par des machines. Les détecteurs, en réponse, deviennent de plus en plus stricts, poussant les étudiants à se conformer encore davantage. Les vrais tricheurs, eux, sont les mieux armés pour contourner le système : ils connaissent les techniques d'obfuscation, savent paraphraser les sorties IA, utilisent des outils « d'humanisation » de textes. Les détecteurs ne piègent pas les fraudeurs calculateurs — ils piègent les bons élèves.

    Changer de paradigme : l'IA comme sujet d'enseignement

    Face à cette impasse, Maye a opté pour une stratégie radicalement différente. À mi-semestre, il a cessé d'exiger la déclaration d'utilisation de l'IA. À la place, il a autorisé les étudiants à employer l'IA pour la recherche et la construction de plans, tout en exigeant que la rédaction reste la leur. Et surtout, il leur a appris à utiliser ces outils de manière critique et responsable.

    Le résultat fut immédiat. L'atmosphère de la classe se transforma. Des étudiants vinrent le voir après les cours pour lui demander comment bien utiliser ces outils : l'un voulait savoir comment construire un prompt de recherche sans copier les sorties ; un autre comment repérer quand un résumé s'éloigne trop de la source. Ces conversations étaient pédagogiques par nature. Elles ne devinrent possibles qu'une fois que l'utilisation de l'IA cessa de fonctionner comme un problème de déclaration pour devenir un sujet d'instruction.

    C'est là le retournement fondamental. Le régime de surveillance avait rendu impossible l'enseignement. En sortant de la logique policière, l'enseignant avait retrouvé l'espace pour faire son vrai travail.

    Ce que cela dit de notre rapport à la technologie

    Cette affaire illustre un problème plus général que connaissent bien les professionnels de l'IT : la tentation de résoudre un problème humain et complexe par l'ajout d'une couche technologique, sans analyser les effets systémiques induits. Les détecteurs d'IA en milieu scolaire sont un cas d'école de ce qu'on pourrait appeler la solution-surface : un outil qui donne l'apparence d'une réponse tout en aggravant la dynamique sous-jacente.

    Le parallèle avec d'autres domaines est saisissant. En cybersécurité, on sait que les filtres trop agressifs — listes noires, règles IDS mal calibrées — génèrent autant de faux positifs qu'ils en neutralisent de vrais. Ils dégradent la confiance, saturent les équipes d'alertes non pertinentes et poussent les utilisateurs à contourner les mesures plutôt qu'à les respecter. La logique est identique dans les salles de classe.

    La vraie question n'est pas de savoir si les étudiants utilisent l'IA — ils l'utilisent et l'utiliseront, comme chaque génération s'est emparée des outils de son époque, de la calculatrice au correcteur orthographique. La question est de savoir quelle culture de l'écriture, de la pensée critique et de la responsabilité intellectuelle on souhaite construire avec eux. Un algorithme ne peut pas répondre à cette question. Seul un enseignant le peut.

    Source : Dadland Maye

    Et vous ?

    Les détecteurs d'IA en milieu scolaire sont-ils une erreur de conception fondamentale, ou simplement des outils immatures qui s'amélioreront avec le temps ? Peut-on imaginer un seuil de fiabilité acceptable pour les utiliser dans des décisions à enjeux élevés ?

    Le phénomène décrit — des étudiants qui apprennent à utiliser l'IA pour se défendre contre les accusations d'utilisation de l'IA — est-il spécifique au milieu académique, ou observe-t-on des dynamiques similaires dans d'autres contextes professionnels ?

    Les étudiants non anglophones et les apprenants en langue seconde sont statistiquement les plus pénalisés par les faux positifs. Cela pose-t-il un problème de discrimination systémique que les institutions auraient l'obligation légale de traiter ?

    L'approche de Dadland Maye — enseigner l'IA plutôt que la prohiber — est-elle généralisable à toutes les disciplines ? Où se situe la limite entre l'utilisation légitime comme outil et le remplacement de la pensée par la machine ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  12. #92
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    3 336
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 3 336
    Par défaut
    Pour apprendre à nager, il doit bien y avoir moyen d'envoyer une IA à sa place.

    Une fois jeté à l'eau, entre celui qui aura fait ça et celui qui sera venu en personne au cours, j'ai une petite idée sur celui qui va flotter, et ce qui va arriver à l'autre.

  13. #93
    Membre prolifique
    Avatar de Ryu2000
    Homme Profil pro
    Étudiant
    Inscrit en
    Décembre 2008
    Messages
    11 036
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 37
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Décembre 2008
    Messages : 11 036
    Par défaut
    Citation Envoyé par Stéphane le calme Voir le message
    Le cas le plus révélateur n'est pas celui d'un tricheur pris la main dans le sac. C'est celui d'une étudiante dont la plume avait toujours été saluée par ses professeurs. Arrivée dans un nouvel établissement, elle comprend que son style confiant et élaboré risque de déclencher les algorithmes de détection — des enseignants ne la connaissant pas n'auraient aucun moyen de savoir que cette voix est la sienne. Sa réaction ? Elle interroge Google Gemini pour comprendre quels patterns stylistiques attirent l'attention des logiciels de surveillance. Cette enquête ouvre une porte. Elle apprend comment les prompts façonnent les sorties, quelles structures de phrases suscitent le soupçon. L'outil devient un moyen de compléter ses cours et de clarifier des notions complexes, mais la démarche la met mal à l'aise. « J'ai comme l'impression de tricher », confie-t-elle à Maye — bien que ce soit précisément l'envie de ne pas tricher qui l'y ait conduit.

    Un autre cas, plus radical encore : après avoir été faussement accusé d'utilisation de l'IA dans un autre cours, un étudiant décide de prendre les devants. Il souscrit à plusieurs abonnements IA, étudie minutieusement le fonctionnement des systèmes de détection et développe une véritable maîtrise des outils qu'il n'avait jamais prévu d'employer. Il décide ensuite de ne rien dire à ses professeurs, jugeant que sa nouvelle littératie en IA ne ferait qu'aggraver les soupçons à son égard.
    Si une personne est capable de s'exprimer correctement elle doit pouvoir le prouver à ses professeurs.
    Et au pire c'est pas grave de faire des faux positifs...
    Après tu peux te défendre et prouver que t'écris comme un chatbot IA.
    Il doit bien y avoir une épreuve écrite, surveillé, sans accès à un ordinateur (montre, téléphone, etc).
    Et là on voit comment la personne s'exprime sans IA.

    Je n'y crois pas du tout à ces histoires de « Nous sommes obligés d’avoir recours à l’IA pour éviter que les professeurs ne soupçonnent que nous l’utilisons. ».
    Il n'y a qu'à ajouter quelque "mal-dit" et c'est bon, tu passes pour une personne normale.
    Ça ne tient pas debout "j'ai besoin d'une IA pour saboter mon travail"...
    « Je suis tellement pétri de littérature que je me révèle incapable de proférer une phrase qui ne soit point grammaticalement irréprochable. » ce soit à quoi on ne peut répondre que « « Ouais, c'est ça. Ferme ta gueule ! ».

    ====
    Si quelqu'un sait écrire correctement il va se battre pour le prouver.
    Il ressentirait un profond sentiment d'injustice et il ne lâcherait pas.
    Il dirait "je refuse de baisser mon niveau afin de passer inaperçu".
    ♫♪ Des solutions aux problèmes des jeunes d'aujourd'hui ♪♫

  14. #94
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    3 336
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 3 336
    Par défaut
    Citation Envoyé par Ryu2000 Voir le message
    « Ouais, c'est ça. Ferme ta gueule ! »
    Si on doit en arriver là, autant mettre directement la clef sous la porte.

Discussions similaires

  1. Réponses: 5
    Dernier message: 04/09/2022, 04h14
  2. Réponses: 18
    Dernier message: 12/10/2021, 22h36
  3. [VB]Retouver les clés des items d'une Collection, c'est possible ?
    Par marchand_de_sable dans le forum VBA Access
    Réponses: 11
    Dernier message: 19/12/2016, 17h44
  4. Application web pour les réseaux sociaux des étudiants universitaires
    Par zakii2plus dans le forum Général Conception Web
    Réponses: 0
    Dernier message: 21/02/2014, 10h24
  5. Réponses: 3
    Dernier message: 25/10/2013, 17h39

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo