IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

ChatGPT « serait un étudiant » toujours en dessous de la moyenne en mathématiques


Sujet :

Intelligence artificielle

  1. #1
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    942
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 942
    Points : 66 350
    Points
    66 350
    Par défaut ChatGPT « serait un étudiant » toujours en dessous de la moyenne en mathématiques
    Pourquoi ChatGPT devient-il plus nul en mathématiques de base ? Selon une étude, la raison serait un phénomène de dérive imprévisible.

    Depuis qu'ils sont devenus largement accessibles au public, les chatbots d'intelligence artificielle ont ébloui les personnes qui les ont expérimentés. Ils ont également suscité la crainte qu'ils ne s'améliorent inexorablement et ne menacent l'humanité. Mais de nouvelles recherches publiées révèlent un défi fondamental pour le développement de l'intelligence artificielle : ChatGPT est devenu moins performant pour effectuer certaines opérations mathématiques de base.

    Des chercheurs de l'Université de Stanford et de l'Université de Californie à Berkeley ont fait une étude pour connaitre les raisons du changement et de l'évolution de ChatGPT. Voici un bref résumé de leurs recherches :

    GPT-3.5 et GPT-4 sont les deux services de grands modèles linguistiques (LLM) les plus utilisés. Cependant, il est difficile de savoir quand et comment ces modèles sont mis à jour au fil du temps. Nous évaluons ici les versions de mars 2023 et de juin 2023 de GPT-3.5 et de GPT-4 sur plusieurs tâches différentes : 1) problèmes mathématiques, 2) questions sensibles/dangereuses, 3) sondages d'opinion, 4) questions à connaissances multiples, 5) génération de code, 6) tests de licence médicale américaine, et 7) raisonnement visuel. Nous avons constaté que les performances et le comportement de GPT-3.5 et de GPT-4 peuvent varier considérablement dans le temps. Par exemple, le GPT-4 (mars 2023) était raisonnable pour identifier les nombres premiers par rapport aux nombres composés (84 % d'exactitude), mais le GPT-4 (juin 2023) était médiocre pour ces mêmes questions (51 % d'exactitude). Cela s'explique en partie par une baisse de l'aptitude du GPT-4 à suivre la chaîne de pensée. Il est intéressant de noter que le GPT-3.5 était bien meilleur en juin qu'en mars dans cette tâche. En juin, GPT-4 était moins enclin à répondre aux questions sensibles et aux questions d'enquête d'opinion en juin qu'en mars. GPT-4 a obtenu de meilleurs résultats aux questions "multi-hop" en juin qu'en mars, alors que les performances de GPT-3.5 ont chuté dans cette tâche. GPT-4 et GPT-3.5 ont tous deux commis plus d'erreurs de formatage lors de la génération de code en juin qu'en mars. Dans l'ensemble, nos résultats montrent que le comportement du "même" service LLM peut changer de manière substantielle dans un laps de temps relativement court, soulignant la nécessité d'une surveillance continue des LLM.
    Pour être clair, le chatbot n'est pas devenu universellement pire. Il s'est également amélioré dans certaines fonctions. Dans certains tests, GPT-3.5, bien que moins précis dans l'ensemble, s'est amélioré, tandis que GPT-4 s'est dégradé. Le phénomène de la dérive imprévisible est connu des chercheurs qui étudient l'apprentissage automatique et l'intelligence artificielle, a déclaré James Zou. "Nous soupçonnions que cela pouvait se produire ici, mais nous avons été très surpris par la rapidité avec laquelle la dérive se produit."


    Les chercheurs de Stanford-Berkeley ne se sont pas contentés de poser des questions mathématiques au ChatGPT. Ils ont également posé des questions d'opinion pour voir si le chatbot y répondrait, en puisant dans une base de données d'environ 1 500 questions.

    En mars, la version 4 du chatbot répondait à 98 % des questions. En juin, il ne répondait plus qu'à 23 % des questions, reportant souvent sa réponse à plus tard, en disant que la question était subjective et qu'en tant qu'IA, il n'avait pas d'opinion. Cela révèle quelque chose sur ce qui se passe avec les systèmes d'IA. Depuis le lancement des chatbots, une sorte d'industrie artisanale dédiée à ce que l'on appelle l'ingénierie des messages-guides a vu le jour.

    Parfois, ceux qui expérimentent différentes commandes essaient simplement de tirer le meilleur parti des modèles en trouvant la meilleure façon de poser des questions pour obtenir les résultats souhaités. Mais parfois, ils essaient de tromper les robots en leur faisant dire quelque chose d'offensant ou d'outrageant. (Une technique populaire et extrêmement efficace consiste à amener l'IA à jouer le rôle d'une conversation amorale avec Niccolo Machiavel).

    Bien entendu, certaines de ces techniques sont tout à fait inoffensives. L'année dernière, Jason Wei et Denny Zhou, scientifiques chez Google Research, ont publié un article montrant que les modèles d'intelligence artificielle étaient bien plus performants dans les tâches de raisonnement complexes lorsqu'on leur demandait d'aborder le problème étape par étape. En mars, cette technique, connue sous le nom de "chaîne de pensée", fonctionnait bien. Mais en juin, elle était devenue beaucoup moins efficace.

    Nom : 1.png
Affichages : 3932
Taille : 146,7 Ko

    L'érosion de la capacité à résoudre des problèmes mathématiques pourrait-elle être une conséquence involontaire de la volonté d'empêcher les gens de tromper l'IA en lui donnant des réponses exagérées ? Pourrait-il s'agir d'une tentative de répression de l'ingénierie de l'invite et d'une erreur involontaire dans l'utilisation d'une invite qui améliorait les performances en mathématiques ? Serait-ce une conséquence de la volonté de rendre l'IA moins verbeuse ? Les modèles sont si complexes que même les équipes qui les développent n'en ont pas la certitude.

    James Zou a déclaré qu'il ne s'agissait pas d'abandonner la technologie. Il s'agit plutôt de surveiller l'IA de beaucoup plus près. L'équipe de Stanford et de Berkeley continuera à tester systématiquement les modèles d'IA (ChatGPT et autres) contre des milliers de questions afin d'analyser empiriquement leurs performances au fil du temps.

    Nous avons l'habitude de considérer que la connaissance consiste à maîtriser un problème et à le développer ensuite. En raison de son incroyable complexité, l'IA pourrait ne pas fonctionner de cette manière. Au lieu de cela, elle fait un pas en avant, un pas à la dérive et titube dans une direction inattendue. Au fil du temps, l'IA continuera probablement à progresser, mais elle est loin d'être une ligne droite.


    Source : How Is ChatGPT’s Behavior Changing over Time?

    Et vous ?

    Pensez-vous que cette étude est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    GPT-4 est passé de 98 % à 2 % de réponses exactes à un problème mathématique simple en l'espace de quelques mois, selon une étude qui révèle que les performances de ChatGPT et GPT-4 sont en déclin

    GPT-4 a réussi à tromper un humain, l'incitant à résoudre un CAPTCHA après avoir prétendu être aveugle. OpenAI a présenté cette version de ChatGPT comme étant « meilleure et plus précise »

    ChatGPT réussit l'entretien de codage Google pour un ingénieur de niveau 3 avec un salaire de 183 000 $, tout en indiquant qu'il ne peut pas reproduire la créativité humaine
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  2. #2
    Futur Membre du Club
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Août 2023
    Messages
    6
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 25
    Localisation : France, Aveyron (Midi Pyrénées)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Août 2023
    Messages : 6
    Points : 9
    Points
    9
    Par défaut
    Tous ceux qui utilisent ChatGPT depuis 2022 l'ont constaté, sa qualité s'est dégradé sur certains aspects.
    On tente nécessairement de le rendre politiquement correct, et plus on le pousse dans cette optique, plus il a du mal à être juste.
    Simple as.

  3. #3
    Membre extrêmement actif
    Profil pro
    Analyste cogniticien
    Inscrit en
    Novembre 2010
    Messages
    271
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Analyste cogniticien

    Informations forums :
    Inscription : Novembre 2010
    Messages : 271
    Points : 617
    Points
    617
    Par défaut
    Citation Envoyé par Pazu12 Voir le message
    On tente nécessairement de le rendre politiquement correct, et plus on le pousse dans cette optique, plus il a du mal à être juste.
    Parce que répondre correctement à une question mathématique de base, ce n'est pas politiquement correct ?

  4. #4
    Chroniqueur Actualités
    Avatar de Bruno
    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Mai 2019
    Messages
    1 856
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : Mai 2019
    Messages : 1 856
    Points : 36 476
    Points
    36 476
    Par défaut ChatGPT « serait un étudiant » toujours en dessous de la moyenne en mathématiques
    ChatGPT « serait un étudiant » toujours en dessous de la moyenne en mathématiques,
    selon les chercheurs de l'université de New York Abou Dhabi

    ChatGPT, l’outil d’IA crée par OpenAI est un chatbot avec lequel les utilisateurs peuvent maintenir un dialogue naturel (par écrit), et il a été formé de telle manière qu’il est capable de résoudre de nombreuses questions que les utilisateurs pourraient avoir sur de nombreux sujets. Selon un article publié dans Scientific Reports, les performances du grand modèle de langage surpassent celles de l’étudiant moyen dans d’autres matières, notamment les études politiques, l’ingénierie et la psychologie. En revanche, en mathématiques et en économie, la technologie du chatbot n’a pas été à la hauteur.

    L'émergence de grands modèles de langage a conduit au développement d'outils puissants, tels que ChatGPT, qui peuvent produire des textes impossibles à distinguer d'un travail généré par un être humain. Avec l'accessibilité croissante de cette technologie, les étudiants du monde entier peuvent l'utiliser pour les aider dans leurs travaux scolaires - une possibilité qui a suscité de nombreuses discussions sur l'intégrité des processus d'évaluation des étudiants à l'ère de l'intelligence artificielle (IA).

    ChatGPT : l’outil d’IA générative qui révolutionne la productivité

    L'intelligence artificielle générative (IA) fait référence à l'utilisation d'algorithmes d'apprentissage automatique qui s'appuient sur du matériel existant, tel que du texte, de l'audio ou des images, pour créer un nouveau contenu. Les progrès récents dans ce domaine, associés à son accessibilité sans précédent, ont conduit de nombreuses personnes à le considérer comme un « changement de donne auquel la société et l'industrie doivent se préparer ». Dans le domaine de l'art, par exemple, Stable Diffusion et DALL-E ont fait l'objet d'une attention particulière pour leur capacité à générer des œuvres d'art dans différents styles. Amper Music, un autre outil d'IA générative, est capable de générer des morceaux de musique de n'importe quel genre et a déjà été utilisé pour créer des albums entiers.

    Nom : ChatGptSB.png
Affichages : 896
Taille : 203,2 Ko

    ChatGPT est l'outil le plus récent dans ce domaine, capable de générer des réponses textuelles semblables à celles d'un être humain à un large éventail de questions dans de nombreuses langues. Plus précisément, il le fait d'une manière conversationnelle, donnant aux utilisateurs la possibilité de s'appuyer naturellement sur les messages précédents sous la forme d'un dialogue continu. Cet outil a été qualifié de « succès extraordinaire » et de « révolution de la productivité », en raison de son utilité apparemment infinie dans de nombreuses applications hors du commun, telles que la création littéraire, le marketing, le service clientèle et le journalisme, pour n'en citer que quelques-unes.

    Les capacités de l'outil ont suscité un grand intérêt, ChatGPT ayant atteint un million d'utilisateurs cinq jours seulement après son lancement, et s'étant envolé à plus de 100 millions d'utilisateurs mensuels en l'espace de deux mois.

    Les professeurs d’université confrontés à la tricherie des étudiants grâce à ChatGPT

    Malgré ses capacités impressionnantes, l'IA générative a été entachée de controverses éthiques. En particulier, comme les modèles d'IA générative sont formés sur des quantités massives de données disponibles sur l'internet, il y a eu un débat permanent sur la propriété de ces données. En outre, à mesure que ces outils continuent d'évoluer, il devient de plus en plus difficile d'identifier ce qui est créé par des humains et ce qui est créé par un algorithme. Dans le contexte de l'éducation, la capacité de ChatGPT à rédiger des dissertations et à générer des solutions pour les devoirs a suscité d'intenses discussions concernant les violations de l'intégrité académique par les étudiants des écoles et des universités.

    Par exemple, aux États-Unis, son utilisation a été interdite par les districts scolaires de New York, Los Angeles et Baltimore. De même, les universités australiennes ont annoncé leur intention de revenir aux examens « papier et crayon » pour lutter contre l'utilisation de cet outil par les étudiants pour la rédaction de leurs essais. En effet, de nombreux éducateurs ont fait part de leurs inquiétudes concernant le plagiat, des professeurs de l'université George Washington, de l'université Rutgers et de l'université d'État d'Appalachian ayant choisi d'abandonner complètement les devoirs à domicile.

    En décembre de l’année dernière, un professeur de l'université de Caroline du Sud tire la sonnette d'alarme après avoir découvert que l'un de ses étudiants a utilisé ChatGPT, le nouveau chatbot d'IA du laboratoire OpenAI, pour rédiger sa dissertation. Le professeur estime que cette IA, vielle de quelques semaines à peine et facilement accessible au public, porte un nouveau coup à l'enseignement supérieur, déjà en proie à une tricherie endémique.

    Dans un message partagé sur sa page Facebook, il a souligné qu'il n'était pas le seul professeur dont les étudiants ont commencé par utiliser ce type de logiciel d'IA pour rédiger leurs dissertations.

    En début d’année à Lyon, un professeur a remarqué de curieuses similitudes dans les copies rendues par la moitié de ses étudiants; il leur avait donné une semaine pour rédiger leurs devoirs. Si les mots différaient, leurs structures démonstratives et leurs exemples sont restés constamment les mêmes. C’est en se renseignant auprès de ses élèves que l’un d’eux a fini par avouer l’utilisation de ChatGPT dans la rédaction.

    À en croire des témoignages de professeurs d'université, les étudiants confient à ChatGPT la résolution de leurs devoirs de maison, notamment en dissertation. « Le monde universitaire n'a rien vu venir. Nous sommes donc pris au dépourvu », explique Darren Hudson Hick, professeur adjoint de philosophie à l'université Furman.

    « Je l'ai signalé sur Facebook, et mes amis [professeurs] ont dit : "ouais ! J'en ai attrapé un aussi" », a-t-il ajouté. Au début du mois, Hick aurait demandé à sa classe d'écrire un essai de 500 mots sur le philosophe écossais du 18e siècle David Hume et le paradoxe de l'horreur, qui examine comment les gens peuvent tirer du plaisir de quelque chose qu'ils craignent, pour un test à la maison. Mais selon le professeur de philosophie, l'une des dissertations qui lui sont parvenus présentait quelques caractéristiques qui ont "signalé" l'utilisation de l'IA dans la réponse "rudimentaire" de l'étudiant. Hick explique que cela peut être détecté par un œil avisé.

    « C'est un style propre. Mais il est reconnaissable. Je dirais qu'il écrit comme un élève de terminale très intelligent », a expliqué Hick à propos des réponses apportées par ChatGPT aux questions. « Il y avait une formulation particulière qui n'était pas fausse, mais juste étrange. Si vous deviez enseigner à quelqu'un comment écrire des essais, c'est ce que vous lui diriez avant qu'il crée son style », a-t-il ajouté. Malgré sa connaissance de l'éthique du droit d'auteur, Hick a déclaré qu'il était presque impossible de prouver que le document avait été concocté par ChatGPT. Le professeur affirme avoir fait appel à un logiciel de vérification de plagiat.

    ChatGPT : un générateur d’absurdités ou une opportunité d’améliorer l’évaluation des apprentissages ?

    Plus récemment en mai, un professeur de la Texas A&M University-Commerce a tenté de faire échouer certains étudiants : il a déclaré avoir utilisé ChatGPT pour vérifier s'ils avaient utilisé le logiciel pour rédiger leurs devoirs. Or, ChatGPT n'est pas conçu pour détecter les documents qu'il a lui-même composés au préalable.

    Un professeur d’informatique de Princeton a déclaré que ChatGPT, un générateur de textes plausibles, n’était pas une source de panique en matière d’IA. Il a expliqué que ChatGPT était entraîné à produire des textes persuasifs plutôt que des déclarations vraies. Bien qu’il produise souvent des affirmations vraies comme effet secondaire de sa plausibilité et de sa persuasion, ce n’est pas son objectif principal. En fait, cela correspond à ce que le philosophe Harry Frankfurt a appelé connerie, c’est-à-dire un discours destiné à persuader sans se soucier de la vérité. ChatGPT essaie d’être persuasif et n’a aucun moyen de savoir avec certitude si les déclarations qu’il fait sont vraies ou non.

    Sam Illingworth, Professeur agrégé de l'Université Napier d'Édimbourg, pense que c'est le moment de repenser le système d'évaluation. « Loin de m'inquiéter des défis que ce programme d'IA pourrait poser, j'y vois plutôt une opportunité d'améliorer la façon dont nous évaluons les apprentissages dans l'enseignement supérieur. »

    ChatGPT : un outil d’IA générative qui surpasse les étudiants dans certains domaines

    L'équipe dirigée par Talal Rahwan et Yasir Zaki, tous deux professeurs associés en informatique à l'université de New York à Abou Dhabi (NYUAD), a constaté que le ChatGPT surpassait les étudiants de manière plus marquée dans un cours intitulé « Introduction aux politiques publiques », dans lequel sa note moyenne était de 9,56 contre une moyenne de 4,39 pour les étudiants.

    L'étude a demandé aux membres de la faculté de NYUAD de fournir 10 questions tirées d'un cours qu'ils ont enseigné à l'université, ainsi que trois réponses d'étudiants choisies au hasard pour chaque question. Parallèlement, ChatGPT a été utilisé pour générer trois réponses distinctes à chacune des 10 questions fournies pour chaque cours.

    Les réponses des étudiants et de ChatGPT ont ensuite été compilées dans un document unique, dans un ordre aléatoire, et notées par des évaluateurs qui ne savaient pas lesquelles provenaient d'une personne et lesquelles du LLM. « Nous avons constaté que les performances de ChatGPT sont comparables, voire supérieures, à celles des étudiants sur neuf des 32 cours. En outre, nous constatons que les algorithmes de détection actuels ont tendance à mal classer les réponses humaines comme étant générées par l'IA, et à mal classer les réponses de ChatGPT comme étant générées par l'homme », indique l'étude.

    Toutefois, « une fois encore, nous constatons que l'écart de performance le plus important entre ChatGPT et les étudiants concerne les questions liées aux mathématiques, suivies des questions pièges. Pour l'instant, les humains semblent surpasser ChatGPT dans ces domaines ».

    En début d’année, nous avons rapportés que ChatGPT a réussi des examens dans une faculté de droit américaine après avoir rédigé des essais sur des sujets allant du droit constitutionnel à la fiscalité et aux délits. Sur plus de 95 questions à choix multiples et 12 questions à développement, ChatGPT a obtenu une note de C+, faible mais suffisante pour réussir l'examen. Après avoir donné des détails sur ces résultats, les professeurs ont discuté de leurs implications pour la formation juridique et la profession d'avocat. Ils ont entre autres prévenu que cela pourrait conduire à une fraude généralisée et même signaler la fin des méthodes d'enseignement traditionnelles en classe. Ils ont aussi fourni des exemples d'invites et des conseils sur la façon dont ChatGPT peut aider à la rédaction juridique.

    ChatGPT : un étudiant en droit médiocre, mais un outil prometteur pour les avocats

    ChatGPT ne peut pas encore surpasser la plupart des étudiants en droit aux examens, selon de nouvelles recherches, mais il peut obtenir une note de passage. Jonathan Choi, professeur à la faculté de droit de l'Université du Minnesota, a soumis à ChatGPT le même test auquel les étudiants étaient confrontés, composé de 95 questions à choix multiples et de 12 questions à développement. Dans un livre blanc intitulé « ChatGPT va à la faculté de droit », lui et ses coauteurs ont rapporté que l’outil d’IA avait obtenu un C+ dans l'ensemble, en dessous de la moyenne B+ des humains.

    « Seul, ChatGPT serait un étudiant en droit plutôt médiocre », a déclaré l'auteur principal de l'étude, Jonathan Choi, qui a collaboré avec les professeurs Kristin Hickman, Amy Monahan et Daniel Schwarcz. « Le plus grand potentiel pour la profession ici est qu'un avocat puisse utiliser ChatGPT pour produire une première ébauche et simplement rendre sa pratique beaucoup plus efficace », a-t-il déclaré.

    Nous avons également rapporté que ChatGPT a réussi un examen de MBA donné par un professeur de l’université de Pennsylvannie. Les questions d’examen ont été proposées au chatbot telles que dans le cadre d’un examen final.

    À ce jour, on ne sait pas exactement comment ces outils se comportent par rapport aux étudiants qui suivent des cours de niveau universitaire dans diverses disciplines. En outre, on ne connaît pas le point de vue des étudiants sur l'utilisation de ces outils dans le cadre de leur travail scolaire, ni celui des enseignants qui considèrent leur utilisation comme du plagiat. Nous comparons ici les performances de l'outil de pointe, ChatGPT, à celles des étudiants de 32 cours de niveau universitaire.

    De plus, les classificateurs de texte IA actuels ne peuvent pas détecter de manière fiable l'utilisation de ChatGPT dans le travail scolaire, en raison de leur propension à classer les réponses écrites par des humains comme étant générées par l'IA, ainsi que de la relative facilité avec laquelle le texte généré par l'IA peut être édité pour échapper à la détection.

    Enfin, il semble qu'un consensus émerge parmi les étudiants pour utiliser l'outil, et parmi les éducateurs pour traiter son utilisation comme du plagiat. Nos conclusions offrent des perspectives qui pourraient guider les discussions politiques sur l'intégration de l'intelligence artificielle dans les cadres éducatifs.

    En dehors des mathématiques et de l'économie, chaque discipline compte au moins un cours pour lequel les performances du ChatGPT sont comparables, voire supérieures, à celles des étudiants. Ces cours sont les suivants :

    1. Structures de données ;
    2. Introduction aux politiques publiques ;
    3. Biologie synthétique quantitative ;
    4. Cyber-guerre ;
    5. Programmation orientée objet ;
    6. Structure et propriétés des matériaux de génie civil ;
    7. Biopsychologie ;
    8. Climat/changement ;
    9. Gestion et organisations.

    Pour vérifier la fiabilité des résultats, les chercheurs ont normalisé les notes attribuées par chaque correcteur pour chaque cours afin de tenir compte des effets propres aux correcteurs, et ils ont à nouveau constaté que les performances de ChatGPT étaient comparables, voire supérieures, à celles des étudiants dans les neuf cours susmentionnés.

    Pour vérifier la fiabilité des résultats, les chercheurs ont normalisé les notes attribuées par chaque correcteur pour chaque cours afin de tenir compte des effets propres aux correcteurs, et ils ont à nouveau constaté que les performances de ChatGPT étaient comparables, voire supérieures, à celles des étudiants dans les neuf cours susmentionnés.

    Nom : tch1.jpg
Affichages : 750
Taille : 80,5 Ko

    Comparaison entre ChatGPT et des étudiants de niveau universitaire. Comparaison de la note moyenne de ChatGPT (en vert) et de la note moyenne des étudiants (en bleu), les barres d'erreur représentant les intervalles de confiance à 95 %. (a) Comparaison entre les cours universitaires. (b) Comparaison entre les dimensions « processus cognitif » et « connaissance » de la taxonomie de l'apprentissage d'Anderson et Krathwohl. (c) Comparaison entre les types de questions. Les valeurs p sont calculées à l'aide du bootstrapped two-sided Welch’s T-test et ne sont indiquées que pour les cours où les TPG n'obtiennent pas une note significativement inférieure à celle des étudiants.

    Il est intéressant de noter que l'écart de performance entre ChatGPT et les étudiants est nettement plus faible pour les questions exigeant des niveaux élevés de connaissances et de processus cognitifs, par rapport à celles exigeant des niveaux intermédiaires. Il est également intéressant de noter la performance de ChatGPT sur les questions qui requièrent de la créativité - le niveau le plus élevé de la dimension du processus cognitif - avec une note moyenne de 7,5 par rapport à la note moyenne des étudiants de 7,9. Il n'est peut-être pas surprenant de constater que les seules questions pour lesquelles ChatGPT obtient de meilleurs résultats que les étudiants sont celles qui requièrent des connaissances factuelles, ce qui atteste des quantités massives de données sur lesquelles il a été entraîné.

    Enfin, les chercheurs comparent les performances de ChatGPT avec différents types de questions. À cette fin, pour chaque question, ils ont demandé aux professeurs participants de préciser si la question :

    1. concerne les mathématiques ;
    2. concerne des extraits de code ;
    3. nécessite la connaissance d'un auteur spécifique, d'un article/livre, ou d'une technique/méthode particulière ;
    4. est une question piège.

    Les résultats sont résumés dans la figure c ci-dessus. Une fois de plus, nous constatons que l'écart de performance le plus important entre ChatGPT et les étudiants concerne les questions liées aux mathématiques, suivies des questions pièges. Pour l'instant, les humains semblent surpasser ChatGPT dans ces domaines. ChatGPT est devenu moins performant pour effectuer certaines opérations mathématiques de base, selon des chercheurs de l'Université de Stanford et de l'Université de Californie à Berkeley.

    Malgré ces exemples, la littérature manque encore d'une étude systématique comparant les performances du ChatGPT à celles d'étudiants de différentes disciplines dans le même établissement. En outre, les perspectives des étudiants et des éducateurs du monde entier concernant l'utilisation de cette technologie restent floues. Enfin, la détectabilité des solutions générées par ChatGPT pour les devoirs reste inconnue.

    Source : Scientific Reports

    Et vous ?

    Les conclusions des travaux des professeurs associés en informatique à l'université de New York à Abou Dhabi, sont-elles pertinentes ?

    À votre avis, les résultats de l’étude sont-ils généralisables à d’autres models ?

    Selon vous, pourquoi la technologie du chatbot n’a-t-elle pas été à la hauteur en mathématiques et en économie? Quels seraient les défis spécifiques auxquels ChatGPT est confronté dans ces domaines ?

    Utilisez-vous ChatGPT ? Quelle est votre expérience de l'outil d'IA ?

    Quels sont les avantages et les inconvénients de l’utilisation de ChatGPT par rapport à d’autres outils d’IA ? Dans quels cas ChatGPT est-il plus efficace que d’autres outils d’IA, et dans quels cas est-il moins efficace ?

    Voir aussi :

    Chat GPT a atteint un million d'utilisateurs en un temps record, cinq jours seulement après sa création en novembre 2022, révolutionnant le gain de temps dans divers domaines

    ChatGPT réussit un examen de MBA donné par un professeur de l'université de Pennsylvannie, après un d'informatique pour élèves du secondaire désireux d'obtenir des crédits universitaires US

    ChatGPT réussit l'examen de la faculté de droit des États-Unis malgré des performances médiocres, des professeurs estiment que cela pourrait signer la fin des méthodes d'enseignement traditionnelles

    Un professeur texan a fait échouer plus de la moitié de sa classe, après que ChatGPT a prétendu à tort qu'il avait rédigé leurs travaux

    Lyon : ChatGPT utilisé par la moitié des élèves de Master d'un professeur pour rédiger leurs devoirs. « Cette pratique m'inquiète. Elle pose un véritable problème d'intégration des savoirs »

    Un professeur surprend un étudiant en train de tricher avec le chatbot d'IA ChatGPT : « je suis terrorisé », Il estime que ces outils pourraient aggraver la tricherie dans l'enseignement supérieur
    Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

Discussions similaires

  1. Réponses: 1
    Dernier message: 14/05/2006, 22h23
  2. Réponses: 1
    Dernier message: 02/05/2006, 13h22
  3. Pourquoi "true" devient "vrai" et "
    Par nickg dans le forum ASP
    Réponses: 10
    Dernier message: 24/02/2006, 14h47
  4. [Version: 3.1.1] Pourquoi je ne peux plus gerer mes servers
    Par wdionysos dans le forum Eclipse Java
    Réponses: 1
    Dernier message: 29/01/2006, 14h02
  5. Javascript encore plus nul en maths que moi
    Par Oluha dans le forum Général JavaScript
    Réponses: 5
    Dernier message: 25/02/2005, 17h08

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo