Discussion :

[Bruno]

Stack Overflow est la victime de ChatGPT avec baisse du trafic de 14 %,
alors que ChatGPT a attiré 1,6 milliard de visites en mars et 920,7 millions au cours de la première quinzaine d'avril

Dans un billet de blog publié le 19 avril, David F. Carr, Senior Manager au sein de l'équipe Similarweb, présente l’impact de ChatGPT, un chatbot basé sur l’intelligence artificielle, sur le trafic de Stack Overflow, un site web communautaire pour les développeurs. Pour étayer ses déclarations, explique que ChatGPT peut générer du code et des explications à partir d’un simple texte, ce qui réduit le besoin de chercher des solutions sur Stack Overflow. Il compare aussi ChatGPT avec CoPilot, un assistant de codage proposé par GitHub, qui utilise la même technologie que ChatGPT. Il présente des données de Similarweb qui montrent que le trafic de Stack Overflow a baissé de 14 % en mars 2023, tandis que celui de ChatGPT et de GitHub a augmenté. Il conclut que ChatGPT et CoPilot représentent une nouvelle façon de coder, plus basée sur l’ingénierie des prompts que sur le copier-coller.

Les programmeurs peuvent poser des questions et trouver des réponses sur Stack Overflow. Il s'agit du site phare du réseau Stack Exchange. Joel Spolsky et Jeff Atwood l'ont développé en 2008. Toutefois, les développeurs obtiennent de plus en plus de conseils auprès des chatbots d'IA et de GitHub CoPilot plutôt que sur les tableaux de messages de Stack Overflow. Alors que le trafic sur le ChatGPT d'OpenAI augmente de façon exponentielle, Stack Overflow connaît un déclin régulier, perdant ainsi une partie de son statut de source privilégiée vers laquelle les développeurs se tournent pour obtenir des réponses à leurs problèmes de codage.

La plupart des sites web souffrent aujourd'hui de la comparaison avec ChatGPT, et cette comparaison n'est pas juste dans la mesure où Stack Overflow et GitHub sont des services spécialisés pour les développeurs. ChatGPT a gagné l'attrait du marché de masse, en plus d'être utile aux développeurs. Google a envoyé des questions d'entretien de codage à ChatGPT et, sur la base des réponses de l'IA, a déterminé qu'il serait embauché pour un poste d'ingénieur de niveau trois, selon un document interne. L'expérience a été réalisée dans le cadre des récents tests de Google sur plusieurs chatbots IA, qu'il envisage d'ajouter à son moteur de recherche. La capacité de ChatGPT à proposer une réponse concise et fidèle à une question pourrait faire gagner aux utilisateurs le temps qu'ils passent généralement à parcourir les liens sur Google pour trouver la même information.

Stack Overflow vs ChatGPT and GitHub

En décembre dernier, Stack Overflow a décidé d'interdire la publication d'informations produites par ChatGPT en raison du degré élevé d'inexactitude des réponses fournies par le robot, qui peut être « substantiellement préjudiciable aux sites et aux utilisateurs qui recherchent des réponses correctes ». Finalement, cette interdiction de ChatGPT n'a pas eu de conséquences positives pour Stack Overflow.

Une étude publiée en octobre 2018 dans la revue Empirical Software Engineering par les universitaires Sebastian Baltes et Stephan Diehl a révélé qu’un extrait de code fourni en réponse à une question Stack Overflow en septembre 2010 par Andreas Lundblad, développeur Java chez Palantir, est l’extrait de code Java le plus copié sur la plateforme communautaire. Cependant, dans un billet publié la décembre 2019, Lundblad a expliqué que le code était défectueux et qu'il convertissait de manière incorrecte le nombre d'octets dans des formats lisibles par l'homme.

Des rapports de Similar Web font état d'une baisse de 14 % du nombre de visites sur le site web après la mise en place de ChatGPT en novembre. Cela peut s'expliquer en partie par une évolution connexe, l'introduction de l'assistant de codage CoPilot de l'entreprise GitHub de Microsoft. CoPilot est construit sur le même modèle de langage OpenAI que ChatGPT, capable de traiter à la fois le langage humain et le langage de programmation. Un plugin pour Microsoft Visual Studio Code, largement utilisé, permet aux développeurs de demander à CoPilot d'écrire des fonctions entières en leur nom, plutôt que d'aller sur Stack Overflow à la recherche de quelque chose à copier et coller. CoPilot intègre désormais la dernière version GPT-4 de la plateforme OpenAI.

La connexion intrigante entre Stack Overflow et ChatGPT est que le chatbot basé sur LLM est formé en utilisant les informations trouvées sur Stack Overflow. Cela est confirmé par la déclaration de l'article GPT-3 selon laquelle il a été formé sur une variété d'ensembles de données, y compris Common Crawl, qui est pratiquement équivalent à l'ensemble de l'Internet. Il n'y a aucune raison de penser que Stack Overflow n'est pas inclus dans les données d'entraînement, à moins qu'OpenAI n'ait pris des mesures proactives pour le faire. Par conséquent, ChatGPT est un outil très pratique pour les développeurs.

Puisque ChatGPT est construit sur les informations de Stack Overflow, il peut fournir la solution idéale sans que l'utilisateur n'ait à passer des heures à chercher sur le site pour trouver la réponse idéale à sa question. La communauté des développeurs étant centrée sur Stack Overflow, ChatGPT est confronté à un défi de taille.

Depuis l'introduction de ChatGPT, de nombreux utilisateurs ont cessé de visiter Stack Overflow, mais aucun chatbot, y compris ChatGPT, ne pourra jamais remplacer l'opportunité de discuter des réponses avec les autres membres du forum.

• D'une année sur l'autre, le trafic vers Stack Overflow a baissé en moyenne de 6 % chaque mois depuis janvier 2022 et de 13,9 % en mars.
• ChatGPT n'a pas d'antécédents sur une année, n'ayant été lancé qu'à la fin du mois de novembre, mais son site web est devenu en peu de temps l'une des propriétés numériques les plus populaires au monde, plus importante que le moteur de recherche Bing de Microsoft pour ce qui est du trafic mondial. Il a attiré 1,6 milliard de visites en mars et 920,7 millions au cours de la première quinzaine d'avril.
• Le site web GitHub a également connu une forte croissance, le trafic vers github ayant augmenté de 26,4 % d'une année sur l'autre en mars, pour atteindre 524 millions de visites. Ce chiffre ne reflète pas toute l'utilisation de CoPilot, qui se fait normalement dans un éditeur comme Visual Studio Code, mais il inclut les personnes qui viennent sur le site web pour s'abonner au service.
• Alors que Stack Overflow et GitHub sont beaucoup plus proches en taille que ChatGPT, GitHub augmente son trafic tandis que Stack Overflow diminue. Le nombre de visites de la page d'inscription à l'essai gratuit de GitHub CoPilot a plus que triplé entre février et mars, pour atteindre 800 000.

Stack Overflow vs GitHub

ChatGPT comme outil de codage

Peu après l'introduction de ChatGPT, les développeurs ont découvert qu'il était utile pour produire des échantillons de code détaillés et des fonctions complètes - avec des tutoriels expliquant pourquoi le code fonctionne - en réponse à une simple invite textuelle. Les comparaisons avec Stack Overflow et les prédictions selon lesquelles ChatGPT « tuerait » Stack Overflow ont immédiatement commencé.

Pendant ce temps, et comme dit précédemment, Stack Overflow a annoncé une interdiction temporaire de publier le contenu de ChatGPT sur son site - considéré comme une violation des normes de la communauté parce que, selon la direction du site, les réponses de ChatGPT aux questions de codage sont trop souvent incorrectes.

La tradition de Stack Overflow veut que les membres de la communauté publient une variété de réponses à une question de codage donnée, débattent des avantages et des compromis, et votent pour reconnaître la meilleure solution. Pour de nombreuses questions de codage courantes, un développeur trouvera une réponse largement reconnue qui l'attend.

Les utilisateurs de ChatGPT ne participent pas au débat et obtiennent simplement une réponse, ce qui peut sembler plus rapide et plus efficace. La réponse qui revient peut ne pas correspondre exactement à ce dont le développeur a besoin, mais elle est souvent suffisamment proche pour être façonnée et ajustée en une solution fonctionnelle. Ce n'est pas si différent du processus consistant à trouver une réponse à la question de quelqu'un d'autre sur Stack Overflow et à l'adapter à ses propres besoins.

CoPilot a fait l'objet d'une controverse sur la génération de code basée sur du contenu open source, sans respect des licences open source pertinentes, et ces questions s'appliquent également aux conseils de codage fournis par ChatGPT.

Comme pour Stack Overflow, la méthodologie de ChatGPT n'est pas parfaite et contient des milliers de réponses incorrectes et inutiles. Par conséquent, ChatGPT fournira inévitablement des réponses trompeuses s'il est entraîné sur l'ensemble des données de Stack Overflow et pas seulement sur les réponses les plus populaires. Cela s'est produit à de nombreuses reprises, ce qui a finalement incité les membres à retourner sur l'internet. Ce n'est pas une bonne idée de faire trop confiance aux réponses du chatbot.

Récemment, OpenAI a fait une autre avancée significative pour résoudre le problème de la fiabilité. Les développeurs peuvent désormais vérifier leur code sur le chatbot grâce à la sortie du plugin Code Interpreter pour ChatGPT. Actuellement, ChatGPT Plus, qui utilise GPT-4, est la seule plateforme qui supporte ce plugin. Les développeurs peuvent également accéder à Internet par l'intermédiaire de Bing Chat, en plus de ChatGPT. Cela leur permet de combiner le code avec des informations actualisées. D'un autre côté, certains développeurs le décrivent comme « toxique ». De nombreux utilisateurs pensent que les développeurs utilisent Stack Overflow pour critiquer les autres plutôt que de l'utiliser comme un site de questions-réponses.

À l'heure actuelle, il semble improbable que Stack Overflow accepte les technologies d'IA sur son site. La façon dont Getty Images a réagi à la décision de Stack Overflow de supprimer les réponses au ChatGPT est similaire à la façon dont Shutterstock, un concurrent, a choisi d'accepter les œuvres d'art issues de l'IA sur sa place de marché d'images de stock en payant les artistes originaux. De même, Stack Overflow pourrait être en mesure de gérer et de s'adapter à ce terrain changeant s'il le souhaite.

Source : David F. Carr's blog post

Et vous ?

Quel est votre avis sur le sujet ?

Quels sont les avantages et les inconvénients de Stack Overflow par rapport à ChatGPT pour apprendre à coder ou à résoudre des problèmes de programmation ?

Quels sont les défis et les opportunités que ChatGPT représente pour Stack Overflow en termes de concurrence, de collaboration ou d’innovation ?

Voir aussi :

L'extrait de code Java le plus copié sur Stack Overflow contient un bogue et son auteur, Andreas Lundblad, développeur Java chez Palantir, propose un correctif

ChatGPT réussit l'entretien de codage Google pour un ingénieur de niveau 3 avec un salaire de 183 000 $, tout en indiquant qu'il ne peut pas reproduire la créativité humaine

Stack Overflow, le site de questions-réponses pour développeurs, racheté par Prosus pour 1,8 milliard de dollars, l'activité de Stack Overflow restera inchangée, précise l'entreprise

OpenAI lance ChatGPT Plus, un plan d'abonnement ChatGPT pour 20 $ par mois, qui est proposé à ceux qui veulent des réponses plus rapides ainsi qu'un accès prioritaire aux nouvelles fonctionnalités

[Stéphane le calme]

Quand l’IA puise dans le savoir des développeurs : Stack Overflow bannit massivement les utilisateurs qui se rebellent contre le partenariat avec OpenAI,
les utilisateurs bannis pour avoir supprimé des réponses afin d'éviter qu'elles ne soient utilisées pour former ChatGPT

Stack Overflow, la plateforme bien connue des développeurs pour le partage de connaissances en programmation, se trouve au cœur d’une controverse suite à son partenariat avec OpenAI. Ce partenariat permet à OpenAI d’accéder aux réponses des programmeurs via l’API de Stack Overflow pour entraîner ses modèles d’intelligence artificielle, notamment ChatGPT. Cependant, cette initiative n’a pas été accueillie avec enthousiasme par une partie de la communauté. Certains utilisateurs ont exprimé leur mécontentement en supprimant ou en modifiant leurs réponses publiées sur la plateforme. Ils protestent contre l’utilisation de leur contenu sans possibilité de retrait et critiquent le manque de reconnaissance de leur travail.

OpenAI et la plateforme de développement Stack Overflow ont annoncé un partenariat qui pourrait potentiellement améliorer les performances des modèles d'IA et apporter plus d'informations techniques dans ChatGPT.

OpenAI aura accès à l'API de Stack Overflow et recevra les commentaires de la communauté des développeurs afin d'améliorer les performances des modèles d'IA. OpenAI, à son tour, attribuera à Stack Overflow un lien vers son contenu dans ChatGPT. Les utilisateurs du chatbot verront plus d'informations provenant des archives de connaissances de Stack Overflow s'ils posent des questions techniques ou de codage à ChatGPT. Les entreprises précisent dans le communiqué de presse que cela « favorisera un engagement plus profond à l'égard du contenu ».

Stack Overflow utilisera les grands modèles de langage d'OpenAI pour développer Overflow AI, l'application d'IA générative annoncée l'année dernière. Overflow AI ajouterait à Stack Overflow une recherche en langage naturel alimentée par l'IA. Stack Overflow indique qu'il combinera les commentaires de sa communauté et les tests internes des modèles d'OpenAI dans le cadre de ses projets visant à créer davantage de produits d'IA pour ses utilisateurs.

Dans le cadre de cette collaboration :

• OpenAI utilisera le produit OverflowAPI de Stack Overflow et collaborera avec Stack Overflow pour améliorer les performances des modèles pour les développeurs qui utilisent leurs produits. Cette intégration aidera OpenAI à améliorer ses modèles d'IA en utilisant un contenu amélioré et les commentaires de la communauté Stack Overflow et fournira une attribution à la communauté Stack Overflow dans ChatGPT pour favoriser un engagement plus profond avec le contenu.
• Stack Overflow utilisera les modèles d'OpenAI dans le cadre du développement d'OverflowAI et travaillera avec OpenAI pour exploiter les résultats des tests internes afin de maximiser les performances des modèles d'OpenAI. Le partenariat d'OpenAI avec Stack Overflow contribuera à renforcer sa mission, qui est de permettre au monde de développer des technologies grâce à la connaissance collective, car Stack Overflow sera en mesure de créer de meilleurs produits qui bénéficieront à la santé, à la croissance et à l'engagement de la communauté de Stack Exchange.

La première série de fonctionnalités sera mise en place d'ici la fin du mois de juin.

Un revirement

L'association avec OpenAI est un revirement remarquable pour Stack Overflow, qui avait initialement interdit les réponses de ChatGPT sur sa plateforme par crainte de réponses de type spams.

De plus, Stack Overflow a été une victime de ChatGPT qui a entraîné une baisse à deux chiffres de son trafic.

David F. Carr, Senior Manager au sein de l'équipe Similarweb, a expliqué que ChatGPT peut générer du code et des explications à partir d’un simple texte, ce qui réduit le besoin de chercher des solutions sur Stack Overflow. Il a comparé aussi ChatGPT avec Copilot, un assistant de codage proposé par GitHub, qui utilise la même technologie que ChatGPT. Il a présenté des données de Similarweb qui montraient que le trafic de Stack Overflow a baissé de 14 % en mars 2023, tandis que celui de ChatGPT et de GitHub a augmenté. Il conclut que ChatGPT et CoPilot représentent une nouvelle façon de coder, plus basée sur l’ingénierie des prompts que sur le copier-coller.

Stack Overflow a commencé à expérimenter des fonctions d'IA générative en avril dernier, promettant de créer des modèles qui « récompensent » les développeurs qui apportent des connaissances à la plateforme. En juillet, la société a lancé un outil de recherche conversationnelle qui permet aux utilisateurs de poser des questions et de recevoir des réponses basées sur la base de données de Stack Overflow, qui compte plus de 58 millions de questions et de réponses, ainsi que des outils permettant aux entreprises d'affiner les recherches sur leur propre documentation et leurs bases de connaissances.

Certains membres de la communauté des développeurs de Stack Overflow se sont rebellés contre ces changements, mettant en avant des préoccupations liées à la validité des informations générées par l'IA, à la surcharge d'informations et à la confidentialité des données pour les contributeurs individuels sur la plateforme.

Ces inquiétudes étaient au moins en partie fondées. Une analyse de plus de 150 millions de lignes de code déposées dans des dépôts de projets au cours des dernières années par GitClear a révélé que les outils de développement génératifs de l'IA entraînaient une augmentation du nombre de codes erronés dans les bases de code. Par ailleurs, des chercheurs en sécurité ont mis en garde contre le fait que ces outils peuvent amplifier les bogues et les problèmes de sécurité existants dans les projets de logiciels.

Mais malgré les défauts apparents, les développeurs adoptent les outils d'IA générative pour au moins certaines tâches de codage. Dans un sondage Stack Overflow de juin 2023, 44 % des développeurs ont déclaré qu'ils utilisaient actuellement des outils d'IA dans leur processus de développement, tandis que 26 % prévoient de le faire prochainement.

Cela a précipité une sorte de crise existentielle pour Stack Overflow. Le trafic sur la plateforme aurait chuté de manière significative depuis la sortie de nouveaux modèles d'IA générative capables l'année dernière - des modèles qui, dans de nombreux cas, ont été formés à partir de données provenant de Stack Overflow.

Aujourd'hui, pour réduire ses coûts, Stack Overflow cherche à conclure des accords de licence avec des fournisseurs d'IA.

Stack Overflow contrarié par les utilisateurs qui suppriment des réponses après le partenariat avec OpenAI

Dans ce monde en constante évolution où le contenu généré par l'utilisateur s'oppose au contenu généré par l'IA, l'annonce récente du partenariat entre Stack Overflow et OpenAI a suscité quelques réactions négatives de la part de la communauté. Des rapports indiquent que plusieurs utilisateurs ont tenté de supprimer leur contenu (questions et réponses) de Stack Overflow avec une certaine difficulté, car le site web ne permet pas de tout supprimer facilement. Ces utilisateurs ont donc décidé de modifier leurs questions et/ou leurs réponses afin de les « défigurer » pour protester contre la coopération entre Stack Overflow et OpenAI.

Stack Overflow bannit-il des comptes pour avoir supprimé du contenu ?

De nombreux utilisateurs ont signalé sur les réseaux sociaux qu'ils avaient reçu un courriel des modérateurs de Stack Overflow indiquant que leurs comptes avaient été placés en attente pendant 7 jours, ou bannis temporairement. Ces utilisateurs ont commencé à tenter de supprimer de nombreux messages, tant des questions que des réponses, qu'ils avaient précédemment publiés sur le site Web de Stack Overflow.

Un développeur nommé Ben a posté une capture d'écran de l'historique des modifications d'un message demandant des conseils de programmation, qu'il avait mis à jour pour dire qu'il avait supprimé la question pour protester contre l'accord avec OpenAI. « Le mouvement vole le travail de tous ceux qui ont contribué à Stack Overflow sans aucun moyen de s'y soustraire », peut-on lire dans le message mis à jour.

Le texte a été annulé moins d'une heure plus tard. Un message du modérateur que Ben a également inclus indique que les messages de Stack Overflow deviennent « une partie des efforts collectifs » des autres contributeurs une fois qu'ils sont rédigés et qu'ils ne doivent être supprimés que « dans des circonstances extraordinaires ». L'équipe de modération a ensuite indiqué qu'elle suspendait le compte de Ben pour une semaine, le temps de prendre contact avec lui « pour éviter tout autre malentendu ».

Sur X/Twitter, un développeur a déclaré :

« LOL. @StackOverflow éprouvent une certaine frustration car plusieurs utilisateurs ont supprimé leurs réponses depuis l'annonce du partenariat avec @OpenAI . En conséquence, ils ont commencé à suspendre les comptes qui se livrent à ce comportement. Il est important de noter que le "droit à l'oubli" ne s'applique plus à vos réponses, conformément aux conditions générales de StackOverflow, qui leur accordent une autorisation spéciale pour conserver toutes les réponses. De plus, la restauration de messages individuels à partir de sauvegardes semble difficile. Lmao ».

LOL. @StackOverflow mods are experiencing some frustration as several users have been deleting their answers since the announcement with @OpenAI partnership. As a result, they have started suspending accounts that engage in this behavior. It's important to note that the "right to… pic.twitter.com/M2YbKGXpzC

— nixCraft 🐧 (@nixcraft) May 8, 2024

Vous avez récemment supprimé ou dégradé le contenu de vos messages. Veuillez noter qu'une fois que vous avez posté une question ou une réponse sur ce site, ces messages font partie des efforts collectifs des autres personnes qui ont également contribué à ce contenu. Les messages potentiellement utiles à d'autres personnes ne doivent pas être supprimés, sauf dans des circonstances exceptionnelles. Même si le message n'est plus utile à l'auteur original, cette information est toujours bénéfique à d'autres personnes susceptibles de rencontrer des problèmes similaires à l'avenir - c'est la philosophie sous-jacente de Stack Exchange.

Les suppressions importantes demandent beaucoup d'efforts pour être réparées, veuillez lire « J'ai mieux pensé à ma question ; puis-je la supprimer ? » pour connaître les alternatives possibles. En raison des perturbations que ces incidents peuvent causer, nous avons mis votre compte en attente pendant 7 jours, le temps de vous contacter afin d'éviter tout autre malentendu. Une fois ce problème résolu, votre score de réputation sera rétabli et votre compte reprendra son cours normal.

Nous espérons sincèrement qu'il ne s'agit que d'un malentendu, mais nous comprenons que vous puissiez avoir une raison exceptionnelle de supprimer ce contenu. Si c'est le cas, faites-le nous savoir en répondant à ce message.

Conclusion

Comme d'autres plateformes qui tirent leur valeur du contenu généré par les utilisateurs, Stack Overflow est propriétaire des messages des utilisateurs. Dans le cadre de ses conditions d'utilisation, les utilisateurs « ne peuvent pas révoquer l'autorisation » donnée au site d'utiliser leurs contributions à la plateforme. Mais le site utilise une licence Creative Commons 4.0, qui exige une attribution. Lorsque OpenAI et Stack Overflow ont annoncé leur partenariat, OpenAI a déclaré que ChatGPT attribuerait ses réponses lorsqu'elles proviennent de la plateforme. Google affirme que c'est également une caractéristique de l'accord similaire conclu par Stack Overflow avec Google pour Gemini Cloud.

Le problème qui subsiste est le manque de transparence quant à l'origine des réponses d'un chatbot. Si ChatGPT ou un autre bot répond à une question et qu'une partie de cette réponse ne figure pas dans la source citée, s'agit-il d'une réponse hallucinée ou d'une réponse provenant d'un autre endroit ?

Cette situation met en lumière la tension entre le développement de technologies innovantes et la reconnaissance du travail individuel. Elle invite à une réflexion sur l’avenir de la collaboration entre les humains et l’intelligence artificielle dans le domaine de la programmation.

Sources : annonce du partenariat entre les deux entreprises, Snyk, enquête Stack Overflow

Et vous ?

Quelle devrait être la limite de l’utilisation des contributions des utilisateurs par des tiers, comme OpenAI, dans le cadre de partenariats avec des plateformes telles que Stack Overflow ?
Les utilisateurs devraient-ils avoir le droit de retirer ou de modifier leurs contributions après qu’elles aient été utilisées pour entraîner des modèles d’IA ?
Comment les plateformes en ligne peuvent-elles équilibrer l’amélioration des technologies d’IA avec le respect des droits des contributeurs ?
Stack Overflow devrait-il offrir une compensation ou une reconnaissance supplémentaire aux utilisateurs dont le contenu est utilisé pour entraîner des modèles d’IA ?
Quelles mesures de transparence Stack Overflow et OpenAI devraient-ils prendre pour assurer aux utilisateurs que leurs contributions sont utilisées de manière éthique ?
La propriété intellectuelle sur une plateforme collaborative doit-elle rester individuelle ou devenir collective après publication ?
Dans quelle mesure les termes de service des plateformes en ligne sont-ils clairs et justes concernant l’utilisation des contributions des utilisateurs ?

[Jade Emy]

Les LLM réduisent le partage des connaissances publiques sur les plateformes de questions-réponses en ligne : il y a moins de contenu valable pour former les LLM, qui finissent donc par s'auto-empoisonner

Les grands modèles de langage réduisent le partage des connaissances publiques sur les plateformes de questions-réponses en ligne. L'impact de ChatGPT sur Stack Overflow en est le parfait exemple. Mais cette tendance représente un danger pour les modèles eux-mêmes : il y a moins de contenu valable pour former les LLM, qui finissent donc par s'auto-empoisonner. Une nouvelle étude lève le voile sur cette situation.

Les programmeurs peuvent poser des questions et trouver des réponses sur Stack Overflow, un site web communautaire pour les développeurs. Toutefois, les développeurs obtiennent de plus en plus de conseils auprès des chatbots d'IA et de GitHub CoPilot plutôt que sur les tableaux de messages de Stack Overflow. Un rapport de mai 2023 révèle que le trafic de Stack Overflow a baissé de 14 % en mars 2023, tandis que ChatGPT a attiré 1,6 milliard de visites le même mois.

Ce rapport présentait une nouvelle situation : les chatbot d'intelligence artificielle (IA) alimentés par les grands modèles de langage (LLM) devenaient un substitut potentiel aux données et aux ressources de connaissances générées par l'homme. Pour rappel, un LLM est un modèle informatique capable de générer du langage ou d'effectuer d'autres tâches de traitement du langage naturel. En tant que modèles de langage, les LLM acquièrent ces capacités en apprenant des relations statistiques à partir de grandes quantités de texte au cours d'un processus d'apprentissage autosupervisé et semi-supervisé.

Toutefois, cette substitution peut poser un problème important pour les données d'entraînement nécessaires au développement de futurs modèles si elle entraîne une réduction du contenu généré par l'homme. Des chercheurs ont donc étudié la réduction de l'activité sur Stack Overflow coïncidant avec la publication de ChatGPT. Les résultats montrent l'impact de ChatGPT sur Stack Overflow, mais surtout l'impact de l'IA sur les contenus en ligne générés par les humains.

Pour vérifier si la réduction d'activité de Stack Overflow est spécifique à l'introduction de ChatGPT, ils ont utilisé des contrefactuels impliquant des ressources de connaissances similaires générées par l'homme qui ne devraient pas être affectées par l'introduction de ChatGPT dans une telle mesure. Dans les six mois qui ont suivi la sortie de ChatGPT, l'activité sur Stack Overflow a diminué de 25 % par rapport à ses homologues russes et chinois, où l'accès à ChatGPT est limité, et à des forums similaires pour les mathématiques, où ChatGPT est moins performant.

Cette estimation serait ainsi une limite inférieure de l'impact réel de ChatGPT sur Stack Overflow. Le déclin est plus important pour les messages liés aux langages de programmation les plus utilisés. Parmi les observations : aucun changement significatif n'est constaté dans la qualité des messages mesurée par les commentaires des pairs, mais des diminutions dans la création de contenu par les utilisateurs les plus expérimentés et les moins expérimentés.

Toutefois, les LLM ne remplacent pas seulement les contenus dupliqués, de faible qualité ou de niveau débutant. Les résultats suggèrent que l'adoption rapide des LLM réduit la production de données publiques nécessaires à leur formation, ce qui a des conséquences significatives. Notamment par le fait qu'avec moins de données disponibles, les LLM génèrent ses propres données d'entrainement et s'auto-empoisonnent en même temps.

L'impact de ChatGPT sur Stack Overflow

La vitesse à laquelle les gens ont adopté ChatGPT est l'une des plus rapides de l'histoire de la technologie. Il est essentiel de mieux comprendre les activités que cette nouvelle technologie déplace et les effets de second ordre que cette substitution peut avoir. Après l'introduction de ChatGPT, il y a eu une forte diminution de la création de contenu humain sur Stack Overflow.

L'étude compare donc la diminution de l'activité sur Stack Overflow avec d'autres plateformes Stack Exchange où les LLM actuels sont moins susceptibles d'être utilisés. À l'aide d'un modèle de différence, ils ont estimé la diminution des messages sur Stack Overflow par rapport aux plateformes contrefactuelles dans les 6 mois suivant la publication de ChatGPT.

Pour les chercheurs, les résultats sont une limite inférieure, car ChatGPT est susceptible d'avoir eu un impact faible mais croissant sur les plateformes contrefactuelles également. L'enquête auprès des développeurs de Stack Overflow confirme que les personnes utilisant ChatGPT étaient moins susceptibles de poster des questions ou des réponses sur Stack Overflow.

Ils n'ont pas observé de changement important dans le retour social sur les messages, mesuré à l'aide des votes, ni dans la composition de l'expérience des utilisateurs qui publient des messages après la publication de ChatGPT. Ces résultats suggèrent que la qualité moyenne des messages n'a pas changé et que ChatGPT n'a pas remplacé uniquement les nouveaux utilisateurs inexpérimentés.

L'activité de publication liée aux langages de programmation les plus populaires a diminué davantage en moyenne que celle liée aux langages de niche. Étant donné que la performance des LLM dépend de la quantité de données de formation, ce résultat suggère que les utilisateurs sont plus susceptibles de remplacer Stack Overflow par ChatGPT en ce qui concerne les langages que les LLM connaissent mieux. Par conséquent, l'adoption généralisée des LLM diminuera probablement la fourniture de biens publics numériques, y compris les données ouvertes précédemment générées par les interactions sur le web.

Les chercheurs commentent ces résultats :

Deux de nos résultats offrent quelques raisons limitées d'être optimistes. Alors que l'activité de publication sur Stack Overflow a diminué parmi les utilisateurs inexpérimentés, expérimentés et experts par rapport aux plateformes de contrôle, le contenu créé par les nouveaux utilisateurs est resté relativement stable. On sait que les nouveaux utilisateurs sont essentiels à la santé à long terme des communautés en ligne.

Toutefois, cet optimisme doit être nuancé car, si les nouveaux utilisateurs commencent à se comporter comme les utilisateurs inexpérimentés, alors les nouveaux utilisateurs seront également plus susceptibles de réduire leur activité sur Stack Overflow. Deuxièmement, l'impact de ChatGPT a été moindre sur les langages de niche utilisés par un plus petit nombre de personnes, ce qui suggère que les conversations en ligne autour de ces langages et les informations précieuses qu'ils génèrent se poursuivront.

Les travaux récents de Burtch et al., qui étudient l'évolution de l'activité sur Stack Overflow et Reddit, ont abouti à des résultats similaires aux nôtres. En utilisant une méthode de contrôle synthétique pour tenir compte de la saisonnalité, les auteurs signalent une diminution d'environ 20 % de l'activité de publication sur Stack Overflow dans les 15 semaines qui ont suivi la publication de ChatGPT, et constatent des hétérogénéités similaires entre les langages de programmation.

Ces résultats complètent les nôtres, qui proviennent d'une analyse plus prudente utilisant des plateformes contrefactuelles. Une différence dans nos résultats est que leur méthode constate une forte diminution des messages des nouveaux utilisateurs, alors que nous observons moins de messages d'utilisateurs plus expérimentés sur Stack Overflow par rapport aux plates-formes contrefactuelles. Il serait utile de résoudre cette ambiguïté dans le cadre de travaux futurs, compte tenu de l'importance des nouveaux utilisateurs pour la santé des plateformes, comme nous l'avons vu plus haut.

Limites et implications de l'étude

Les résultats et les données de l'étude présentent certaines lacunes qui mettent en évidence d'autres questions ouvertes sur l'utilisation et l'impact des LLM. Premièrement, bien que l'étude présente des preuves solides que ChatGPT a diminué l'activité de publication sur Stack Overflow, les chercheurs ne pouvent que partiellement évaluer la qualité de l'activité de publication à l'aide des données sur les mentions positives et les mentions négatives.

Il est possible que les utilisateurs publient des questions plus difficiles, que les LLM ne peuvent pas (encore) traiter, sur Stack Overflow. Les travaux futurs devraient examiner si l'activité continue sur Stack Overflow est plus complexe ou sophistiquée en moyenne que les posts antérieurs à la publication de ChatGPT. De même, ChatGPT peut avoir réduit le volume de questions dupliquées sur des sujets simples, bien qu'il soit peu probable que cela ait un impact sur les principaux résultats.

Une deuxième limite est que l'étude ne peut pas observer dans quelle mesure les utilisateurs russes et chinois des plateformes de questions et réponses correspondantes sont réellement empêchés d'accéder à ChatGPT. En effet, des travaux récents ont montré un pic d'activité VPN et Tor à la suite du blocage de ChatGPT en Italie.

Bien que les résultats soient robustes à l'exclusion des contrefactuels chinois et russe, étant donné l'importance économique potentielle de ChatGPT et des LLM similaires, il est essentiel que nous comprenions mieux comment de telles interdictions et de tels blocages ont un impact sur l'accessibilité de ces outils.

Enfin, l'étude n'aborde pas la question de l'utilisation possible de ChatGPT pour générer le contenu de Stack Overflow. La politique de Stack Overflow a effectivement interdit les messages rédigés par ChatGPT dans la semaine qui a suivi sa publication. Quoi qu'il en soit, une quantité importante de contenu généré par ChatGPT sur Stack Overflow signifierait que les mesures sous-estiment l'ampleur de l'effet ChatGPT.

Malgré ces lacunes, les résultats ont des implications importantes pour l'avenir des biens publics numériques. Avant l'introduction de ChatGPT, davantage de contenu généré par l'homme était posté sur Stack Overflow, formant un bien public numérique collectif en raison de leur nature non rivale et non exclusive - toute personne ayant accès à Internet peut voir, absorber et étendre ces informations, sans diminuer la valeur de la connaissance. Aujourd'hui, une partie de ces informations est plutôt introduite dans des LLM privés tels que ChatGPT. Il s'agit d'un transfert important de connaissances du domaine public vers le domaine privé.

Cette tendance menace également les futurs modèles

Cet effet de substitution observé pose également plusieurs problèmes pour l'avenir de l'IA. Tout d'abord, si les modèles de langage évincent la création de données ouvertes, ils limiteront leurs propres données de formation et leur efficacité futures. Deuxièmement, les propriétaires des principaux modèles actuels ont un accès exclusif aux données et aux commentaires des utilisateurs, ce qui, avec un réservoir de données ouvertes relativement plus petit, leur donne un avantage significatif par rapport aux nouveaux concurrents pour la formation des futurs modèles.

Troisièmement, le déclin des ressources publiques sur le web inverserait les progrès réalisés par le web dans la démocratisation de l'accès à la connaissance et à l'information. Enfin, la consolidation des humains qui recherchent des informations autour d'un ou de quelques modèles de langage pourrait restreindre nos explorations et concentrer notre attention sur les sujets les plus courants.

Les résultats suggèrent que l'adoption généralisée de ChatGPT pourrait ironiquement rendre difficile la formation de futurs modèles. Bien que les chercheurs aient déjà exprimé leur inquiétude quant à l'épuisement des données pour l'entraînement des modèles d'IA, les résultats montrent que l'utilisation de LLM peut ralentir la création de nouvelles données (ouvertes). Étant donné les preuves croissantes que les données générées par les LLM ne sont pas susceptibles de former efficacement de nouveaux LLM, les modélisateurs sont confrontés au problème réel de l'épuisement des données utiles.

Alors que la recherche sur l'utilisation de données synthétiques et de données mixtes pour former les LLM est toujours en cours, les résultats actuels montrent que l'utilisation de données de formation synthétiques peut dégrader la performance et peut même amplifier les biais dans les modèles. L'apport humain et l'orientation peuvent atténuer ces problèmes dans une certaine mesure, mais en général, il n'est pas encore clair si les données synthétiques peuvent permettre des progrès continus dans les capacités LLM.

À long terme, ChatGPT ne peut pas remplacer efficacement l'apport le plus important du web : les données dérivées de l'activité humaine. En effet, les récents partenariats stratégiques d'OpenAI avec Stack Overflow et Reddit démontrent la valeur de ce type de données pour la formation continue des LLM. La prolifération des LLM a déjà eu un impact sur d'autres formes de création de données : de nombreux travailleurs d'Amazon Mechanical Turk génèrent maintenant du contenu (c'est-à-dire qu'ils répondent à des enquêtes, évaluent des textes) à l'aide de ChatGPT. Et bien que les filigranes puissent aider les humains et les modèles à identifier les créateurs de données, le problème général consistant à déterminer si, par exemple, un texte a été écrit par un humain ou un LLM est difficile à l'échelle.

Les chercheurs commentent :

L'avantage précoce d'une entreprise en matière d'innovation technologique conduit souvent à une part de marché importante par le biais de divers mécanismes de dépendance à l'égard du chemin parcouru. L'utilisation de ChatGPT est de plus en plus rentable au fur et à mesure que les utilisateurs l'utilisent, car elle peut apprendre à partir des commentaires des utilisateurs.

Nos résultats indiquent que ChatGPT réduit simultanément la quantité de données d'entraînement ouvertes que les concurrents pourraient utiliser pour construire des modèles concurrents, tout en capturant des données d'utilisateurs pour lui-même, ce qui peut conduire à un verrouillage technologique. Contrairement aux données synthétiques, les données sur les interactions des utilisateurs avec les LLM peuvent être utilisées pour améliorer et régler leur performance de manière significative.

Nous suggérons qu'en plus de l'augmentation des rendements d'échelle provenant des effets de réseau, la transformation des données publiques communes en bases de données privées présente un autre mécanisme par lequel le secteur technologique peut devenir encore plus concentré.

Valeur économique perdue

Les biens publics numériques génèrent de la valeur de bien d'autres manières que l'alimentation des LLM et autres algorithmes. Par exemple, Wikipédia est une source d'information importante dans le monde entier, mais dans les pays en développement, les lecteurs sont plus souvent motivés par des objectifs d'apprentissage intrinsèques et ont tendance à lire les articles plus en détail. L'inégalité d'accès à l'IA peut également aggraver les inégalités de croissance et d'innovation entre les pays.

Les biens publics numériques apportent également une valeur directe aux nombreux sites web qui extraient des données de l'open data pour compléter leurs services de base par des informations supplémentaires. Par exemple, il existe une interdépendance substantielle entre des sites tels que Wikipedia, Reddit et Stack Overflow et les moteurs de recherche qui les utilisent pour enrichir les réponses aux requêtes des utilisateurs au moyen d'infobox, ce que l'on appelle parfois le "paradoxe de la réutilisation".

Dans le cas des moteurs de recherche, l'insertion de liens vers les sources de connaissances dans les infobox a permis d'atténuer le problème dans une certaine mesure, mais les LLM tels que ChatGPT remplacent les moteurs de recherche et sont beaucoup moins susceptibles d'établir des liens vers les sources. Leur adoption généralisée représente une menace importante pour la viabilité globale du web.

Les créateurs de biens publics numériques peuvent également être perdants. Les contributeurs à Stack Overflow ou aux logiciels libres (OSS) bénéficient souvent d'avantages indirects. Par exemple, alors que les logiciels libres eux-mêmes apportent une valeur significative à l'économie mondiale, les contributions aux logiciels libres sont des signaux précieux des capacités d'une entreprise pour les investisseurs.

Les contributions individuelles à Stack Overflow sont utilisées pour signaler les capacités sur le marché du travail. Toute tendance générale de ChatGPT à évincer les contributions aux biens publics numériques peut limiter ces signaux précieux qui réduisent les frictions économiques. D'un autre côté, cette activité de signalisation peut constituer une incitation puissante à maintenir les contributions.

Les chercheurs concluent :

L'effet de substitution a probablement d'importants effets de second ordre sur la manière dont les gens recherchent des informations et sur leur exposition à de nouvelles idées. Les LLM favorisent probablement des perspectives bien établies et, en raison de leur efficacité, réduisent la nécessité pour les utilisateurs de rechercher des informations.

Ces caractéristiques des LLM peuvent renforcer une tendance observée précédemment dans le contexte du web. Plus précisément, on pense que les moteurs de recherche Internet ont poussé la science vers le consensus et des sujets plus étroits en améliorant l'efficacité de la recherche d'informations et en améliorant la visibilité de l'information principale.

Les LLM peuvent également décourager l'utilisation d'outils nouveaux ou de niche parce qu'ils amplifient le plus notre productivité avec les outils pour lesquels il y a beaucoup de données d'entraînement. Par exemple, ChatGPT peut ne pas être en mesure d'aider les utilisateurs d'un nouveau langage de programmation dont il n'a pas vu beaucoup d'exemples. Étant donné que les LLM sont sur le point de changer notre façon de faire de la recherche, qu'ils représentent un concurrent de taille pour les moteurs de recherche (57) et qu'ils influenceront probablement notre consommation d'informations, nous devons comprendre ce que l'efficacité des LLM implique pour notre contact avec diverses sources d'information et nos incitations à essayer de nouvelles choses.

Plus généralement, les modèles tels que ChatGPT vont générer des gagnants et des perdants sur le plan politique et économique, comme c'est le cas pour de nombreuses technologies révolutionnaires antérieures. Si les premières données montrent que ces modèles améliorent la productivité, en particulier chez les travailleurs nouveaux et inexpérimentés, ils peuvent aussi contribuer à l'inégalité entre les personnes et les entreprises, par exemple par le biais des effets secondaires négatifs potentiels de l'automatisation.

Les résultats de l'étude suggèrent que l'économie de la création et de la propriété des données deviendra plus importante : à mesure que les données prendront de la valeur, on s'intéressera de plus en plus à la manière dont les créateurs de données pourront s'approprier une partie de cette valeur. Ces aspects multiples de l'impact des LLM suggèrent que l'économie politique des données et de l'IA sera particulièrement importante dans les années à venir.

Dans ce contexte, notre travail met en évidence le fait que des biens publics numériques de grande valeur peuvent être sous-produits en raison de la prolifération de l'IA. Une question complémentaire naturelle est de savoir comment nous pouvons encourager la création de ces biens. Bien que l'on sache que les chocs liés au chômage augmentent la fourniture de biens publics numériques, ce serait une solution insatisfaisante que de suggérer que les personnes mises au chômage par l'automatisation combleront cette lacune.

Dans le cas de plateformes comme Stack Overflow, les utilisateurs actifs sont souvent motivés par le feedback social et la gamification, mais l'intégration continue de nouveaux utilisateurs est ce qui permet à ces plateformes de rester pertinentes à long terme (36). Dans l'intérêt d'un web ouvert durable et d'un écosystème d'IA qui s'appuie sur ses données, nous devrions réfléchir à la manière de maintenir les échanges d'informations et de connaissances en ligne.

Conclusion

Les grands modèles de langage réduisent le partage des connaissances publiques sur les plateformes de questions-réponses en ligne. L'impact de ChatGPT sur Stack Overflow en est le parfait exemple. L'étude confirme que l'IA devient une nouvelle source d'information, mais cette tendance représente une menace pour les futurs modèles, mais également sur la connaissance publique.

Récemment, le projet open-source Wordfreq, qui analysait l’évolution de l’utilisation des mots dans plus de 40 langues, a été arrêté. La raison ? La prolifération des textes générés par l’intelligence artificielle (IA) a rendu les données inutilisables. Robyn Speer, la créatrice du projet, a annoncé cette décision en soulignant que l’IA générative a "pollué les données" à un point tel que l’analyse linguistique fiable est devenue impossible. Cette situation confirme ainsi les craintes des chercheurs.

Du coup l'IA en provoquant la diminution du contenu pertinent sur le web provoque sa propre auto destruction, puisqu'elle n’a plus assez de données pertinentes pour évoluer, et s'empoisone en aspirant son propre contenu.
Les Chroniqueurs Judith Donath, Bruce Schneier et Christopher Mims alertent sur les menaces croissantes que représente l'intelligence artificielle (IA) pour l'écosystème en ligne. Ils soulignent comment les modèles de langage de grande envergure (LLM) et les éditeurs algorithmiques, notamment incarnés par Google, bouleversent notre accès et notre production de contenu en ligne, menaçant la qualité des informations disponibles. Est-ce la fin du Web tel que nous le connaissons ? Les détracteurs de l'IA craignent la destruction d'une précieuse ressource publique.

Source : "Large language models reduce public knowledge sharing on online Q&A platforms"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Stack Overflow bannit massivement les utilisateurs qui se rebellent contre son partenariat avec OpenAI en supprimant des réponses afin d'éviter qu'elles ne soient utilisées pour former ChatGPT

Le contenu en ligne généré par des non-humains dépassera largement celui produit par des humains d'ici 2026, d'après des études qui tirent la sonnette d'alarme sur la désinformation due à l'IA

L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente : l'IA sera-t-elle à court de données ? Limites de la mise à l'échelle des LLM sur les données générées par l'homme

Les modèles d'IA s'effondrent lorsqu'ils sont formés sur des données générées récursivement, si bien qu'il sera plus difficile de former les futurs LLM, car ils seront empoisonnés par le contenu créé par l'IA

[Minato Sensei]

En même temps, fallait s'attendre à ce que les données disponibles pour les entraînements de l'IA se mettent à devenir rares

[revo2211]

Du coup l'IA en provoquant la diminution du contenu pertinent sur le web provoque sa propre auto destruction, puisqu'elle n’a plus assez de données pertinentes pour évoluer, et s'empoisone en aspirant son propre contenu.

Et si l'IA apporte des vraies réponses aux questions?, les solutions étant trouvées, les problèmes se résolvent mais le partage des réponses correctes n'a plus lieu.
Il faudrait aller exposer les réponses correctes des IA et ainsi le partage continue.

Quand on possède la réponse on ne poste pas de question sur stackoverflow. On ne pose pas non plus la question quand un proche répond à la question.
Il y a donc un process qui est suivi avant de poster une question sur stackoverflow. On peut d'abord faire une recherche sur google puis ensuite on va sur stackoverflow , en ultime quête.

Ce qui aurait vraiment de la valeur c'est de savoir si un individu trouve les réponses à ses questions et par quel moyen.
Le tout serait de savoir à quel type de question l'IA donne des réponses. Pour les questions simples, l'IA fait très bien son travail donc c'est une avancée.

Si une question est une équation, si l'IA résouds toutes les équations, il y aura moins d'équations.

Somme nous pas entrain de toucher un plafond de verre de l'informatique? Si tous les projets sont accomplis, la quête ultime du développeur est terminée. On a créé l'informatique pour automatiser, simplifier, digitaliser les interactions, il faut s'attendre un jour à terminer cette quête. Un peu comme dans un jeu vidéo.

La solution finale qui est que toutes les meilleures réponses à toutes les équations approchent avec le temps. Ce qui est logique vu que plus on avance, plus on comprend le monde et plus on résouds les équations.
A un moment donné on aura la réponse à toutes nos questions et dans ce cas quelle sera la prochaine quête?

[Psylle]

Votre raisonnement tient si l'I.A. générative ne générait que des vraies réponses. Mais ce n'est pas le cas. Donc on finit par avoir des I.A. génératives qui apprennent avec des mauvaises réponses. Perso, je vois cela comme le problème de la consanguinité. Enfin, il me semble. Non?

[Jules34]

Somme nous pas entrain de toucher un plafond de verre de l'informatique? Si tous les projets sont accomplis, la quête ultime du développeur est terminée. On a créé l'informatique pour automatiser, simplifier, digitaliser les interactions, il faut s'attendre un jour à terminer cette quête. Un peu comme dans un jeu vidéo.

On a créé l'informatique pour faire des calculs. Les relations sociales évolueront en fonction de la société et de ses normes et l'informatique ne sera jamais qu'une béquille à une chose en constante évolution.

Il y aura des calculs à faire aussi longtemps qu'il y aura des hommes. De 1 + 1 à la base de donnée.

Il y en aura toujours à faire. Ceux qui annoncent la fin du progrès ou la fin de l'histoire comme si la technologie actuelle était un graal se trompent à mon sens. L'humanité ne touchera jamais de plafond de verre en la matière, au contraire j'ai le sentiment qu'on s'en éloigne.

[Mingolito]

C'est pas des "calculs", si un illuminé a écrit un jour sur un forum qu'il faut manger des cailloux alors ChatGPT te dira de manger des cailloux, histoire vrai

Donc maintenant il y a 10 IA qui vont répondre à tous le monde que "oui il faut manger des cailloux", et ça sera répété encore sur les forums par les utilisateurs idiots, et même encore plus directement par des bots IA qui postent sur les forum, donc non seulement l'IA est conne mais en sus elle s'auto empoisonne, car L'IA c'est un perroquet, une IA ne sais pas raisonner, une IA ne fait que collecter un tas de données, dont un tas de conneries, y compris des livres de fictions qui l'empoisonnent encore plus, pour inventer encore plus de conneries, les IA "hallucinent", et d'après les chercheurs vont continuer à halluciner.

Si tu demandes à une IA de te pondre une fiction, ça sera bien une fiction. Si tu demandes à une IA de te pondre un rapport scientifique, ça sera encore une fiction, une hallucination, une connerie, ou une fake news, au choix.

Un site scientifique a déjà fermé suite à la pollution IA, par des rapports tous faux fait par des IA, et pas assez de chercheurs humains volontaires et disponible vérifier toute cette merde.

[onilink_]

Chose dont tous ceux qui connaissent un minimum le fonctionnement des modèles d'IA avaient prédit depuis des années.
De toute façon, OpenAI et consort ont déjà volé tout le contenu exploitable du web donc je ne pense pas que ce soit une grosse limitation pour eux.
La quantité de données étant limité, il va falloir jouer dans la qualité. Et c'est pas en aspirant le web post 2024 que l'on va en trouver.

Bref j'ai envie de dire "c'est pas trop tôt".

@revo2211
Même si les réponses étaient vrai, un LLM ou tout autre modèle qui mange ses propres sorties en entrée finis par devenir plus con.
C'est vraiment la base.

Et sur le plan "philosophique", chaque réponse mène à plus de questions.
Quand on a "toutes les réponses" c'est qu'on se plante quelque part. C'est un peu ce qui s'est passé avec la physique pre "quantique" d'ailleurs

[revo2211]

L'IA actuelle n'est pas parfaite car elle est uniquement générative mais par un système de contrôle, les résultats s'amélioreront avec le temps. Actuellement ça génère mais ça ne valide pas.
L'IA génère des datas qui sont ensuite inclues comme source de données dans le modèle et à terme tout le contenu s'empoisonne de lui même. Je ne dirais pas que c'est du cannibalisme mais de l'empoisonnement.

Dans le cadre de l'informatique, il y a assez peu d'algorithme basé sur de l'aléatoire, donc l'IA sera capable de produire un résultat très qualitatif. Comme il y a des outils de validation syntaxique, de compilation, d'exécution et de test, l'IA devrait grandement aider dans ce domaine.

Je vois plutôt les LLM comme des moteurs de recherche. Google donne des liens mais pas de résultats, les LLM donnent des réponses qui peuvent être incorrectes. C'est à l'opérateur de valider les résultats.
Aujourd'hui c'est quand même beaucoup d'esbroufe

[SQLpro]

On oublie juste de dire que la qualité du code pissé par ces intelligence est rarement optimal et parfois totalement à côté de la plaque...

Cela va provoquer moins de demandes basiques dans stackoverflow, mais des demandes plus précises, plus complexes, avec des réponses plus osphsitiquées...

A +