Discussion :

[Bruno]

Stack Overflow est la victime de ChatGPT avec baisse du trafic de 14 %,
alors que ChatGPT a attiré 1,6 milliard de visites en mars et 920,7 millions au cours de la première quinzaine d'avril

Dans un billet de blog publié le 19 avril, David F. Carr, Senior Manager au sein de l'équipe Similarweb, présente l’impact de ChatGPT, un chatbot basé sur l’intelligence artificielle, sur le trafic de Stack Overflow, un site web communautaire pour les développeurs. Pour étayer ses déclarations, explique que ChatGPT peut générer du code et des explications à partir d’un simple texte, ce qui réduit le besoin de chercher des solutions sur Stack Overflow. Il compare aussi ChatGPT avec CoPilot, un assistant de codage proposé par GitHub, qui utilise la même technologie que ChatGPT. Il présente des données de Similarweb qui montrent que le trafic de Stack Overflow a baissé de 14 % en mars 2023, tandis que celui de ChatGPT et de GitHub a augmenté. Il conclut que ChatGPT et CoPilot représentent une nouvelle façon de coder, plus basée sur l’ingénierie des prompts que sur le copier-coller.

Les programmeurs peuvent poser des questions et trouver des réponses sur Stack Overflow. Il s'agit du site phare du réseau Stack Exchange. Joel Spolsky et Jeff Atwood l'ont développé en 2008. Toutefois, les développeurs obtiennent de plus en plus de conseils auprès des chatbots d'IA et de GitHub CoPilot plutôt que sur les tableaux de messages de Stack Overflow. Alors que le trafic sur le ChatGPT d'OpenAI augmente de façon exponentielle, Stack Overflow connaît un déclin régulier, perdant ainsi une partie de son statut de source privilégiée vers laquelle les développeurs se tournent pour obtenir des réponses à leurs problèmes de codage.

La plupart des sites web souffrent aujourd'hui de la comparaison avec ChatGPT, et cette comparaison n'est pas juste dans la mesure où Stack Overflow et GitHub sont des services spécialisés pour les développeurs. ChatGPT a gagné l'attrait du marché de masse, en plus d'être utile aux développeurs. Google a envoyé des questions d'entretien de codage à ChatGPT et, sur la base des réponses de l'IA, a déterminé qu'il serait embauché pour un poste d'ingénieur de niveau trois, selon un document interne. L'expérience a été réalisée dans le cadre des récents tests de Google sur plusieurs chatbots IA, qu'il envisage d'ajouter à son moteur de recherche. La capacité de ChatGPT à proposer une réponse concise et fidèle à une question pourrait faire gagner aux utilisateurs le temps qu'ils passent généralement à parcourir les liens sur Google pour trouver la même information.

Stack Overflow vs ChatGPT and GitHub

En décembre dernier, Stack Overflow a décidé d'interdire la publication d'informations produites par ChatGPT en raison du degré élevé d'inexactitude des réponses fournies par le robot, qui peut être « substantiellement préjudiciable aux sites et aux utilisateurs qui recherchent des réponses correctes ». Finalement, cette interdiction de ChatGPT n'a pas eu de conséquences positives pour Stack Overflow.

Une étude publiée en octobre 2018 dans la revue Empirical Software Engineering par les universitaires Sebastian Baltes et Stephan Diehl a révélé qu’un extrait de code fourni en réponse à une question Stack Overflow en septembre 2010 par Andreas Lundblad, développeur Java chez Palantir, est l’extrait de code Java le plus copié sur la plateforme communautaire. Cependant, dans un billet publié la décembre 2019, Lundblad a expliqué que le code était défectueux et qu'il convertissait de manière incorrecte le nombre d'octets dans des formats lisibles par l'homme.

Des rapports de Similar Web font état d'une baisse de 14 % du nombre de visites sur le site web après la mise en place de ChatGPT en novembre. Cela peut s'expliquer en partie par une évolution connexe, l'introduction de l'assistant de codage CoPilot de l'entreprise GitHub de Microsoft. CoPilot est construit sur le même modèle de langage OpenAI que ChatGPT, capable de traiter à la fois le langage humain et le langage de programmation. Un plugin pour Microsoft Visual Studio Code, largement utilisé, permet aux développeurs de demander à CoPilot d'écrire des fonctions entières en leur nom, plutôt que d'aller sur Stack Overflow à la recherche de quelque chose à copier et coller. CoPilot intègre désormais la dernière version GPT-4 de la plateforme OpenAI.

La connexion intrigante entre Stack Overflow et ChatGPT est que le chatbot basé sur LLM est formé en utilisant les informations trouvées sur Stack Overflow. Cela est confirmé par la déclaration de l'article GPT-3 selon laquelle il a été formé sur une variété d'ensembles de données, y compris Common Crawl, qui est pratiquement équivalent à l'ensemble de l'Internet. Il n'y a aucune raison de penser que Stack Overflow n'est pas inclus dans les données d'entraînement, à moins qu'OpenAI n'ait pris des mesures proactives pour le faire. Par conséquent, ChatGPT est un outil très pratique pour les développeurs.

Puisque ChatGPT est construit sur les informations de Stack Overflow, il peut fournir la solution idéale sans que l'utilisateur n'ait à passer des heures à chercher sur le site pour trouver la réponse idéale à sa question. La communauté des développeurs étant centrée sur Stack Overflow, ChatGPT est confronté à un défi de taille.

Depuis l'introduction de ChatGPT, de nombreux utilisateurs ont cessé de visiter Stack Overflow, mais aucun chatbot, y compris ChatGPT, ne pourra jamais remplacer l'opportunité de discuter des réponses avec les autres membres du forum.

• D'une année sur l'autre, le trafic vers Stack Overflow a baissé en moyenne de 6 % chaque mois depuis janvier 2022 et de 13,9 % en mars.
• ChatGPT n'a pas d'antécédents sur une année, n'ayant été lancé qu'à la fin du mois de novembre, mais son site web est devenu en peu de temps l'une des propriétés numériques les plus populaires au monde, plus importante que le moteur de recherche Bing de Microsoft pour ce qui est du trafic mondial. Il a attiré 1,6 milliard de visites en mars et 920,7 millions au cours de la première quinzaine d'avril.
• Le site web GitHub a également connu une forte croissance, le trafic vers github ayant augmenté de 26,4 % d'une année sur l'autre en mars, pour atteindre 524 millions de visites. Ce chiffre ne reflète pas toute l'utilisation de CoPilot, qui se fait normalement dans un éditeur comme Visual Studio Code, mais il inclut les personnes qui viennent sur le site web pour s'abonner au service.
• Alors que Stack Overflow et GitHub sont beaucoup plus proches en taille que ChatGPT, GitHub augmente son trafic tandis que Stack Overflow diminue. Le nombre de visites de la page d'inscription à l'essai gratuit de GitHub CoPilot a plus que triplé entre février et mars, pour atteindre 800 000.

Stack Overflow vs GitHub

ChatGPT comme outil de codage

Peu après l'introduction de ChatGPT, les développeurs ont découvert qu'il était utile pour produire des échantillons de code détaillés et des fonctions complètes - avec des tutoriels expliquant pourquoi le code fonctionne - en réponse à une simple invite textuelle. Les comparaisons avec Stack Overflow et les prédictions selon lesquelles ChatGPT « tuerait » Stack Overflow ont immédiatement commencé.

Pendant ce temps, et comme dit précédemment, Stack Overflow a annoncé une interdiction temporaire de publier le contenu de ChatGPT sur son site - considéré comme une violation des normes de la communauté parce que, selon la direction du site, les réponses de ChatGPT aux questions de codage sont trop souvent incorrectes.

La tradition de Stack Overflow veut que les membres de la communauté publient une variété de réponses à une question de codage donnée, débattent des avantages et des compromis, et votent pour reconnaître la meilleure solution. Pour de nombreuses questions de codage courantes, un développeur trouvera une réponse largement reconnue qui l'attend.

Les utilisateurs de ChatGPT ne participent pas au débat et obtiennent simplement une réponse, ce qui peut sembler plus rapide et plus efficace. La réponse qui revient peut ne pas correspondre exactement à ce dont le développeur a besoin, mais elle est souvent suffisamment proche pour être façonnée et ajustée en une solution fonctionnelle. Ce n'est pas si différent du processus consistant à trouver une réponse à la question de quelqu'un d'autre sur Stack Overflow et à l'adapter à ses propres besoins.

CoPilot a fait l'objet d'une controverse sur la génération de code basée sur du contenu open source, sans respect des licences open source pertinentes, et ces questions s'appliquent également aux conseils de codage fournis par ChatGPT.

Comme pour Stack Overflow, la méthodologie de ChatGPT n'est pas parfaite et contient des milliers de réponses incorrectes et inutiles. Par conséquent, ChatGPT fournira inévitablement des réponses trompeuses s'il est entraîné sur l'ensemble des données de Stack Overflow et pas seulement sur les réponses les plus populaires. Cela s'est produit à de nombreuses reprises, ce qui a finalement incité les membres à retourner sur l'internet. Ce n'est pas une bonne idée de faire trop confiance aux réponses du chatbot.

Récemment, OpenAI a fait une autre avancée significative pour résoudre le problème de la fiabilité. Les développeurs peuvent désormais vérifier leur code sur le chatbot grâce à la sortie du plugin Code Interpreter pour ChatGPT. Actuellement, ChatGPT Plus, qui utilise GPT-4, est la seule plateforme qui supporte ce plugin. Les développeurs peuvent également accéder à Internet par l'intermédiaire de Bing Chat, en plus de ChatGPT. Cela leur permet de combiner le code avec des informations actualisées. D'un autre côté, certains développeurs le décrivent comme « toxique ». De nombreux utilisateurs pensent que les développeurs utilisent Stack Overflow pour critiquer les autres plutôt que de l'utiliser comme un site de questions-réponses.

À l'heure actuelle, il semble improbable que Stack Overflow accepte les technologies d'IA sur son site. La façon dont Getty Images a réagi à la décision de Stack Overflow de supprimer les réponses au ChatGPT est similaire à la façon dont Shutterstock, un concurrent, a choisi d'accepter les œuvres d'art issues de l'IA sur sa place de marché d'images de stock en payant les artistes originaux. De même, Stack Overflow pourrait être en mesure de gérer et de s'adapter à ce terrain changeant s'il le souhaite.

Source : David F. Carr's blog post

Et vous ?

Quel est votre avis sur le sujet ?

Quels sont les avantages et les inconvénients de Stack Overflow par rapport à ChatGPT pour apprendre à coder ou à résoudre des problèmes de programmation ?

Quels sont les défis et les opportunités que ChatGPT représente pour Stack Overflow en termes de concurrence, de collaboration ou d’innovation ?

Voir aussi :

L'extrait de code Java le plus copié sur Stack Overflow contient un bogue et son auteur, Andreas Lundblad, développeur Java chez Palantir, propose un correctif

ChatGPT réussit l'entretien de codage Google pour un ingénieur de niveau 3 avec un salaire de 183 000 $, tout en indiquant qu'il ne peut pas reproduire la créativité humaine

Stack Overflow, le site de questions-réponses pour développeurs, racheté par Prosus pour 1,8 milliard de dollars, l'activité de Stack Overflow restera inchangée, précise l'entreprise

OpenAI lance ChatGPT Plus, un plan d'abonnement ChatGPT pour 20 $ par mois, qui est proposé à ceux qui veulent des réponses plus rapides ainsi qu'un accès prioritaire aux nouvelles fonctionnalités

[Stéphane le calme]

Quand l’IA puise dans le savoir des développeurs : Stack Overflow bannit massivement les utilisateurs qui se rebellent contre le partenariat avec OpenAI,
les utilisateurs bannis pour avoir supprimé des réponses afin d'éviter qu'elles ne soient utilisées pour former ChatGPT

Stack Overflow, la plateforme bien connue des développeurs pour le partage de connaissances en programmation, se trouve au cœur d’une controverse suite à son partenariat avec OpenAI. Ce partenariat permet à OpenAI d’accéder aux réponses des programmeurs via l’API de Stack Overflow pour entraîner ses modèles d’intelligence artificielle, notamment ChatGPT. Cependant, cette initiative n’a pas été accueillie avec enthousiasme par une partie de la communauté. Certains utilisateurs ont exprimé leur mécontentement en supprimant ou en modifiant leurs réponses publiées sur la plateforme. Ils protestent contre l’utilisation de leur contenu sans possibilité de retrait et critiquent le manque de reconnaissance de leur travail.

OpenAI et la plateforme de développement Stack Overflow ont annoncé un partenariat qui pourrait potentiellement améliorer les performances des modèles d'IA et apporter plus d'informations techniques dans ChatGPT.

OpenAI aura accès à l'API de Stack Overflow et recevra les commentaires de la communauté des développeurs afin d'améliorer les performances des modèles d'IA. OpenAI, à son tour, attribuera à Stack Overflow un lien vers son contenu dans ChatGPT. Les utilisateurs du chatbot verront plus d'informations provenant des archives de connaissances de Stack Overflow s'ils posent des questions techniques ou de codage à ChatGPT. Les entreprises précisent dans le communiqué de presse que cela « favorisera un engagement plus profond à l'égard du contenu ».

Stack Overflow utilisera les grands modèles de langage d'OpenAI pour développer Overflow AI, l'application d'IA générative annoncée l'année dernière. Overflow AI ajouterait à Stack Overflow une recherche en langage naturel alimentée par l'IA. Stack Overflow indique qu'il combinera les commentaires de sa communauté et les tests internes des modèles d'OpenAI dans le cadre de ses projets visant à créer davantage de produits d'IA pour ses utilisateurs.

Dans le cadre de cette collaboration :

• OpenAI utilisera le produit OverflowAPI de Stack Overflow et collaborera avec Stack Overflow pour améliorer les performances des modèles pour les développeurs qui utilisent leurs produits. Cette intégration aidera OpenAI à améliorer ses modèles d'IA en utilisant un contenu amélioré et les commentaires de la communauté Stack Overflow et fournira une attribution à la communauté Stack Overflow dans ChatGPT pour favoriser un engagement plus profond avec le contenu.
• Stack Overflow utilisera les modèles d'OpenAI dans le cadre du développement d'OverflowAI et travaillera avec OpenAI pour exploiter les résultats des tests internes afin de maximiser les performances des modèles d'OpenAI. Le partenariat d'OpenAI avec Stack Overflow contribuera à renforcer sa mission, qui est de permettre au monde de développer des technologies grâce à la connaissance collective, car Stack Overflow sera en mesure de créer de meilleurs produits qui bénéficieront à la santé, à la croissance et à l'engagement de la communauté de Stack Exchange.

La première série de fonctionnalités sera mise en place d'ici la fin du mois de juin.

Un revirement

L'association avec OpenAI est un revirement remarquable pour Stack Overflow, qui avait initialement interdit les réponses de ChatGPT sur sa plateforme par crainte de réponses de type spams.

De plus, Stack Overflow a été une victime de ChatGPT qui a entraîné une baisse à deux chiffres de son trafic.

David F. Carr, Senior Manager au sein de l'équipe Similarweb, a expliqué que ChatGPT peut générer du code et des explications à partir d’un simple texte, ce qui réduit le besoin de chercher des solutions sur Stack Overflow. Il a comparé aussi ChatGPT avec Copilot, un assistant de codage proposé par GitHub, qui utilise la même technologie que ChatGPT. Il a présenté des données de Similarweb qui montraient que le trafic de Stack Overflow a baissé de 14 % en mars 2023, tandis que celui de ChatGPT et de GitHub a augmenté. Il conclut que ChatGPT et CoPilot représentent une nouvelle façon de coder, plus basée sur l’ingénierie des prompts que sur le copier-coller.

Stack Overflow a commencé à expérimenter des fonctions d'IA générative en avril dernier, promettant de créer des modèles qui « récompensent » les développeurs qui apportent des connaissances à la plateforme. En juillet, la société a lancé un outil de recherche conversationnelle qui permet aux utilisateurs de poser des questions et de recevoir des réponses basées sur la base de données de Stack Overflow, qui compte plus de 58 millions de questions et de réponses, ainsi que des outils permettant aux entreprises d'affiner les recherches sur leur propre documentation et leurs bases de connaissances.

Certains membres de la communauté des développeurs de Stack Overflow se sont rebellés contre ces changements, mettant en avant des préoccupations liées à la validité des informations générées par l'IA, à la surcharge d'informations et à la confidentialité des données pour les contributeurs individuels sur la plateforme.

Ces inquiétudes étaient au moins en partie fondées. Une analyse de plus de 150 millions de lignes de code déposées dans des dépôts de projets au cours des dernières années par GitClear a révélé que les outils de développement génératifs de l'IA entraînaient une augmentation du nombre de codes erronés dans les bases de code. Par ailleurs, des chercheurs en sécurité ont mis en garde contre le fait que ces outils peuvent amplifier les bogues et les problèmes de sécurité existants dans les projets de logiciels.

Mais malgré les défauts apparents, les développeurs adoptent les outils d'IA générative pour au moins certaines tâches de codage. Dans un sondage Stack Overflow de juin 2023, 44 % des développeurs ont déclaré qu'ils utilisaient actuellement des outils d'IA dans leur processus de développement, tandis que 26 % prévoient de le faire prochainement.

Cela a précipité une sorte de crise existentielle pour Stack Overflow. Le trafic sur la plateforme aurait chuté de manière significative depuis la sortie de nouveaux modèles d'IA générative capables l'année dernière - des modèles qui, dans de nombreux cas, ont été formés à partir de données provenant de Stack Overflow.

Aujourd'hui, pour réduire ses coûts, Stack Overflow cherche à conclure des accords de licence avec des fournisseurs d'IA.

Stack Overflow contrarié par les utilisateurs qui suppriment des réponses après le partenariat avec OpenAI

Dans ce monde en constante évolution où le contenu généré par l'utilisateur s'oppose au contenu généré par l'IA, l'annonce récente du partenariat entre Stack Overflow et OpenAI a suscité quelques réactions négatives de la part de la communauté. Des rapports indiquent que plusieurs utilisateurs ont tenté de supprimer leur contenu (questions et réponses) de Stack Overflow avec une certaine difficulté, car le site web ne permet pas de tout supprimer facilement. Ces utilisateurs ont donc décidé de modifier leurs questions et/ou leurs réponses afin de les « défigurer » pour protester contre la coopération entre Stack Overflow et OpenAI.

Stack Overflow bannit-il des comptes pour avoir supprimé du contenu ?

De nombreux utilisateurs ont signalé sur les réseaux sociaux qu'ils avaient reçu un courriel des modérateurs de Stack Overflow indiquant que leurs comptes avaient été placés en attente pendant 7 jours, ou bannis temporairement. Ces utilisateurs ont commencé à tenter de supprimer de nombreux messages, tant des questions que des réponses, qu'ils avaient précédemment publiés sur le site Web de Stack Overflow.

Un développeur nommé Ben a posté une capture d'écran de l'historique des modifications d'un message demandant des conseils de programmation, qu'il avait mis à jour pour dire qu'il avait supprimé la question pour protester contre l'accord avec OpenAI. « Le mouvement vole le travail de tous ceux qui ont contribué à Stack Overflow sans aucun moyen de s'y soustraire », peut-on lire dans le message mis à jour.

Le texte a été annulé moins d'une heure plus tard. Un message du modérateur que Ben a également inclus indique que les messages de Stack Overflow deviennent « une partie des efforts collectifs » des autres contributeurs une fois qu'ils sont rédigés et qu'ils ne doivent être supprimés que « dans des circonstances extraordinaires ». L'équipe de modération a ensuite indiqué qu'elle suspendait le compte de Ben pour une semaine, le temps de prendre contact avec lui « pour éviter tout autre malentendu ».

Sur X/Twitter, un développeur a déclaré :

« LOL. @StackOverflow éprouvent une certaine frustration car plusieurs utilisateurs ont supprimé leurs réponses depuis l'annonce du partenariat avec @OpenAI . En conséquence, ils ont commencé à suspendre les comptes qui se livrent à ce comportement. Il est important de noter que le "droit à l'oubli" ne s'applique plus à vos réponses, conformément aux conditions générales de StackOverflow, qui leur accordent une autorisation spéciale pour conserver toutes les réponses. De plus, la restauration de messages individuels à partir de sauvegardes semble difficile. Lmao ».

LOL. @StackOverflow mods are experiencing some frustration as several users have been deleting their answers since the announcement with @OpenAI partnership. As a result, they have started suspending accounts that engage in this behavior. It's important to note that the "right to… pic.twitter.com/M2YbKGXpzC

— nixCraft 🐧 (@nixcraft) May 8, 2024

Vous avez récemment supprimé ou dégradé le contenu de vos messages. Veuillez noter qu'une fois que vous avez posté une question ou une réponse sur ce site, ces messages font partie des efforts collectifs des autres personnes qui ont également contribué à ce contenu. Les messages potentiellement utiles à d'autres personnes ne doivent pas être supprimés, sauf dans des circonstances exceptionnelles. Même si le message n'est plus utile à l'auteur original, cette information est toujours bénéfique à d'autres personnes susceptibles de rencontrer des problèmes similaires à l'avenir - c'est la philosophie sous-jacente de Stack Exchange.

Les suppressions importantes demandent beaucoup d'efforts pour être réparées, veuillez lire « J'ai mieux pensé à ma question ; puis-je la supprimer ? » pour connaître les alternatives possibles. En raison des perturbations que ces incidents peuvent causer, nous avons mis votre compte en attente pendant 7 jours, le temps de vous contacter afin d'éviter tout autre malentendu. Une fois ce problème résolu, votre score de réputation sera rétabli et votre compte reprendra son cours normal.

Nous espérons sincèrement qu'il ne s'agit que d'un malentendu, mais nous comprenons que vous puissiez avoir une raison exceptionnelle de supprimer ce contenu. Si c'est le cas, faites-le nous savoir en répondant à ce message.

Conclusion

Comme d'autres plateformes qui tirent leur valeur du contenu généré par les utilisateurs, Stack Overflow est propriétaire des messages des utilisateurs. Dans le cadre de ses conditions d'utilisation, les utilisateurs « ne peuvent pas révoquer l'autorisation » donnée au site d'utiliser leurs contributions à la plateforme. Mais le site utilise une licence Creative Commons 4.0, qui exige une attribution. Lorsque OpenAI et Stack Overflow ont annoncé leur partenariat, OpenAI a déclaré que ChatGPT attribuerait ses réponses lorsqu'elles proviennent de la plateforme. Google affirme que c'est également une caractéristique de l'accord similaire conclu par Stack Overflow avec Google pour Gemini Cloud.

Le problème qui subsiste est le manque de transparence quant à l'origine des réponses d'un chatbot. Si ChatGPT ou un autre bot répond à une question et qu'une partie de cette réponse ne figure pas dans la source citée, s'agit-il d'une réponse hallucinée ou d'une réponse provenant d'un autre endroit ?

Cette situation met en lumière la tension entre le développement de technologies innovantes et la reconnaissance du travail individuel. Elle invite à une réflexion sur l’avenir de la collaboration entre les humains et l’intelligence artificielle dans le domaine de la programmation.

Sources : annonce du partenariat entre les deux entreprises, Snyk, enquête Stack Overflow

Et vous ?

Quelle devrait être la limite de l’utilisation des contributions des utilisateurs par des tiers, comme OpenAI, dans le cadre de partenariats avec des plateformes telles que Stack Overflow ?
Les utilisateurs devraient-ils avoir le droit de retirer ou de modifier leurs contributions après qu’elles aient été utilisées pour entraîner des modèles d’IA ?
Comment les plateformes en ligne peuvent-elles équilibrer l’amélioration des technologies d’IA avec le respect des droits des contributeurs ?
Stack Overflow devrait-il offrir une compensation ou une reconnaissance supplémentaire aux utilisateurs dont le contenu est utilisé pour entraîner des modèles d’IA ?
Quelles mesures de transparence Stack Overflow et OpenAI devraient-ils prendre pour assurer aux utilisateurs que leurs contributions sont utilisées de manière éthique ?
La propriété intellectuelle sur une plateforme collaborative doit-elle rester individuelle ou devenir collective après publication ?
Dans quelle mesure les termes de service des plateformes en ligne sont-ils clairs et justes concernant l’utilisation des contributions des utilisateurs ?