IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Chroniqueuse Actualités

    Femme Profil pro
    Rédacteur Web
    Inscrit en
    mars 2020
    Messages
    247
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Rédacteur Web

    Informations forums :
    Inscription : mars 2020
    Messages : 247
    Points : 3 952
    Points
    3 952
    Par défaut Un chercheur en IA crée Papers Without Code, un site web qui liste les documents de ML non reproductibles
    Un chercheur en IA, furieux, décide de créer "Papers Without Code",
    un site web qui dresse une liste de documents d'apprentissage automatique qui sont non reproductibles et pas applicables

    Le 14 février dernier, un chercheur frustré par la reproduction des résultats d'un document de recherche sur l'apprentissage machine a ouvert un compte Reddit sous le nom d'utilisateur ContributionSecure14 et a publié dans la sous-section MachineLearning(apprentissage automatique) : « Je viens de passer une semaine à mettre en œuvre une publication comme base de référence et je n'ai pas réussi à reproduire les résultats. J'ai réalisé aujourd'hui, après avoir cherché un peu sur Google, que quelques autres n'étaient pas non plus capables de reproduire les résultats. Existe-t-il une liste de ces publiations ? Cela permettra aux gens d'économiser beaucoup de temps et d'efforts ».

    Nom : Screenshot_2021-03-08 Furious AI researcher creates a list of non-reproducible machine learning .png
Affichages : 30933
Taille : 679,7 Ko

    La publication de ContributionSecure14 a touché une corde sensible chez plusieurs autres utilisateurs, « Il est plus facile de dresser une liste de documents reproductibles… », a répondu un utilisateur. « Probablement, 50 % à 75 % de tous les documents sont non reproductibles. C'est triste, mais c'est vrai. Pensez-y, la plupart des articles sont "optimisés" pour être présentés dans une conférence. Le plus souvent, les auteurs savent qu'un article qu'ils essaient de faire entrer dans une conférence n'est pas très bon ! Ils n'ont donc pas à se soucier de la reproductibilité, car personne n'essaiera de les reproduire », a écrit un autre utilisateur.

    Quelques autres utilisateurs ont posté des liens vers des documents d'apprentissage machine qu'ils n'avaient pas réussi à mettre en œuvre et ont exprimé leur frustration quant à l'absence d'obligation de mise en œuvre du code dans les conférences d’apprentissage automatique.

    Le lendemain, ContributionSecure14 a créé "Papers Without Code", un site web qui vise à créer une liste centralisée de documents d'apprentissage automatique qui ne sont pas applicables. « Je ne sais pas si c'est la meilleure ou la pire des idées, mais je me suis dit qu'il serait utile de rassembler une liste de documents que les gens ont essayé de reproduire et ont échoué. Cela donnera aux auteurs la possibilité de publier leur code, de fournir des pointeurs ou d'annuler le document. J'espère que cela encouragera une culture plus saine de la recherche sur le blanchiment d'argent en évitant de publier des travaux non reproductibles », a-t-il écrit sur Reddit.

    Reproduire les résultats des documents d'apprentissage machine

    Les chercheurs en apprentissage automatique publient régulièrement des articles sur des plateformes en ligne telles que arXiv et OpenReview. Ces articles décrivent des concepts et des techniques qui mettent en évidence les nouveaux défis des systèmes d'apprentissage machine ou introduisent de nouvelles façons de résoudre des problèmes connus. Nombre de ces articles sont présentés lors de conférences sur l'intelligence artificielle telles que NeurIPS, ICML, ICLR et CVPR. Le fait de disposer d'un code source pour accompagner un article de recherche aide beaucoup à vérifier la validité d'une technique d'apprentissage automatique et à en tirer parti. Mais ce n'est pas une exigence pour ce qui concerne les conférences sur l'apprentissage machine. Par conséquent, de nombreux étudiants et chercheurs qui lisent ces documents ont du mal à reproduire leurs résultats.

    Mais ContributionSecure14 reconnaît également qu'il existe parfois des raisons légitimes pour les chercheurs en apprentissage machine de ne pas divulguer leur code. Par exemple, certains auteurs peuvent former leurs modèles sur une infrastructure interne ou utiliser de grands ensembles de données internes pour la préformation. Dans de tels cas, les chercheurs ne sont pas libres de publier le code ou les données avec leur article en raison de la politique de l'entreprise.

    « Si les auteurs publient un article sans code en raison de telles circonstances, je pense personnellement qu'ils ont la responsabilité académique de travailler en étroite collaboration avec d'autres chercheurs qui tentent de reproduire leur article. Il ne sert à rien de publier le document dans le domaine public si les autres ne peuvent pas s'en inspirer. Il devrait y avoir au moins une mise en œuvre de référence accessible au public pour que d'autres puissent s'en inspirer ou l'utiliser comme référence », déclare ContributionSecure14.

    Dans certains cas, même si les auteurs publient à la fois le code source et les données sur leur papier, d'autres chercheurs en apprentissage machine ont tout de même du mal à reproduire les résultats. Cela peut être dû à différentes raisons. Par exemple, les auteurs peuvent sélectionner les meilleurs résultats de plusieurs expériences et les présenter comme des réalisations de pointe. Dans d'autres cas, les chercheurs peuvent avoir utilisé des astuces telles que l'ajustement des paramètres de leur modèle d'apprentissage machine à l'ensemble des données de test pour améliorer les résultats. Dans de tels cas, même si les résultats sont reproductibles, ils ne sont pas pertinents, car le modèle d'apprentissage machine a été trop adapté à des conditions spécifiques et ne sera pas performant sur des données inédites.

    Efforts pour la reproductibilité de l'apprentissage machine

    Le problème de la reproductibilité ne se limite pas aux petites équipes de recherche en apprentissage machine. Même les grandes entreprises technologiques qui dépensent chaque année des millions de dollars en recherche sur l'IA ne parviennent pas à valider les résultats de leurs travaux. En octobre 2020, un groupe de 31 scientifiques a écrit un article commun dans paru dans la revue scientifique Nature Communications, critiquant le manque de transparence et de reproductibilité d'un document sur l'utilisation de l'IA dans l'imagerie médicale. Dans ce document qui a été publié par un groupe de chercheurs en IA chez Google, on peut lire : « L'absence de méthodes suffisamment documentées et de code informatique sous-jacent à l'étude sape effectivement sa valeur scientifique. Cette lacune limite les preuves requises pour que d'autres puissent valider prospectivement et mettre en œuvre cliniquement de telles technologies… Le progrès scientifique dépend de la capacité des chercheurs indépendants à examiner les résultats d'une étude de recherche, à reproduire les principaux résultats de l'étude en utilisant ses matériaux, et à s'en inspirer dans les études futures ».

    Ces dernières années, la crise de la reproductibilité de l'IA a fait l'objet d'une attention croissante. Les efforts de Joelle Pineau, scientifique spécialisée dans l'apprentissage machine à l'Université McGill de Montréal et l'IA Facebook, qui a fait pression pour la transparence et la reproductibilité de la recherche sur l'apprentissage machine lors de conférences telles que NeurIPS, sont remarquables à cet égard.

    « Une meilleure reproductibilité signifie qu'il est beaucoup plus facile de construire sur un papier. Souvent, le processus de révision est court et limité et l'impact réel d'un document est quelque chose que nous voyons beaucoup plus tard. Le document vit et en tant que communauté, nous avons la possibilité de nous appuyer sur le travail, d'examiner le code, d'avoir un œil critique sur les contributions », a déclaré Pineau dans une interview en 2019. À NeurIPS, M. Pineau a contribué à l'élaboration de normes et de processus qui peuvent aider les chercheurs et les examinateurs à évaluer la reproductibilité des documents d'apprentissage machine. Ses efforts ont entraîné une augmentation de la soumission de codes et de données à NeurIPS.

    Un autre projet intéressant est celui de Papers With Code (d'où le nom de Papers Without Code), un site web qui propose des mises en œuvre pour des articles de recherche scientifique publiés et présentés à différents endroits. Papers With Code héberge actuellement la mise en œuvre de plus de 40 000 articles de recherche sur l'apprentissage automatique.
    Lorsqu'un document de recherche sur l'apprentissage machine ne contient pas le code de mise en œuvre, les autres chercheurs qui le lisent doivent essayer de le mettre en œuvre eux-mêmes, un processus non trivial qui peut prendre plusieurs semaines et se solder par un échec.

    « S'ils ne parviennent pas à l'implémenter avec succès, ils risquent de contacter les auteurs, qui peuvent ne pas répondre, ou simplement abandonner ». Cela peut arriver à plusieurs chercheurs qui ne sont pas au courant de tentatives antérieures ou continues de reproduire le document, ce qui entraîne un gaspillage collectif de plusieurs semaines de productivité », a déclaré ContributionSecure14.

    Le site web Papers Without Code

    Papers Without Code comprend une page de soumission, où les chercheurs peuvent soumettre des articles d'apprentissage machine non reproductibles, avec le détail de leurs efforts, comme le temps qu'ils ont passé à essayer de reproduire les résultats. Si une soumission est valide, Papers Without Code contactera les auteurs originaux du document et demandera des éclaircissements ou la publication des détails de la mise en œuvre. Si les auteurs ne répondent pas en temps voulu, le document sera ajouté à la liste des documents d'apprentissage machine non reproductibles.

    « PapersWithoutCode résout le problème de la centralisation des informations sur les tentatives antérieures ou en cours de reproduction d'un article et permet aux chercheurs, y compris l'auteur original, de se réunir et de mettre en œuvre une mise en œuvre publique. Une fois que le document a été reproduit avec succès, il peut être publié sur PapersWithCode ou GitHub où d'autres chercheurs peuvent l'utiliser. En ce sens, je dirais que les objectifs de PapersWithoutCode sont en synergie avec ceux de PapersWithCode ou de GitHub et de la communauté de l’apprentissage automatique dans son ensemble », a déclaré ContributionSecure14.

    L'espoir est que Papers Without Code aidera à établir une culture qui incite à la reproductibilité dans la recherche sur l'apprentissage machine. À ce jour, le site web a reçu plus de 10 demandes et un auteur s'est déjà engagé à télécharger son code. Papers Without Code peut devenir une plaque tournante pour créer un dialogue entre les auteurs originaux de documents d'apprentissage machine et les chercheurs qui tentent de reproduire leurs travaux.

    « Je suis conscient que ce sujet peut être controversé dans le milieu universitaire et que la priorité absolue est de protéger la réputation des auteurs tout en servant la communauté au sens large. Au lieu d'être une liste statique de travaux non reproductibles, l'espoir est de créer un environnement où les chercheurs peuvent collaborer pour reproduire un papier », a déclaré ContributionSecure14.

    « Il y a beaucoup de pression pour publier au détriment de la profondeur académique et de la reproductibilité et il n'y a pas beaucoup de contrôles et d'équilibres pour empêcher ce comportement. La seule façon de changer cela est que la génération actuelle et future de chercheurs en apprentissage automatique privilégie la qualité sur la quantité dans leurs propres recherches », a-t-il ajouté.

    Sources : Reddit, Papers without code, Nature Communications (1, 2)

    Et vous ?

    Avez vous déjà été confronté à un cas de documents non reproductibles ? Si oui, comment avez-vous réagi ?
    Que pensez-vous de l’initiative de l’utilisateur ContributionSecure14 ?
    À votre avis le site Papers Without Code pourra-t-il changer la donne ?

    Voir aussi :

    Oracle annonce Oracle Database 21c, sa nouvelle base de données, ainsi que son nouveau service low-code APEX accessible via son cloud

    Amazon Web Services annonce la disponibilité de CodeGuru, une solution de révision de code pour améliorer ses performances, qui se décline en deux services : CodeGuru Reviewer et CodeGuru Profiler

    Microsoft propose en bêta publique Lobe, une application visant à rendre l'apprentissage automatique plus facile, en aidant les utilisateurs à former des modèles sans écrire de code
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Nouveau Candidat au Club
    Profil pro
    Inscrit en
    juillet 2008
    Messages
    2
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : juillet 2008
    Messages : 2
    Points : 0
    Points
    0
    Par défaut Article rédigé par IA ?
    Cet article a été rédigé par une IA ?

    Rien compris !

  3. #3
    Membre confirmé

    Homme Profil pro
    Développeur en systèmes embarqués
    Inscrit en
    février 2005
    Messages
    456
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : France, Loire (Rhône Alpes)

    Informations professionnelles :
    Activité : Développeur en systèmes embarqués
    Secteur : Industrie

    Informations forums :
    Inscription : février 2005
    Messages : 456
    Points : 568
    Points
    568
    Par défaut pas compris non plus
    quelqu'un peut cadrer le contexte ? Des documents avec des résultats non reproductibles ?
    Selso.
    Ingénieur/CdP développement systèmes embarqués &

  4. #4
    Expert confirmé Avatar de yildiz-online
    Homme Profil pro
    Architecte logiciel
    Inscrit en
    octobre 2011
    Messages
    1 355
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : Architecte logiciel

    Informations forums :
    Inscription : octobre 2011
    Messages : 1 355
    Points : 4 322
    Points
    4 322
    Par défaut
    Avez vous déjà été confronté à un cas de documents non reproductibles ? Si oui, comment avez vous réagit ?
    Et comment, quelqu'un a déjà essayé de scanner puis imprimer un journal en papier recyclé? le résultat est désastreux, et ça vampirise tout le toner.

    Que pensez-vous de l’initiative de l’utilisateur ContributionSecure14 ?
    Ca pourra sauver beaucoup de toners en détresses.

    À votre avis le site Papers Without Code pourra t-il changer la donne ?
    Probablement, l'économie faite avec la poudre/encre pourrait être rassemblée et envoyée vers des associations caritatives, cela mettra un terme à la faim dans le monde, ensuite, l'argent pourra être utilisé pour guérir le cancer.

    Un bien beau projet que voilà, merci de l'avoir partagé!
    Play50HZ, le retro-gaming facile: Essayez-le

    Yildiz-Engine an open-source modular game engine: Website
    Yildiz-Online a 3D MMORTS in alpha: Facebook page / Youtube page

  5. #5
    Membre à l'essai
    Homme Profil pro
    Étudiant
    Inscrit en
    mai 2013
    Messages
    5
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : mai 2013
    Messages : 5
    Points : 14
    Points
    14
    Par défaut Reproductibilité
    Les documents dont parle le billet sont les articles des revues scientifiques publiés dans le monde scientifique.

    quelqu'un peut cadrer le contexte ? Des documents avec des résultats non reproductibles ?
    Au contraire cet article est très compréhensible il met en évidence le comportement que certains collectifs de scientifiques (tous domaines confondus) ont vis-à-vis de la communauté scientifique. Ils publient des "papiers" (papers signifie "articles" dans le langage français courant) sans le code qui a servi à prouver leurs résultats, il est impossible de reproduire l'expérience dans la communauté scientifique. Ce qui donne lieu à une énorme perte de temps pour essayer de reproduire le raisonnement des auteurs de ce genre d'articles.

  6. #6
    Expert confirmé
    Homme Profil pro
    Développeur informatique
    Inscrit en
    avril 2017
    Messages
    1 408
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : avril 2017
    Messages : 1 408
    Points : 5 785
    Points
    5 785
    Par défaut
    Citation Envoyé par volcano45 Voir le message
    ...
    Au contraire cet article est très compréhensible il met en évidence le comportement que certains collectifs de scientifiques (tous domaines confondus) ont vis-à-vis de la communauté scientifique. Ils publient des "papiers" (papers signifie "articles" dans le langage français courant) sans le code qui a servi à prouver leurs résultats, il est impossible de reproduire l'expérience dans la communauté scientifique. Ce qui donne lieu à une énorme perte de temps pour essayer de reproduire le raisonnement des auteurs de ce genre d'articles.
    Complètement d'accord. Mais le problème n'est vraiment pas nouveau. D'ailleurs avec la covid, on a bien vu que certains chercheurs privilégient la quantité mais se foutent complètement de la qualité réelle de leurs travaux.

  7. #7
    Membre régulier
    Femme Profil pro
    Webmarketer
    Inscrit en
    janvier 2021
    Messages
    86
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Seine et Marne (Île de France)

    Informations professionnelles :
    Activité : Webmarketer

    Informations forums :
    Inscription : janvier 2021
    Messages : 86
    Points : 185
    Points
    185
    Par défaut
    L'article est parfaitement compréhensible. Ceux qui se plaignent de rien y comprendre, ne sont juste pas familiers du jargon utilisé

  8. #8
    Membre régulier
    Femme Profil pro
    Webmarketer
    Inscrit en
    janvier 2021
    Messages
    86
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Seine et Marne (Île de France)

    Informations professionnelles :
    Activité : Webmarketer

    Informations forums :
    Inscription : janvier 2021
    Messages : 86
    Points : 185
    Points
    185
    Par défaut
    Qui plus est... La problématique soulevée ici est épineuse. Et de quoi rendre furieux, quand on se rend compte du volume de temps perdu à chercher à réaliser des travaux qui en réalité ne sont reproduisables, par ce que biaisés ou bâclés...

  9. #9
    Membre éprouvé
    Profil pro
    retraité
    Inscrit en
    décembre 2010
    Messages
    487
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : décembre 2010
    Messages : 487
    Points : 1 188
    Points
    1 188
    Par défaut
    Quand vous faites un papier qui donnent des résultats, ceux-ci doivent pouvoir être reproduits, ce qui veut dire que j'indique dans mon papier comment les résultats sont obtenus, quelqu'un d'autre en faisant mon travail doit pouvoir trouver les mêmes résultats.

    Si j'indique que mon vaccin protège à 99% pendant six mois, cela doit pouvoir être vérifié.

    Donc là si j'ai bien compris il a refait le travail d'un article d'IA mais n'a jamais réussi à obtenir les résultats de l'article. Il indique donc que certains "améliorent" les résultats de leur papier, puisque personne ne va jamais vérifier (incroyable en effet) ce qu'il y a dans les papiers.

    PS beaucoup de papiers ne valent rien ou presque, quand on voit que certains sortent des papiers sur leur thèse d'il y a 20ans pour faire croire qu'ils font de la recherche cela montre bien qu'il y a peu de vérifications

  10. #10
    Membre régulier
    Femme Profil pro
    Webmarketer
    Inscrit en
    janvier 2021
    Messages
    86
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Seine et Marne (Île de France)

    Informations professionnelles :
    Activité : Webmarketer

    Informations forums :
    Inscription : janvier 2021
    Messages : 86
    Points : 185
    Points
    185
    Par défaut
    Citation Envoyé par archqt Voir le message

    Si j'indique que mon vaccin protège à 99% pendant six mois, cela doit pouvoir être vérifié.

    Donc là si j'ai bien compris il a refait le travail d'un article d'IA mais n'a jamais réussi à obtenir les résultats de l'article. Il indique donc que certains "améliorent" les résultats de leur papier, puisque personne ne va jamais vérifier (incroyable en effet) ce qu'il y a dans les papiers.

    PS beaucoup de papiers ne valent rien ou presque, quand on voit que certains sortent des papiers sur leur thèse d'il y a 20ans pour faire croire qu'ils font de la recherche cela montre bien qu'il y a peu de vérifications
    Effectivement...

  11. #11
    Membre extrêmement actif
    Homme Profil pro
    Inscrit en
    janvier 2014
    Messages
    1 048
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : janvier 2014
    Messages : 1 048
    Points : 3 909
    Points
    3 909
    Par défaut
    C'est honteux de décrédibiliser ainsi la recherche et les chercheurs.
    C'est aussi inadmissible que quand les excellentes recherches du Professeurs Raoult ont été dénigrée à tord par Médiapart un site bien connu de fakes news gauchistes.

    D'ailleurs moi même je vends de la chloroquine, achetée en toute légalité à Donal Trump, et je ne suis pas mort du Covid ce qui prouve l'efficacité du traitement !

    Je vends aussi les papiers de recherche de Wuhan, qui expliquent comment la Covid 19 a été attrapée par un Chinois qui a forniqué avec un Pangolin enragé sur la place du marché, et pas du tout par une fuite de l'unique laboratoire en chine qui faisait des études sur le coronavirus, et malgré qu'un rapport avait montré que les employés de ce laboratoire violaient tous les protocoles de sécurité d'usage, c'est une pure coïncidence !

    « L’humour est une forme d'esprit railleuse qui s'attache à souligner le caractère comique, ridicule, absurde ou insolite de certains aspects de la réalité »

  12. #12
    Membre chevronné
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    avril 2009
    Messages
    1 040
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 37
    Localisation : Suisse

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Finance

    Informations forums :
    Inscription : avril 2009
    Messages : 1 040
    Points : 2 182
    Points
    2 182
    Par défaut
    Une fois qu'on a compris qu'il ne s'agit pas d'un sujet sur le fonctionnement du scanneur de la nouvelle imprimante multifonction Xerox, ni d'un soucis avec le presse papier de Windows et qu'on remplace le terme papier (ou papers) par étude l'article devient beaucoup plus digeste.

  13. #13
    Expert confirmé
    Homme Profil pro
    Développeur informatique
    Inscrit en
    avril 2017
    Messages
    1 408
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : avril 2017
    Messages : 1 408
    Points : 5 785
    Points
    5 785
    Par défaut
    Citation Envoyé par archqt Voir le message
    Quand vous faites un papier qui donnent des résultats, ceux-ci doivent pouvoir être reproduits
    Sauf qu'on n'en est plus à publier des quicksort. En plus de leur complexité et de leurs paramétrages, les algos d'IA d'aujourd'hui dépendent de nombreuses librairies, des données d'apprentissages, des tirages pseudo-aléatoires, du contexte d'application, etc. Un chercheur malveillant qui voudrait trafiquer ses résultats à de nombreux moyens de le faire.

    Citation Envoyé par archqt Voir le message
    Si j'indique que mon vaccin protège à 99% pendant six mois, cela doit pouvoir être vérifié
    Oui : avec exactement les mêmes personnes dans exactement les mêmes conditions... ce qui est impossible et c'est bien pour cela que les scientifiques n'affirment pas ce genre de chose mais travaillent plutôt avec des intervalles de confiance.

    Citation Envoyé par archqt Voir le message
    personne ne va jamais vérifier (incroyable en effet) ce qu'il y a dans les papiers
    N'importe quoi et cf le début de ce message qui explique pourquoi il ne suffit pas de juste "vérifier".

    Citation Envoyé par archqt Voir le message
    quand on voit que certains sortent des papiers sur leur thèse d'il y a 20ans
    Bien-sûr... J'imagine que tu as de nombreux exemples de cela à nous montrer. Certains continuent à travailler dans le même domaine mais republier des papiers d'il y a 20 ans dans un journal sérieux, j'ai beaucoup de mal à y croire.

  14. #14
    Membre expérimenté

    Homme Profil pro
    Consultant informatique
    Inscrit en
    avril 2015
    Messages
    302
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vendée (Pays de la Loire)

    Informations professionnelles :
    Activité : Consultant informatique
    Secteur : Finance

    Informations forums :
    Inscription : avril 2015
    Messages : 302
    Points : 1 504
    Points
    1 504
    Par défaut
    Il peut y avoir de la mauvaise foi ou toute forme de malhonnêteté lorsque des chercheurs publient des travaux non reproductibles. Mais si on se base sur des gens sérieux, comme Andrew Ng ou Yann LeCun, il est aussi assez facile d'arriver à des systèmes d'une telle complexité et exigeant une telle puissance qu'on n'arrive simplement pas à les faire tourner sur un environnement "normal".
    C'est un des aspects qui me gênent dans le DeepLearning. L'approche hyperbolique d'une réalité, qui ne sera jamais atteinte. Même si ce comportement reflète fidèlement nos propres imperfections.
    Sur l'article, l'initiative est saine et devrait permettre d'identifier facilement les auteurs inintéressants à priori.

  15. #15
    Membre averti Avatar de pierre.E
    Homme Profil pro
    Développeur en systèmes embarqués
    Inscrit en
    janvier 2016
    Messages
    142
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Développeur en systèmes embarqués
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2016
    Messages : 142
    Points : 366
    Points
    366
    Par défaut
    what a time to be alive

  16. #16
    Membre éprouvé
    Profil pro
    retraité
    Inscrit en
    décembre 2010
    Messages
    487
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : décembre 2010
    Messages : 487
    Points : 1 188
    Points
    1 188
    Par défaut
    Citation Envoyé par archqt Voir le message
    quand on voit que certains sortent des papiers sur leur thèse d'il y a 20ans
    Bien-sûr... J'imagine que tu as de nombreux exemples de cela à nous montrer. Certains continuent à travailler dans le même domaine mais republier des papiers d'il y a 20 ans dans un journal sérieux, j'ai beaucoup de mal à y croire.
    Ah si tu parles de ceux qui font de la recherche, c'est différent, Moi je te parle de ceux qui ont fait de la recherche jusque 3/4ans après leur titularisation en MCF et ensuite "heures sup à gogo" et plus de recherche. J'ose espérer que ceux qui continuent la recherche dans le même domaine ont avancé quand même

  17. #17
    Expert confirmé
    Homme Profil pro
    Développeur informatique
    Inscrit en
    avril 2017
    Messages
    1 408
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : avril 2017
    Messages : 1 408
    Points : 5 785
    Points
    5 785
    Par défaut
    Citation Envoyé par archqt Voir le message
    Moi je te parle de ceux qui ont fait de la recherche jusque 3/4ans après leur titularisation en MCF et ensuite "heures sup à gogo" et plus de recherche.
    D'accord. Donc quand tu disais "certains sortent des papiers sur leur thèse d'il y a 20 ans", c'est faux. De même que pour "personne ne va jamais vérifier ce qu'il y a dans les papiers".

  18. #18
    Membre éprouvé
    Profil pro
    retraité
    Inscrit en
    décembre 2010
    Messages
    487
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : décembre 2010
    Messages : 487
    Points : 1 188
    Points
    1 188
    Par défaut
    Citation Envoyé par SimonDecoline Voir le message
    D'accord. Donc quand tu disais "certains sortent des papiers sur leur thèse d'il y a 20 ans", c'est faux. De même que pour "personne ne va jamais vérifier ce qu'il y a dans les papiers".
    Ben non c'est vrai, puisqu'entre temps ils n'ont rien fait. Ils ont juste repris leur résultats de thèse pour les produire dans des articles de "revues" de seconde zone. Ce qui leur permettait ensuite de pouvoir au niveau des promotions locales indiquer qu'ils faisaient de la recherche.
    Sur les 3/4 années dont je parle ils n'ont pas forcément travailler sur le même domaine que la thèse (et ensuite plus de recherche).

    S'il y avait des vérifications on ne retrouverait pas non plus des papiers identiques/similaires des mêmes auteurs dans différentes publications sur différentes années, voire la même année.
    On pourrait aussi ne pas avoir (comme le dit l'article ici) des résultats non vérifiables si tout était vérifié à 100%. Mais il est impossible que la revue vérifie tous les articles.

    Il y a donc beaucoup d'articles non vérifiées par les revues.

    Plus on monte en gamme et plus c'est vérifié.

  19. #19
    Expert confirmé
    Homme Profil pro
    Développeur informatique
    Inscrit en
    avril 2017
    Messages
    1 408
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : avril 2017
    Messages : 1 408
    Points : 5 785
    Points
    5 785
    Par défaut
    Citation Envoyé par archqt Voir le message
    Ben non c'est vrai, puisqu'entre temps ils n'ont rien fait. Ils ont juste repris leur résultats de thèse pour les produire dans des articles de "revues" de seconde zone. Ce qui leur permettait ensuite de pouvoir au niveau des promotions locales indiquer qu'ils faisaient de la recherche.
    Sur les 3/4 années dont je parle ils n'ont pas forcément travailler sur le même domaine que la thèse (et ensuite plus de recherche).

    S'il y avait des vérifications on ne retrouverait pas non plus des papiers identiques/similaires des mêmes auteurs dans différentes publications sur différentes années, voire la même année.
    ...
    Désolé mais tu généralises tout et n’importe quoi. Ce n'est pas parce que tu connais un chercheur de seconde zone qui publie des papiers de seconde zone dans des revues de seconde zone que rien n'est vérifié.
    Les revues sérieuses ont des taux d'acceptation qui descendent facilement à 30% voire 10%, et ils ne choisissent pas leurs papiers au doigt mouillé.

  20. #20
    Membre éprouvé
    Profil pro
    retraité
    Inscrit en
    décembre 2010
    Messages
    487
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : décembre 2010
    Messages : 487
    Points : 1 188
    Points
    1 188
    Par défaut
    Citation Envoyé par SimonDecoline Voir le message
    Désolé mais tu généralises tout et n’importe quoi. Ce n'est pas parce que tu connais un chercheur de seconde zone qui publie des papiers de seconde zone dans des revues de seconde zone que rien n'est vérifié.
    Les revues sérieuses ont des taux d'acceptation qui descendent facilement à 30% voire 10%, et ils ne choisissent pas leurs papiers au doigt mouillé.

    Qui a dit que je généralisais ? Il ne faut pas me faire dire ce que je n'ai pas dit. Et je n'en connais pas qu'un hélas de chercheur.
    J'ai bien marqué "plus on monte en gamme et plus c'est vérifié".

Discussions similaires

  1. récupérer code source site web
    Par soliste69 dans le forum Droit
    Réponses: 2
    Dernier message: 16/02/2012, 11h19
  2. [2.2.2] Crée une image codée
    Par HelpmeMM dans le forum BIRT
    Réponses: 1
    Dernier message: 16/04/2008, 22h23
  3. Réponses: 11
    Dernier message: 05/02/2008, 13h10
  4. Réponses: 3
    Dernier message: 29/01/2008, 12h04
  5. Réponses: 9
    Dernier message: 17/09/2007, 10h03

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo