Discussion :

[Cedric Chevalier]

Mozilla veut déboguer le code des scientifiques
un contrôle strict du code source aurait évité plusieurs conclusions inexactes des chercheurs

De la biologie à l’écologie, de nombreuses disciplines scientifiques ont recours aux techniques et méthodes employées en informatique.

Les logiciels scientifiques jouent un très grand rôle dans les travaux de nombreux chercheurs. Cependant, des questions se posent : les logiciels scientifiques sont-ils robustes ? Quel degré de confiance peut-ont leur accorder ?

Ces questions peuvent certes surprendre. En 2006, Geoffrey Chang de l’institut de recherche Scripps avait dû révoquer cinq articles scientifiques écrits dans le cadre des recherches sur les structures cristallines, principalement parce que le code source du logiciel scientifique qui avait aidé dans le processus d’obtention des résultats contenait des erreurs. Ça pousse à la réflexion.

Certains scientifiques avaient noté, par exemple, que les résultats inexacts utilisés comme base pour les essais cliniques en 2007 pour le cancer auraient été découverts plus tôt si le chercheur Anil Potti de l’université de Duke en Caroline du Nord avait été contraint de publier ses données informatiques et code source.

Carl Boettiger, un expert en écologie, a d’ailleurs soulevé ce problème. Pour lui, les codes sources des logiciels scientifiques utilisés dans le cadre des travaux de recherche devraient subir des tests très stricts. D'autant que ceux-ci sont écrits par des personnes dont la programmation n’est pas le métier.

La question n’a pas manqué de créer une certaine polémique dans le milieu scientifique, certains s’opposant à la publication du code source utilisé pour les tests par les scientifiques.

Dans le but de répondre à ce besoin criant qui est ressenti dans la communauté scientifique, Mozilla Science Lab est entré dans la danse en mettant en place une cellule de vérification de code source pour les logiciels utilisés dans le domaine des sciences.

Pour sa première mission, 9 articles, tous dans le domaine de la Bio informatique, lui ont été confiés. Pour la réalisation de sa tâche, la cellule n’a pas réinventé la roue. Elle s’est uniquement servie des standards de vérification de code source utilisés couramment pour les produits commerciaux.

Theo Bloom, rédacteur en chef pour la section Biologie du journal PLoS (Public Library of Science) a apprécié l’initiative de la Mozilla science Lab. Pour lui, elle est importante, même si les examinateurs de Mozilla manquent d’expertise biologique.

Pour Roger Peng, biostatisticien à l’école de santé publique Hopkins Bloomberg à Baltimore, par contre, cette révision de code pourrait constituer un frein à la diffusion du logiciel scientifique. « L’une de mes préoccupations est que ce processus de revue de code frustrerait certains scientifiques au point de décourager certains à rendre public leur code », note celui-ci.

Source : Nature

Et vous ?

Que pensez-vous de cette initiative ? Le code source utilisé par les scientifiques doit-il passer par un contrôle strict ?

[Uranne-jimmy]

Les codes sources passés sous contrôle : OUI, mais pas rendu public.

L'idée la plus intéressante à mon avis serait de faire un contrôle du code qui se verra recevoir un certificat comme quoi il est propre à donner des résultats justes.
Mais l'idée de dévoiler le code source d'un programme c'est une bêtise, on protège nos programmes dans nos labo, on les code, on les utilise, on les garde. Avoir ses propres programmes est un investissement que très peu serait près à céder, même pour prouver la véracité de résultats.

[Sirus64]

Que pensez-vous de cette initiative ? Le code source utilisé par les scientifiques doit-il passer par un contrôle strict ?
Le code source non, mais les données dénominalisées oui !
Le code source ne sert à rien car les méthodes sont décrites dans les articles scientifiques. Les données oui afin de pouvoir vérifier les résultats.

Le problème du code source c'est qu'il contient souvent bien plus que simplement le contenu de la publi. C'est vrai que ca pourrait faire gagner du temps au lieu de recoder le papier....

[niarkyzator]

Quelque chose m'échappe Jimmy...

Le scientifique bosse pour faire avancer la science et publier ses découverte, mais il ne voudrait pas publier son code source ?

C'est comme le maçon qui fabrique des maisons gratuitement mais qui refuse de prêter ses outils. Quel intérêt le scientifique a à garder secret les sources de ses applications ?

(C'est une vrai question hein pas un troll)

[mith06]

Je trouve que c'est vraiment très hautain de la part de Mozilla. En quoi se trouvent-ils meilleurs que les autres. Comme si les logiciels qu'ils produisent ne plantaient jamais....

[vampirella]

Le code source ne sert à rien car les méthodes sont décrites dans les articles scientifiques. Les données oui afin de pouvoir vérifier les résultats.

Les deux sont nécessaires, mon capitaine. Si d'un point de vue théorique, toute implémentation se vaut, d'une point de vue pratique, il faut compter sur les faiblesses / forces de chaque langage. L'un des points noirs souvent ignorés concernent la précision et les librairies utilisées.

Je trouve que c'est vraiment très hautain de la part de Mozilla. En quoi se trouvent-ils meilleurs que les autres. Comme si les logiciels qu'ils produisent ne plantaient jamais....

Tout bon développeur connait l'allégorie de "la tête dans le guidon du vélo" : il est souvent plus facile pour un observateur extérieur de repérer des choses que pour une personne en plein dans le projet.
Par contre, là où effectivement Mozilla ne pourra pas forcément aider, c'est l’évaluation de la pertinence du code / de l'algorithme. Cela dépend uniquement du contexte, en l'occurrence scientifique.



Edit : Pour donner mon point de vue et une comparaison, les articles de biologie décrivent bien le protocole utilisé (type de culture, nutriments, étapes, ...) pour que cela soit reproduit et validé indépendamment par d'autres scientifiques dans le monde. Pourquoi le code source ayant servi dans ce protocole serait mis à l'écart ?

[r0d]

Ce n'est pas pour rien que les méthodes de développement intègrent diverses procédures de tests et de vérification du code. Ce n'est pas pour rien que les entreprises qui en ont les moyens mettent en place des équipes/département de test/vérification.
Tous les logiciels doivent être testés et vérifiés, pas uniquement ceux des scientifiques.

[triaguae]

Tous les logiciels doivent être testés et vérifiés, pas uniquement ceux des scientifiques.

Dans certains domaines d'activités (labo d'étalonnages et d'essais, et certainement d'autres domaines) c'est une exigence normative (ISO 17025) , mais c'est l'entreprise elle même qui doit menée sa validation et apporter la preuve que son logiciel (que ce soit une feuille de calcul ou un logiciel ) est bien apte à l'emploi prévu!

donc bonne intention de mozilla mais avec des limites....

[imikado]

Une chose bien à mettre en place, c'est des outils d'audit de code automatique, comme sonar par exemple

Ils permettent de detecter des variables/méthodes/fonctions non utilisées, des boucles trop complexes...

[tiresias54]

Edit : Pour donner mon point de vue et une comparaison, les articles de biologie décrivent bien le protocole utilisé (type de culture, nutriments, étapes, ...) pour que cela soit reproduit et validé indépendamment par d'autres scientifiques dans le monde. Pourquoi le code source ayant servi dans ce protocole serait mis à l'écart ?

Tout à fait d'accord avec ça: à partir du moment où vous ne voulez pas publier vos données et protocoles vous n'êtes plus dans une optique de recherche scientifique mais dans une optique de commerce.

[Uranne-jimmy]

Le scientifique bosse pour faire avancer la science et publier ses découverte, mais il ne voudrait pas publier son code source ?

C'est comme le maçon qui fabrique des maisons gratuitement mais qui refuse de prêter ses outils. Quel intérêt le scientifique a à garder secret les sources de ses applications ?

Parce que c'est des outils, justement. Est ce qu'un fabricant d'autoclave ou de lecteur de microplaque va rendre public l'intégralité des plans et des ressources logiciels créé pour aider la science ? Les méthodes qui sont créé sont relaté pour assurer la possibilité à la communauté scientifique de répéter / vérifier la véracité de certaines résultat.
En logiciel, l'intérêt sera surtout dans le traitement des données, et le fait d'avoir un logiciel permet un gain de temps, de justesse, souvent, et n'est pas fondamentalement nécessaire pour les résultats.
En fait donner un logiciel ne fera pas avancer la science mais la qualité de vie des scientifiques, et c'est donc plus optionnel. Sinon pourquoi on embaucherait des gens comme moi chargé de monter des applications si c'est pour les rendre public derrière ?

[squizer]

Le scientifique bosse pour faire avancer la science et publier ses découverte, mais il ne voudrait pas publier son code source ?

Le scientifique vit de l'argent de ses découvertes plus ou moins indirectement.
S'il fait un programme qui lui permet de dépister 90% des cas de cancer du collon en analysant la salive d'une personne, il va certainement vouloir le commercialiser et pas le donner.

A ses clients de se plaindre de l’inexactitude des résultats, comme c'est le cas pour tout autre programme

[Orwel]

Sinon pourquoi on embaucherait des gens comme moi chargé de monter des applications si c'est pour les rendre public derrière ?

Il me semble que l'article parle de chercheurs qui montent eux même leur outil, donc qui n'ont pas de compétence évolué en programmation (je généralise salement). Le cas que tu cites n'est donc pas concerné, car il y a déjà une personne compétente (j'imagine) derrière l'application.

Je ne connais pas le fonctionnement de la recherche dans les autres pays, mais dans mon ancienne école, on fessait souvent des logiciels destiné à des besoins scientifiques dans le domaine public. Donc ce genre de réflexion ne m'étonne pas vraiment

Que pensez-vous de cette initiative ? Le code source utilisé par les scientifiques doit-il passer par un contrôle strict ?

C'est une bonne chose pour aider les chercheurs qui n'ont pas les ressources nécessaire à ce genre de vérification. Après, on est encore loin d'un contrôle strict, mais cela devrait éviter des erreurs bêtes.

[zaventem]

dans mon ancienne école, on fessait souvent des logiciels

Il est pourtant prouvé que la violence ne sert à rien

OK ---->[]

[pvincent]

L'expression "le code des scientifiques" me semble bien vague.

Pour la résolution d'un système linéaire par exemple, le code peut être le reflet exact de l'algorithme utilisé (e.g. LU) mais le résultat sans valeur si le système est mal conditionné http://fr.wikipedia.org/wiki/Conditi...%C3%A9rique%29

Pour ce que je connais le mieux (l'électromagnétisme) les problèmes de choix de la méthode numérique (équation intégrale, équation intégrale de frontières, résolvante, éléments finis, ...) de choix de la base, de convergence, de pertinence de la troncature des séries, de problèmes mal posés (au sens d'Hadamard), etc sont plus délicats que les simples erreurs de codage et je me demande bien ce que Mozilla peut y faire.

Si la publication du code peut être un moyen très efficace de se faire connaître et apprécier, la méthode n'a pas que des points positifs.

Pour publier son code, il faut d'abord que celui-ci soit correctement documenté, ce qui est rarement le cas, et je ne parle même pas du code écrit par un thésard qui est à la bourre pour terminer sa thèse et, très souvent, va quitter le laboratoire pour un post-doc à l'étranger..
De plus, le code doit être suffisamment robuste pour être utilisé par des utilisateurs qui n'en connaissent pas les finesses, en particuliers les limitations dues aux phénomènes cités plus haut: il y a un risque certain à ce qu'une tentative d'utilisation d'un code en dehors de sont domaine de validité ruine la réputation de son auteur, alors qu'il est souvent très difficile et fort long de délimiter ce domaine. Pour éviter cela, il faut être prêt à aider l'utilisateur qui peut aussi faire partie d'une équipe concurrente et l'expérience montre que les université américaines ont souvent des moyens sans commune mesure avec les nôtres, ce qui peut avoir comme résultat qu'ils vont l'exploiter bien plus efficacement que son auteur, jugé sur ses publications et non sur l'aide fournie à d'autres équipes.
Le code publié peut aussi servir comme référence pour mettre au point celui d'une autre équipe qui va volontiers <<oublier>> de parler de ce détail qui en fait, peut avoir un rôle crucial.

Bref, contrairement à ce que certains peuvent penser, sans même entrer dans des considérations mercantiles, il n'est pas si facile de choisir de publier un code représentant une avancée réelle ou de chercher à l'exploiter soit même.

Quand aux erreurs qui induisent des travaux inutiles, il n'y a pas que les erreurs de codage qui provoquent les mêmes effets: les éditeurs se contentent maintenant de mettre en ligne le fichier fourni par l'auteur après avoir demandé l'avis de "rewievers" non rémunérés. L'inflation du nombre de revues scientifiques (papier ou purement internet) et du nombre d'articles fait que le travail de filtrage est souvent bâclé.

[nflowerpower]

De ce que je comprend, c'est surtout destiné à valider via des outils du code.
Ces outils vont donc essentiellement faire ressortir les mauvaises pratiques. Mais ils ne seront d'aucune aide sur l'aspect essentiel d'un code scientifique, c'est à dire vérifier que le résultat est correcte.

On peu avoir un code très beau qui répond au attente des analyseurs de code, mais fournis un résultat erroné.
On peut aussi avoir un code "pourri" avec des fonctions inutiles, du code en double; mais qui fournis le bon résultat.

La priorité d'un travail scientifique, c'est le résultat; il n'est donc pas évident que la proposition de mozila présente beaucoup d'intérêt pour les scientifiques.

[orpheu]

Bonjour; un petit mot pour préciser que la vérification du code ne concerne pas tant la forme ni la cohérence algorithmique. On peut considérer que ce premier niveau est juste une question de discipline ou d'organisation.

En revanche la quasi totalité des études utilise du logiciel pour l'analyse de gros volumes de données d'observation, créer des scénarios, des tests d'hypothèses, etc. S'il peut y avoir un problème c'est dans le contrôle de la vraisemblance des données en entrée et les redressements éventuels (plus comme cela a été dit la question du typage et des dépassements de capacité). Les jeux d'essais peuvent rarement prévoir toutes les possibilités. Et ne comptez pas sur les auteurs de l'étude pour faire la liste des cas aberrants non prévus; s'ils les connaissaient ...!

Quant à la publication, faut pas exagérer: les sources peuvent être confiés à un organisme de validation sans pour autant qu'ils soient rendus publics!

[MClerc]

Dans mon domaine (optimisation numérique), je publie systématiquement mes codes sources. Soit dans l'article ou le livre lui-même s'ils ne sont pas trop longs, soit sur un site (cf par exemple http://aps-optim.info ou http://clerc.maurice.free.fr/pso/).
Pour plusieurs raisons :

1) ils peuvent être ainsi corrigés par d'autres. Au fil des années, quelques erreurs m'ont d'ailleurs été signalées et il y en a probablement encore.

2) dans un article scientifique, il doit y avoir suffisamment de détails pour que les résultats soient reproductibles. Or, quoi qu'en disent les auteurs ("Mais j'ai mis les formules !") c'est rarement tout à fait le cas. Sans même parler des cas de tricherie (plus fréquents que l'on pourrait le croire), où, par exemple, de "mauvais" résultats ont été éliminés, le chercheur peut, en toute bonne foi, croire avoir parfaitement codé son algorithme, alors qu'en fait il a commis une petite erreur. Incidemment, ce genre d'erreur peut être fructueux, l'algorithme "mal" codé étant meilleur que celui décrit dans l'article, mais justement, dans ce cas, celui qui tentera de reproduire les résultats en se basant sur l'article sera tenté de conclure à une manipulation des données.

Quant à l'initiative de Mozilla, comme d'autres contributeurs ici, j'ai de sérieux doutes. Elle pourra tout au plus signaler d'éventuelles bogues ou même des lourdeurs d'écriture.
Il est certain que la quasi-totalité des algorithmes de recherche scientifiques (à commencer par les miens !) sont très mal écrits et feraient hurler d'horreur un vrai développeur. Mais l'important n'est pas là. Hormis, donc, les bogues avérées (qui sont rares), l'important est qu'ils fonctionnent en adéquation avec la théorie qui les sous-tend.

Je ne pense pas que Mozilla puisse avoir les compétences nécessaires pour dire "Attention, votre code ne correspond pas tout à fait à ce qui est décrit dans votre article".

Anecdote :
Récemment, j'ai voulu comparer un de mes algorithmes à un autre déjà publié, mais dont le code source n'était pas fourni. Comme trop souvent, l'article décrivant l'autre algorithme ne permettait pas de vraiment "reconstruire" son code. En tout cas, j'avais essayé mais pas obtenu les mêmes résultats.
Je l'ai donc demandé à l'auteur. Sa réponse a été qu'il ne pouvait pas me l'envoyer, mais que je n'avais qu'à lui soumettre mes problèmes-tests et qu'il me renverrait les résultats. Dans le domaine scientifique, où la règle est "contrôle par les pairs", une telle réponse "grille" son auteur.

[Matthieu Vergne]

Que pensez-vous de cette initiative ? Le code source utilisé par les scientifiques doit-il passer par un contrôle strict ?

Étant moi-même dans la recherche, où l'objectif principal est, en théorie, d'améliorer les connaissances humaines (augmenter comme corriger), il est évident que ce processus est indispensable : le principe de la publication scientifique est de soumettre à nos pairs nos travaux, de façons à ce qu'ils soient revus et critiqués le cas échéant, pour pouvoir l'améliorer si besoin, aller plus loin sinon. La méthode utilisée est d'ailleurs un critère de jugement de l'article. Dans le cadre de travaux s'appuyant sur des données calculées via des programmes, le programme utilisé est évidemment partie intégrante de cette méthode, et il convient donc de le revoir aussi.

Je reviens sur ma première phrase, où je précise que c'est en théorie. En pratique, nombre de travaux sont faits au sein d'entreprises qui souhaitent garder leurs secrets professionnels. Autant c'est compréhensible d'un point de vue compétitivité, autant ça me semble tout bonnement dénué de sens pour la recherche. De mon point de vue, la recherche n'a pas vocation à faire jouer la compétition, mais la collaboration (sinon on ne publierai pas, on vendrait, mais ça c'est le boulot des entreprises, pas des chercheurs). Du coup, on en arrive à des publications partielles de travaux qu'on est incapable de reproduire (la reproductivité de l'expérience étant une propriété fondamentale pour accepter un résultat comme scientifiquement prouvé).

D'un autre côté, on a ceux qui cherchent à publier pour se faire un nom ou faire croire à de faux résultats, mais se gardent bien de donner les détails pour éviter qu'on découvre le pot aux roses, voire financent -et s'assurent de ne pas le faire sans raison- pour permettre aux sympathisants d'écrire de tels papiers (visez l'industrie du tabac, pour ceux qui veulent comprendre de quoi je parle). Et c'est pas si difficile que ça, dans le sens où quand on lit un papier, on se sent rarement l'envie de refaire l'expérience alors qu'on a d'autres trucs à faire. Du coup, si c'est bien écrit, on a vite fait de se dire que ça semble cohérent et d'accepter le papier. Je ne cherche pas à dénigrer le système de revu de certains éditeurs ou conférenciers, mais il ne faut pas oublier que ce sont avant tout des humains qui font ce contrôle. Et en science comme ailleurs, les erreurs, la fainéantise et la corruption ça existe.

Pour Roger Peng, biostatisticien à l’école de santé publique Hopkins Bloomberg à Baltimore, par contre, cette révision de code pourrait constituer un frein à la diffusion du logiciel scientifique. « L’une de mes préoccupations est que ce processus de revue de code frustrerait certains scientifiques au point de décourager certains à rendre public leur code », note celui-ci.

Est-ce qu'on se sent frustré de chercher à publier un article qui doit être revu avant d'être peut-être rejeté ? Si on est chercheur, ce genre de choses on en a l'habitude, ça fait partie intégrante du processus de recherche. Pour moi c'est une excuse qui cache autre chose que le seul intérêt de la science.

Que pensez-vous de cette initiative ? Le code source utilisé par les scientifiques doit-il passer par un contrôle strict ?
Le code source non, mais les données dénominalisées oui !
Le code source ne sert à rien car les méthodes sont décrites dans les articles scientifiques. Les données oui afin de pouvoir vérifier les résultats.

Le code source doit correspondre à ce que tu publies. Je suis dans la recherche en informatique, et quand tu vois le programme de certains, tu te dis qu'ils peuvent être de très bon chercheurs, mais le code est impossible à vérifier. Et tu te demandes bien comment on peut assurer des résultats avec des torchons pareil. Tu n'arrives même pas à retrouver les formules du papier dans le code, c'est complètement explosé, avec des pseudo-corrections imbuvables de partout, des copier-coller qui font que tu te demandes qu'est-ce qui sert à quoi au final, etc.

Être scientifique, même en informatique, ne veut hélas pas dire être un programmeur aguerri. Aujourd'hui on a des langages de haut niveau qui permettent d'utiliser un niveau d'abstraction équivalent à ce qu'on publie, mais encore faut-il avoir le savoir dans ce domaine + le savoir faire.

[MBAYE BABACAR GUEYE]

Entièrement d'accord avec Uranne-jimmy. Les scientifiques qui croient faire de découvertes majeures peuvent certifier leur code source voire même tout un processus par d'autres scientifiques. Ainsi, certaines revues telles que Nature ou Science peuvent l'exiger.