Discussion :

[fourchette]

Bonjour,

Je souhaite torturer mes tests JUnit, c'est-à-dire avoir un outil qui me calcule les modifications de mon code testé et qui vérifie que les tests unitaires correspondants à ce code échouent bien, suite à la modification/mutation ainsi générée aléatoirement.

En d'autres termes je veux tester mes tests.

J'aimais bien le gem heckle avec Ruby.

J'ai trouvé http://jumble.sourceforge.net/ qui semble être le seul équivalent existant. Un outil privé entre 2003-2006, passé GPL depuis.

Problème : Aucun post sur DVP ne parle de Jumble (je dois être le 1er...). Je n'ai rien vu de probant sur d'autres sites non plus.
Petit outil, certes actif, mais qui a moins de 4000 downloads en tout.

Donc, est-ce que quelqu'un utilise ou a utilisé Jumble et pourrait me faire part de son retour d'expérience ?

Merci d'avance.

[fourchette]

bon je vois que j'ai eu bcp de succès on dirait

je vais laisser une note à nos amis googlers

alors oui j'ai testé jumble
il est pas mal une fois qu'on l'a pris un peu en main (c'est rapide)

mais finalement j'ai trouvé mon bonheur avec pit
==> http://pitest.org/

certes l'outil est plus récent (peut-etre moins mature/stable), mais il m'a apporté des résultats plus intéressant et plus parlants. J'ai aussi eu plus de facilité à le prendre en main au départ. Surtout le module de reporting qui vient est très bien fait (*) et devrait aider -- je pense -- à communiquer avec l'équipe sur les problématiques de qualité de code. En outre, il semble s'intégrer très bien avec plusieurs outils de générations de bytecode.

Et ce qui ne gâche rien : Henry (l'auteur) est très réactif par mail et m'a fixé un bug de pit que je rencontrais en ligne de commande en qqs heures après la déclaration... wow

après il faudrait comparer les deux moteurs de générations de mutation. J'ai l'impression/intuition que jumble génère plus de faux postifis que pit, mais pour etre honnete je n'ai pas du tout creusé le sujet.


(*) je précise qu'on peut utiliser un module tiers pour générer un rapport assez similaire (le nom m'échappe), mais il ne vaut pas le layout de pit de toute facon