Discussion :

[buxbux]

Bonjour,
Je vient de lire l'article de Jean-François Lépine sur son logiciel MutaTesting de contrôle de qualité des tests unitaires.
Je m'intéresse à l'idée de triturer des tests unitaire dynamiquement, donc sans avoir a y effectuer de changement, pour assurer le suivis de leur qualité. Mais j'aimerasi mieux comprendre la manière dont cela fonctionne. Citation:

C’est tout. A partir de là, MutaTesting va procéder à un certain nombre de processus :

• les tests vont être lancés une première fois
• chaque suite de test va être isolée, puis relancée pour déterminer quelles sources PHP elle permet de tester
• le code source est converti en tokens, puis chaque token transformable est transformé en mutant
• chaque suite de test va être relancée sur chaque mutation de code

Bien entendu, votre code source n’est jamais modifié. En réalité, l’outil joue avec un StreamWrapper spécifique pour le flux de fichier standard (file://) pour substituer la mutation à votre code originel.

Voici quelques exemples de bugs qui peuvent être introduits :

• remplacer un test d’égalité (« == ») par un test de non-égalite ( » != « )
• remplacer » true » par « false »
• supprimer un bloc » else «

Je n'es pas bien compris, que va en fait modifer la mutation au niveau des test unitaire ?

[DonQuiche]

Cet outil va introduire des bogues dans ton code. Non pas dans les tests mais dans le code testé. Non pas dans les sources physiques elles-mêmes mais dans la représentation en mémoire du code (le "bytecode" si le terme s'applique à l'interpréteur php).

Il s'agit de vérifier si tes tests détectent ces bogues.

[buxbux]

D'accord, c'est le code testé qui se comporte différemment et on regarde si les tests "détectent" les bogues induis. Mais alors comment un test unitaire peut-il correctement tester une logique de code qui peut changer ? Auriez-vous un exemple ?
Prenons cet algorithme:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
fonction diviser(nombre_a_diviser, nombre_diviseur):
  si nombre_diviseur != 0:
    retourner nombre_a_diviser / nombre_diviseur
  sinon:
    lever erreur de type TestArithmétiqueException "Diviseur égal à 0"

Testé par:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
assertEstEgal(diviser(10, 2), 5)
assertEstEgal(diviser(100, 2), 50)
assertLeveException(diviser(100, 0), TestArithmétiqueException)

Si la mutation vient changer l'opérateur "!=" en "==" ligne 2, dans mes tests unitaires la ligne 1 et 2 vont échoué car une TestArithmétiqueException sera levé, quand la ligne 3 elle cherchera a attraper une exception de type TestArithmétiqueException mais échouera car l'exception levé sera d'un autre type.

De quel manière ces tests devrait-ils être écrit pour détecter les bogues du aux mutations ?

[DonQuiche]

Si la mutation vient changer l'opérateur "!=" en "==" ligne 2, dans mes tests unitaires la ligne 1 et 2 vont échoué car une TestArithmétiqueException sera levé, quand la ligne 3 elle cherchera a attraper une exception de type TestArithmétiqueException mais échouera car l'exception levé sera d'un autre type.

De quel manière ces tests devrait-ils être écrit pour détecter les bogues du aux mutations ?

Ces tests sont très bien comme tels. Puisque ce n'est pas la bonne exception le test va échouer. Le fait qu'au moins un test se mette à échouer est la preuve que la batterie de tests est capable de mettre en évidence le bogue introduit. Donc qu'elle est d'une certaine qualité.

Il ne faut pas chercher à rendre les tests résistants aux bogues introduits. Il faut au contraire créer des tests qui échoueront quand des bogues seront introduits !

[buxbux]

Il ne faut pas chercher à rendre les tests résistants aux bogues introduits. Il faut au contraire créer des tests qui échoueront quand des bogues seront introduits !

Ca y est, tout prend son sens maintenant. Les test de mutations semblent être de tout intérêt ! D'autant que les bogues injectés sembles bien représenter des cas de figures récurrent avec des langages au typage faible.

Merci pour cet éclairage !