Logiciels open source pour Tests de non-régression, robustesse, etc.

Bonjour à tous,

Je suis actuellement en stage et la mission qui m'a été confiée est de tester puis de qualifier une application créée en VB.net sous Visual Studio 2003.

Le but de ma mission est donc de reprendre le code de l'application, qui a connu des évolutions, de le tester pour valider toutes les fonctionnalités et de mettre en place dans la société des outils pour le suivi et le test de l'application. Ces outils doivent bien sûr être le moins contraignant possible d'où ma volonté de passer par un logiciel pour automatiser tout ou partie des tests.

J'aimerais connaître les solutions de tests open source existantes pour des tests:
- de non-régression
- fonctionnels
- unitaires
- de robustesse

Merci par avance pour toutes les informations et conseils que vous pourrez m'apporter

Thomas

tu aurais été dans le cas de java, et surtout dans environnement type linux,
je t'aurais suggéré de t'orienter vers une solution de type Apache Maven2, mais là, j'avoue ne pas être si catégorique, je comptais faire moi meme les outils pour moi donc :)

Dans tous les cas même si tu trouve ton bonheur, le problème essentiel, sera la non-regression. En effet, il n'y a pas d'heuristique pour un programme pour savoir si oui ou non ce que tu test a regressé ou non... en effet, sur quel critèr se baser. Pour un test unitaie pas de problème, tu fait toi meme le script de test unitaire, il passe c'est bon, il passe pas, c'est pas bon, mais pour la non regression, il ya une notion de décisionnel humain, car seul l'humain peut dire si oui ou non, il y a eu regression par rapport au cahier des charges initial. De plus parfois la regression est voulue (reculé pour mieux sauter.... lol)

NUnit pour les tests unitaires.

Pour NUnit, je suis entrain de prendre en main le programme. Je l'ai découvert ce matin avant d'envoyer ma question mais merci quand même.

En revanche, pour les tests de non-régression, j'avoue que je ne suis pas sûr de la façon dont je dois m'y prendre. Je vois ça de la façon suivante :
- Lister les fonctionnalités de mon application à tester après les avoir bien cernées et avoir compris leurs fonctionnements, en gros bien définir mes fonctionnalités
- puis définir une procédure de test pour chaque fonctionnalité, procédure qui pourrait peut-être être automatisée

C'est la bonne logique ou je me trompe et je vois ça d'une façon trop simpliste ?

Merci d'avance, Thomas

Personnelement, voici ce que représente un test de non-regression.

L'application est en version 1.0, testée avec des tests unitaires. Un bug remonte, on identifie le problème et il s'avère dans dans le scenario A, la fonction B, avec les paramètres C, renvoie X au lieu de Y.

Le bug est corrigé et j'intègre aux tests de non-regression un test spécifique, avec le scenario et les paramètres identiques pour valider que l'application en version 1.1 et suivante renverra toujours X et plus Y.

Un test de non regression est un test plus élaboré qu'un test unitaire.

pour les tests unitaires, nUnit ou MbUnit

pour le fonctionnel, regardes vers Fitnesse, WatIn, si tu dois tester une appli web, nunitforms si c'est une appli windows

Citation:

---

En revanche, pour les tests de non-régression, j'avoue que je ne suis pas sûr de la façon dont je dois m'y prendre. Je vois ça de la façon suivante :
- Lister les fonctionnalités de mon application à tester après les avoir bien cernées et avoir compris leurs fonctionnements, en gros bien définir mes fonctionnalités
- puis définir une procédure de test pour chaque fonctionnalité, procédure qui pourrait peut-être être automatisée

---

Oui, en gros, c'est ca. Apres, il faut que tu voies si ton referentiel doit etre le cahier des charges ou l'application.

Pour la non regression, dans l'absolu, si ton appli est bien couverte en terme de tests fonctionnels et en tests unitaires, le fait de faire tourner regulierement tes tests va de toute facon s'apparenter a tester la non-regression.

Vu que tu conserves tes tests unitaires, si tu les fais tourner regulierement, une regression devrait normalement se traduire par un test qui ne passe pas.

Dans cette optique, je te conseille de passer une demi-journee a mettre en place un serveur d'integration continue, qui te fera touner les tests a chaque check-in. Tu as deja un tuto de dispo sur cruise control, et je suis en train d'en finaliser un sur TeamCity

Si je comprends bien, pour mon application :
- Tests unitaires, j'utilise nUnit ou MbUnit ou Nant.
- Tests fonctionnels, je cherche du côté de nunitforms sachant que c'est une application windows.

Pour faire mes contrôles de non-régression, je mets en place un serveur d'intégration pour faire tourner mes "batteries de tests unitaires" en automatique.
Est-ce possible aussi pour les tests fonctionnels sous nunitforms?

Par contre, il n'existe rien pour les tests de robustesse en logiciel libre? car les applications que je teste communiquent avec un serveur SQL. Est-ce judicieux de pratiquer des tests de robustesse pour ces communications et cela est-il possible?

En tout cas, merci à tous pour ces renseignements plutôt précis! J'avoue que c'est plutôt compliqué d'arriver à trouver les outils adaptés à ses besoins sans conseils.

Bonjour à tous, ;)

Est-ce que NUnitForms est stable?
Peut-on raisonnablement partir avec cette librairie pour un nouveau développement?
J'ai vu que plus aucune mise à jour n'avait été apportée à ce projet de puis 2 ans.

Existe-t-il d'autres alternatives?