Discussion :

[pierrelh]

Bonjour à tous,

Dans le cadre de mon stage je dois réaliser un panorama présentant les principaux outils pour faire des tests automatiques pour des applications web. J'en ai choisi 9 : Selenium, Watir, Sahi, Squish, QA Wizard, Ranorex, Rational functionnal tester, TestComplete et Unified functionnal testing

Je cherche actuellement des réponses sur des critères très précis dont je n'arrive pas à trouver les réponses sur internet. J'essaye de faire un panorama vraiment très complet avec des critères les plus pertinents que j'ai trouvé. Mon but est de créer un panorama qui pourra être utilisé par les nouveaux testeurs pour les aider à choisir leur outils.

Voici une liste de questions dont je cherche la réponse pour chaque outil ( je sais qu'il y a beaucoup de questions je ne vous demande pas de répondre à toutes ) :

- Peut-on récupérer des tests de d'autres outils ? Je sais que QA Wizard Pro peut récupérer ceux de UFT ( ex QTP ) et que Test Complete peut récupérer les tests de Selenium

- Quelle est la taille de la communauté de QA Wizard pro et de ranorex ?

- Peut-on utiliser des valeurs dynamiques ( j'entend par la saisir une string aléatoire lors d'un test) sur Watir, Sahi, Ranorex ?

- Peut-on faire des tests au niveau de l'object level pour Selenium, Watir, Squish et Sahi ?

- Fonctionnalité pour mettre des commentaires dans le log d'exécution de la part des testeurs pour les dev du genre si il se passe ca c'est a cause de ca ( je sais que TestComplete permet de le faire )

- Quels outils sont actifs ? ( Patch et Maj réguliers )

- Quels outils permettent d'intégrer des données venant de d'autres fichiers ? ( Je sais que QA Wizard pro peut récupérer des infos de fichiers excel )

- Est-ce que certains intègre directement un raccourci pour mettre le code du test sur un outil de versionning ? ( testcomplete permet de le faire )

- On est d'accord tout ces outils peuvent faire de l'intégration continue ?

- Au niveau de la performance et de l'optimisation de l'outils est-ce que certains de ces outils ont des spécificités du genre conso cpu, ne pas faire le test si pas eu de modifs ...

- Quels sont les standards utilisés par le marché pour stocker/échanger des cas de tests et en faire des critères

- Quels outils ont une interface user-friendly et/ou sont les plus faciles à utiliser ?

- Quels outils donnent aux accès aux logs du test et du serveur ?

- Quels outils permet de pouvoir faire des tests-suits et indiqués quels browser à utiliser ?

-Quels outils permettent de faire des tests sur les environnements de production ?

- Quels outils permettent l'envoie d'alertes SMTP ( Selenium, Watir, testcomplete permettent de le faire il me semble )

- Quels outils ont une analyse du résultat la plus détaillé : volume, temps de réponse , Signaler que le test est un échec suite à l'ajout ou la modification d'un code, quelles lignes posent problème etc ...


Si vous avez d'autres idées de critères autres que ceux facilement trouvable du style OS concernés, applications concernées, langage de prog des tests ... Je suis aussi preneur !

Toute aide est la bienvenue

Merci d'avance

Bonne journée

Cordialement,

Pierre

PS : j'espère avoir mis ce post au bon endroit, veuillez m'excuser si ce n'est pas le cas
PSS : Je suis novice en informatique et ai seulement de l'expérience avec Selenium IDE

[mouss4rs]

Je pense que l'on ne t'as pas répondu car il y'a toutes ces questions multiplié par 9 outils donc...Trés compliqué a te répondre en 15min.
En tout cas trés bonne initiative car moi aussi avec tous les outils de tests et référentiels existant, on ne sait pas lequel sera le plus pertinent, le moins couteux...

[Mathayus]

Hey, finalement as tu eu tes réponses ? Elles m'intéressent car ma boite cherche un bon outil de test

[Simon777pb]

Salut,

Je ne peux pas parler des autres outils, par contre je peux donner mon feedback sur Ranorex car c'est cet outils que j'utilise a mon travail.


- Peut-on récupérer des tests de d'autres outils ?
Aucune idée... Ranorex utiliser du code C# ainsi que des fichier csv comme sources d'entrées de données

- Quelle est la taille de la communauté de QA Wizard pro et de ranorex ?
Ranorex a un forum de discution, personnellement il n'est pas très grand et je trouve qu'il est difficile de trouver l'information nécessaire. Par contre Ranorex est en C# donc tu peux toujours te débrouiller. Le tutoriel est assez complet pour une utilisation simple . Par contre si tu fais des trucs plus compliqués comme moi... c'est plus difficile

- Peut-on utiliser des valeurs dynamiques?
NON ! c'est un gros problème avec Ranorex selon moi. tu dois gérer tes données toi même en C#

- Peut-on faire des tests au niveau de l'object level pour Selenium, Watir, Squish et Sahi ?
Aucune idée de quoi tu parle. Est ce que tu parle des tests non relié a "internet". Ranorex est capable de faire des tests "windows form" mais fonctionne pas super bien a ce niveau .

- Fonctionnalité pour mettre des commentaires dans le log d'exécution de la part des testeurs
Je ne sais pas si Ranorex a ce genre de truc. Par contre leurs rapports est vraiment excellent et simple d'utilisation. (un bon coté de ranorex)

- Quels outils sont actifs ?
Ranorex version 6.2

- Quels outils permettent d'intégrer des données venant de d'autres fichiers ?
Ranorex utilise ce qu'on appel du Databinding. Tu peux te connecter à un fichier excel, csv et même une base SQL. Par contre comme mentionné plus haut, ses données sont "importées" lorsque le test démarre et ne peuvent plus être modifié de manière simple une fois le test "partie/démarré". Donc oui tu peux utiliser facilement des données externes (fichier excel sql), mais pas durant le "run time", la tu va devoir passer par C# ou te faire ta propre gestion de code qui va chercher dans une fichier excel par exemple les trucs plus dynamique.


- Est-ce que certains intègre directement un raccourci pour mettre le code du test sur un outil de versionning ?
ranorex s'intègre très bien à visual studion et donc à TFS

- On est d'accord tout ces outils peuvent faire de l'intégration continue ?
Je ne comprend pas trop la question. Les tests automatisés sont, selon mon expérience, mal utilisé souvent en entreprise. Le therme automatisé fait souvent miroiter quelque chose de simple alors que ce n'est pas le cas. En gros, on ne devrait pas selon moi faire des tests automatisé en même temps que on developpe. Ca devient un casse tête ! revoir peut-être les différents types de tests que vous voulez faire et mieux structurer l'équipe de tests/QA serait peut-être une meilleur approche.

https://www.thoughtworks.com/insight...ation-can-fail
http://www.softwaretestinghelp.com/a...ng-tutorial-7/

Le plus important selon moi
https://martinfowler.com/bliki/TestPyramid.html



- Au niveau de la performance et de l'optimisation de l'outils
Honnêtement je trouve que Ranorex est vraiment extrêmement gourmand ! Nous avons eu beaucoup de misère chez nous car on l'utilise au bout de ses limits. Nos projets sont trop gros et nous avons énormément de code C# a gérer.


- Quels sont les standards utilisés par le marché pour stocker/échanger des cas de tests et en faire des critères
Bonne question!
Ranorex gère pas particulièrement les cas de "IF... ELSE".
En général pour que ca fonctionne bien il faut généralement que tes tests sont en ligne droite. ( si tu utilise les fonctionnalité de base de Ranorex, les recordings)
Sinon tu peux toujours utiliser du code c#, la les possibilité sont infinie, mais selon moi il faudrait de bons programmeurs pour maintenir le tout si tu décide de passer par la.


- Quels outils ont une interface user-friendly et/ou sont les plus faciles à utiliser ?
Ranorex est vraiment simple a utilisé, surtout si tu ne va pas dans le code c# tu as un bouton "record" et ca enregistre tes mouvements de souris et clavier et c'est tout... tu peux théoriquement t'en sortir facilement juste avec ça... dépendamment de la complexité de tes tests

- Quels outils donnent aux accès aux logs du test et du serveur ?
Ranorex à un outils de reporting assez interessant et puissant.

- Quels outils permet de pouvoir faire des tests-suits et indiqués quels browser à utiliser ?
Ranorex supporte la plupart des browser. Par contre il fonctionne moins bien avec les application windows forms.

-Quels outils permettent de faire des tests sur les environnements de production ?
Je crois que la, c'est pas vraiment relié à l'outils mais a l'organisation de ton équipe!
Dans notre cas, on a codé un petit fichier xml de configuration. En développement on fait pointé nos tests vers l'environnement de développement et lorsque on est prêt on va dans notre fichier config xml et on change l'adresse pour celle de la production. Rien de super compliqué.


- Quels outils permettent l'envoie d'alertes SMTP
Ranorex à du code c# donc, j'imagine que tu peux t'en sortir a ce niveau la. Je ne sais pas par contre s'il y a une fonctionne intégré qui te permet de le faire... j'en doute mais a vérifier sur leur site pour voir !


- Quels outils ont une analyse du résultat la plus détaillé : volume, temps de réponse , Signaler que le test est un échec suite à l'ajout ou la modification d'un code, quelles lignes posent problème etc ...
Les rapports ranorex sont vraiment super interessant...

Je ne viens pas souvent sur le forum! car en générale je recherche des truc super spécifique.
Par contre quand je vois des gens que je peux aider et que j'ai un peu de temps! ça me fait toujours plaisir

Bonne chance

[Thiziri_EY]

Bonjour à tous

Je travaille actuellement sur une offre de service pour mon cabinet et je suis chargée de fournir un rapport comparatif entre les outils d’automatisation des tests web et mobile qui sont*: ranorex et calabash, et pour cela j’aurais en partie besoin de savoir*:
- Le positionnement sur le marché Web et mobile de ces deux outils, par rapport aux secteurs, aux autres outils d’automatisation (selenium par exemple)
- Les contraintes techniques associées*: environnement de test, logiciels complémentaires, suivi de campagnes de test, pilotage, limites, etc.

@Simon777pb: j'ai cru comprendre que tu connaissais un peu le sujet notamment l'outil ranorex, ton aide me serait très précieuse

Je vous remercie d'avance.

Thiziri

[Simon777pb]

Salut,

Ça fait plus de 2 ans (et peut-être même plus) que je ne fais malheureusement plus de test automatisé.

J'ai effectivement à l'époque beaucoup utilisé Ranorex. J'ai beaucoup aimé le logiciel et je sais qu'il s'intègre très bien avec les outils Visual Studio. De mémoire il avait également une bonne plateforme pour tester les applications web également.

Ce que j'ai appris durant mes années de tests avec Ranorex, c'est que la plupart des outils se ressemblent, l'important c'est d'avoir un bon cahier de charge et d'être bien préparé. C'est comme la programmation, oui il y a plusieurs différences entre javas et c#, mais en fin de compte, si ton projet est mal préparé ou mal défini, aucune des deux ne fera une différence. Je dirais que dans le cas de tests automatisés à mon avis c'est encore plus évident et IMPORTANT. Souvent les gens pensent que les tests vont tout régler leurs problème et demandent à tester des trucs inutiles ou carrément ''out of scope''.

Pour savoir, ou se situe Ranorex par rapport à d'autres produits, y'a toujours les ''cadrans Gardner'' qui pourraient être utiles. Je crois que Ranoex est assez bien placé à ce niveau pour être considéré comme stable.

Bref, je ne suis pas vraiment en mesure de répondre à tes questions plus précises étant donné que je ne fais plus de tests depuis un petit bout de temps.

Par contre, encore une suggestion, demande des appels d'offres ou va voir directement les sites des compagnies qui t’intéressent. Il y a même souvent des période gratuite de 30 jours ;-)