Discussion :

[rodrigue62]

Bonjour,

Je suis actuellement en train de réfléchir à différentes méthode pour automatiser des tests d'application smartphone.
Bluestacks étant une application permettant d'émuler entièrement un système android depuis son PC, et d'y installer les apk des applications, je me dis que si on a un logiciel d'automatisation de tests classique (genre QTP) sur son PC, a priori on devrait pouvoir automatiser des tests sur bluestacks, et donc plus particulièrement sur l'application que l'on fait tourner dessus.
Mais çà ne reste que de la théorie, je ne sais pas si dans la réalité QTP par exemple serait capable de venir "attaquer" Bluestacks pour lui faire exécuter des actions et récupérer des informations sur l'état dans lequel il se trouve.
Si quelqu'un a pu expérimenter ce genre de bidouille, j'aimerais beaucoup obtenir son avis.

Merci d'avance pour votre aide.

[rodrigue62]

Personne n'a jamais eu l'occasion de faire ce genre de choses?

[Hizin]

Pas avec BlueStack en tout cas.

J'utilise Calabash pour des tests d'UI automatisés, les TU et je regarde de loin TestObject qui m'intéresse car pourrait potentiellement décharger les développeurs des tests d'UI.
Pour tes questions, ne connaissant pas BlueStack, ce dont il est capable ou son API, je ne peux rien dire.

[rodrigue62]

Merci en tout cas pour le logiciel, je ne connaissais pas Calabash, je vais m'y intéresser d'un peu plus près.

[Thiziri_EY]

Bonjour à tous,

Je travaille actuellement sur une offre de service pour mon cabinet et je suis chargée de fournir un rapport comparatif entre les outils d’automatisation des tests web et mobile qui sont*: ranorex et calabash, et pour cela j’aurais en partie besoin de savoir*:
- Le positionnement sur le marché Web et mobile de ces deux outils, par rapport aux secteurs, aux autres outils d’automatisation (selenium par exemple)
- Les contraintes techniques associées*: environnement, logiciels complémentaires, suivi de campagnes, pilotage, limites, etc.

@Hizin: j'ai cru comprendre que tu connaissais bien l'outil Calabash, aurais-tu des docs (conférences, travaux, retour d'expérience ... etc) susceptible de m'aider sur le sujet? ton aide me serait très utile.

En te remerciant par avance.

Thiziri

[Hizin]

Oula.
Je connaissais un peu, pour l'avoir utilisé et trituré, mais cela fait 2 ans et demi que je ne l'ai plus utilisé.

Je viens de regarder. Le GitHub n'a pas de réels commit depuis quelques temps. Les discussions google groups, quant à elles, continuent encore.
De mémoire, son utilisation était pratique, mais la factorisation iOS/Android, raison pour laquelle nous l'avions choisi, n'est pas facilement au rendez-vous. Elle implique que les applications soient proches, ainsi que de réaliser une bibliothèque calabash commune créant les steps et les workflows spécifiques de chaque plateforme.
Nous avons eu des soucis de faux positifs à cause des temporisations et des délais inhérents à l'utilisation de webservices, ce qui a un peu compliqué nos tests.

Je ne l'ai plus utilisé depuis, n'étant plus sur des projets mobile assez gros pour nécessiter des tests d'intégration automatisé, donc je ne pourrai pas t'être d'une grande aide, en réalité.

Ce que je peux te conseiller, par contre, c'est de prendre une petite application mobile dont tu as les sources (ou la faire), et de tester l'un, puis l'autre. Cela devrait te prendre une semaine à maxima pour avoir une idée.

Calabash rempli le même usage que Selenium, soit des tests d'intégrations et d'interface (ce qui implique normalement d'avoir déjà une bonne couche de TU fonctionnelle).
L'avantage annoncé de Calabash d'écrire les tests en langage naturel n'est qu'une façade. Les steps existant permettent de faire des opérations de base, mais il faudra coder ceux afférant à l'application testée, donc il faudra scripter, donc il faudra que ce soit fait par un recetteur qui connaît un peu le développement (et qui sait lire les sources Android et iOS), ce qui est plutôt rare, donc directement réalisé par les développeurs. Si la volonté est de réduire la chage des développeurs en déléguant la création et la maintenance des tests d'intégration à une cellule de test, Calabash ne répond pas au besoin.
Je n'ai utilisé Calabash qu'en tant qu'outil de test, uniquement en "brut", donc sans aucun enrobage ou suivi. Il est donc nécessaire de l'enrober dans des outils de campagne, cahier, suivi et autre. Il n'est clairement pas autosuffisant à ce sujet.

Je n'évolue pas/plus dans des secteurs ou des tests d'intégration sont réalisés, donc je ne peux rien dire pour le positionnement : je ne les connais pas. J'ai vu très peu de Calabash, mais c'est assez normal puisque je ne cherche pas de poste en recette (ou transverse développement/recette).

C'est un peu de bric et de broc, et de mémoire. Je te suggère de ne pas tout prendre pour argent comptant. De prendre ce que j'écris comme base, puis de confronter avec ce que tu trouves (et nous mettre ici ta conclusion s'il te plaît ).

[Thiziri_EY]

Bonjour Hizin,

Tu m'as déjà assez aidée comme ça et je t'en remercie.
Je vais voir ce que je peux encore collecter sur le sujet et n'hésiterai pas à le partager ici.

Je te souhaite une bonne journée.

Thiziri