Discussion :

[randriano]

Bonjour

Pour rappel Selenium IDE est cette extension firefox en vue d'utiliser Selenium, sans passer par un serveur pour l'exécution de scripts Selenium.
Très simple à installer et à utiliser, il a trop de limitations techniques: premièrement le fait qu'il soit seulement pour Firefox et j'ai des difficultés à tester des applications web RIA (rich internet app) avec.

Qui me dira le contraire: que Selenium IDE peut tout faire?
Un de mes principaux blocages était l'upload de fichier, en tant que plugin firefox, il ne pouvait rien faire sur l'explorateur qui s'ouvre pour sélectionner un fichier.

[Marco46]

Pour avoir utilisé Selenium IDE lors d'une de mes missions je suis convaincu de sa nullité.

D'une manière générale Selenium est très lourd à utiliser.

Le futur du test e2e est arrivé c'est cypress.io. Absolument hallucinant le gap entre selenium et cypress. Il y a un gouffre technique.

[randriano]

merci pour cette piste: Cypress

Je viens de découvrir aussi la notion de test end-to-end à partir de la réponse ci-dessus

Mais est-ce que Cypress est fait pour un test fonctionnel, un test "black box"?

[Marco46]

Test e2e et test fonctionnel sont synonymes.

Le but est bien d'automatiser le test d'un use case fonctionnel. Evidemment on ne peut pas tout tester du coup le but est seulement de tester les cas passants sur le chemin critique fonctionnel. Bref l'essentiel.

Selenium est très très lent à l'exécution, ce n'est pas le cas de Cypress.

Cypress est en beta test il faut remplir un formulaire pour pouvoir l'utiliser mais c'est vraiment une tuerie.

Il n'y a aucune dépendance à l'intérieur du code (à partir du moment où les champs et les interactions utilisateurs sont identifiables, via des id généralement), on peut parfaitement écrire des tests pour tester developpez.net si on veut.

Et de mon point de vue, presque le plus important, il n'y a aucune dépendance externe !! C'est du full javascript, sans dépendances externes que ce soit un jar, une compilation d'une lib avec node-gyp ou un paquet npm, rien de rien, tu fais npm install cypress et hop c'est ready to go. Pour l'adoption en entreprise c'est fondamental. Et ça facilite considérable l'usage dans une intégration continue.
Bref c'est qualité super pro.

Un seul hic pour le moment qui peut poser problème, il n'y a pas de support IE, il est en cours de dev.

[JBrek]

Hello

Nous utilisons bcp Selenium IDE comme clics recorder et ensuite on convertit les tests HTML en tests webdriver Java. Nous l'utilisons avec ExtJS qui est un framework JavaScript RIA. Ca nous fait 90% du boulot.

Nous avons cependant du développer pas mal de choses autour pour que ça fonctionne bien:

1. Une Selenium Core extension pour gérer les appels ajax (attendre que les appels ajax soient terminés pour faire les asserts)
2. Une Selenium IDE extension pour un locator personnalisé (ExtJS utilsant des id dynamiques, nous avons du créer nos propres "selid" fixes, générés automatiquement en mode test)
3. Un Selenium Formatter pour générer le code webdriver Java

Typiquement l'upload de fichier je dois directement le faire en java, mais grace au recorder j'ai au moins l'id. Honnêtement j'en suis assez satifsait et son abandon est un problème pour nous.
Après je ne l'utiliserais pas directement pour gérer mes tests clients, il n'est pas top et assez bugué.

[randriano]

Un seul hic pour le moment qui peut poser problème, il n'y a pas de support IE, il est en cours de dev.

Pour mon cas je ne trouve pas cela vraiment bloquant

Mon seul souci serait qu'il n'est pas très connu car très récent mais je ne connais rien d'autre de gratuit que Selenium! J'ai utilisé avant TestComplete en mode trial mais c'est vraiment trop bien mais c'est juste payant!

Nous utilisons bcp Selenium IDE comme clics recorder et ensuite on convertit les tests HTML en tests webdriver Java. Nous l'utilisons avec ExtJS qui est un framework JavaScript RIA. Ca nous fait 90% du boulot

Bref, vous l'utilisez pour faciliter l'écriture du script en test webdriver!
Je ne comprends pas la partie: "son abandon est un problème pour nous" puisque tout est maintenant converti en test webdriver?

[Marco46]

Pour mon cas je ne trouve pas cela vraiment bloquant

Mon seul souci serait qu'il n'est pas très connu car très récent mais je ne connais rien d'autre de gratuit que Selenium! J'ai utilisé avant TestComplete en mode trial mais c'est vraiment trop bien mais c'est juste payant!

C'est pire que ça il est en beta ! Et même pas une beta ouverte, faut demander l'accès (mais ils répondent très vite).

Mais c'est vraiment un truc à garder sous le coude, l'avancée technique par rapport à Selenium est énorme, il y a un monde d'écart. Et franchement même en beta ça fonctionne bien, disons que Selenium est tellement lourd à utiliser que je pense que c'est déjà plus intéressant d'utiliser Cypress même en beta.

Pour ton problème d'upload de fichier il me semble que ce point est abordé et que c'est gérable facilement parce que l'API cypress pilote directement le navigateur au lieu de fonctionner en blackbox stateless comme Selenium.

Ya plein d'autres features délirantes, le time travelling par exemple, à chaque changement d'état du DOM, cypress l'historise, donc tu peux remonter dans le temps de tes tests ça te permet de fouiller dans l'état du DOM

Si l'anglais ne te rebute pas trop je t'invite à regarder cette présentation du fondateur de cypress qui vend assez bien sa came :

[randriano]

Si l'anglais ne te rebute pas trop je t'invite à regarder cette présentation du fondateur de cypress qui vend assez bien sa came

Il vend bien son outil c'est vrai, vivement la version finale!

[JBrek]

...
Je ne comprends pas la partie: "son abandon est un problème pour nous" puisque tout est maintenant converti en test webdriver?

Rien de bloquant c'est sûr. Si un jour on doit se passer de Selenium IDE sans alternative et donc écrire directement les nouveaux tests en java, ça nous prendra plus de temps. Y a un risque de faire baisser notre code coverage

[randriano]

J'ai testé de nouveau Selenium IDE et il semble que sa dernière version ne marche plus avec une version récente de Firefox
il n'est plus aussi bien maintenun qu'auparavant !?

[Marco46]

Cypress.io est enfin en beta ouverte et arrive avec le support windows.

Pour le moment l'exécution est limitée à Chrome, Chromium et Canary mais la prise en charge de Firefox, Safari et Edge est prévue pour la fin de l'année.

Je suis retombé dans ce merveilleux outil et pas de doute, c'est une bombe qui va balayer Selenium.

[randriano]

Merci pour l'info Marco46

On aimerait lire un "tutoriel pour les nuls" sur ce nouvel outil pour mieux piger son atout: du genre de Selenium à Cypress, qu'est-ce qui est amélioré?

[el_slapper]

Le but est bien d'automatiser le test d'un use case fonctionnel. Évidemment on ne peut pas tout tester du coup le but est seulement de tester les cas passants sur le chemin critique fonctionnel. Bref l'essentiel.(.../...)

Ben, moi, une bonne partie de mes scripts ne passe pas par le chemin critique fonctionnel, justement. J'ai une tripotée de cas non-passants, du mot de passe erroné à la combinaison de valeurs absurdes(quelques litres par seconde, en intraveineuse, euh.....). Surtout, une partie de mon besoin, c'est d'avoir des composants réutilisables et adaptables. En UFT(qui est par ailleurs une sombre merde dès que la page web a un peu trop d'event listeners, ça nous pose de gros problèmes), j'ai un composant qui me dit "va regarder dans la page des connecteurs. Si l'un d'entre eux n'est pas en feu vert, clique dessus, attends 10 secondes, et recommence". c'est un besoin fort, pour garantir l'intégrité de certains tests multi-applications.

C'est possible, ça, avec cypress.io?

[Marco46]

Merci pour l'info Marco46

On aimerait lire un "tutoriel pour les nuls" sur ce nouvel outil pour mieux piger son atout: du genre de Selenium à Cypress, qu'est-ce qui est amélioré?

Il faut que je passe plus de temps à tester la bête mais là justement dans le cadre du taf j'y passe du temps donc en bout de ligne je ferai au minimum un résumé pour moi qui sera publié sur mon github, après si j'arrive à trouver le temps pour faire un vrai tuto dev.com ça serait cool en effet.

Dans les grandes lignes j'ai envie de te dire : tout.

C'est comme comparer une vieille micheline avec le TGV.

Le fond du problème c'est que Selenium pilote le navigateur via webdriver en mode black box. C'est à dire qu'il n'accède pas au coeur du navigateur, il le pilote depuis l'extérieur et il est complètement stateless. Donc lorsque tu écris tes tests avec selenium ou n'importe quel outil dérivé tu dois laisser le temps au navigateur de rendre le DOM en mettant des timeout de partout. C'est la raison principale qui fait que les tests via selenium sont horriblement lents à exécuter.

Cypress lui pilote le browser au travers de son API directement. Pour le moment ils ne supportent que webkit (ils vont écrire les adapters pour Gecko et Edge pour la fin de l'année), mais ils pilotent depuis l'intérieur. Donc ils ont accès à tout.

Lorsqu'un test est exécuté par cypress, il place toutes les instructions du test dans une queue, puis il exécute. A chaque instruction, cypress ré-exécute automatiquement la commande si elle a échouée jusqu'à sa réussite ou jusqu'à la fin du timeout.

Par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cy.get('#query-btn').should('contain', 'Button')

Cette commande cherche dans le DOM l'élément ayant pour id query-btn. Tant que l'élément n'est pas trouvé le framework retente le coup. Le .should('contain', 'Button') est une assertion disant que l'élément doit contenir le texte 'Button'.

La conséquence de ce fonctionnement c'est que si l'élément est trouvé il n'y pas besoin d'attendre la fin du timeout, cypress passe à la suite tout de suite.

Du coup un test e2e qui prenait 5 minutes avec Selenium prend 10 secondes avec cypress. Ça va aussi vite que le browser est capable d'afficher.

A chaque instruction exécutée par un test cypress prend un snapshot complet du DOM. Ça permet de faire du timetraviling dans le DOM après l'exécution du test et même d'ouvrir les outils de debug du navigateur pour regarder précisément quel était l'état du DOM au moment précis que l'on souhaite :-) Enfin du moment qu'on a une instruction évidemment.

L'autre conséquence de l'usage des API du browser directement c'est qu'ayant accès à tout on peut mocker dans tous les sens. En 2 coups de cuillères à pot il est possible de mocker directement XMLHttpRequest. Donc on peut réellement tester tous les cas qu'on veut niveau interface sans avoir besoin de programmer un back de test pour ça et l'appli n'y voit que du feu, aucun besoin de modifier une config de ton livrable puisque cypress agit comme un proxy.

Cypress est capable d'exécuter des tests d'intégration, de manipuler le système de fichier, et d'exécuter des CLI.

Donc on peut avoir une suite de test d'intégrations qui vont taper sur les backends à tester, enregistrer les résultats des requêtes, puis exécuter une suite de test e2e qui ferait appel aux mêmes endpoints, sauf qu'au lieu de taper sur les vrais backend on va charger les résultats des tests d'intégrations en stubant XMLHttpRequest.
On peut donc avoir les tests d'intégration + les tests e2e sans avoir besoin d'exécuter 2 fois le jeu de requêtes http, gros gain de temps !!

C'est également beaucoup plus facile de tester les cas d'erreurs des endpoints dans l'UI. Pour chaque call je peux simuler tous les cas d'erreurs http que je veux.

Bref c'est vraiment une avancée incroyable.

@el_slapper

Pas certain d'avoir tout compris à ton message, mais faire un clic attendre et recommencer oui pas de soucis à priori. Si t'as moyen de prendre quelques jours pour tester la bête tu y verras plus clair sur les possibilités.

[mehdi501]

Svp un tuto sur Cypress en pdf même en anglais.
Merci.

[Marco46]

Pourquoi pdf ? Si l'anglais ne te rebute pas la documentation de cypress est très très bien faite.

J'ai un tutoriel sous forme de repo en préparation (comparaison protractor donc selenium versus cypress) mais ça va me prendre encore pas mal de temps pour le terminer.

[randriano]

A priori le Cypress n'est plus à la version bêta!? Il y a maintenant du "Pricing", des tarifs sur son site web

Je viens de découvrir aussi un autre outil de Test Automation => Katalon Studio. Qui l'a déjà utilisé? Cet outil prétend occuper 30% du marché dans leur infographie

[Marco46]

Cypress est en finale et est entièrement opensource.

Ils ont mis à jour leur site de présentation, cette page est un bon point de départ.

Le pricing c'est pour leur service SaaS de Dashboard qui permet d'enregistrer toutes les exécutions des tests et de rentrer en détail dans leur analyse. Ce n'est absolument pas obligatoire pour utiliser l'outil. C'est un service qui a clairement de la plus value, mais l'outil en lui-même en a déjà tellement que bon ... Par rapport à du Selenium-based ya pas photo.

Sinon il y a eu une présentation en français à la dernière Devoxx à Paris, une demi-heure pas trop mal :

Sinon Katalon c'est une surcouche de Selenium.

[randriano]

Katalon a résolu le problème de difficulté de prise en main de Selenium & co

Mais Cypress vaut vraiment le détour également!