Jusqu'où allez-vous dans l'automatisation des tâches ?

Jusqu'où allez-vous dans l'automatisation des tâches ?

Nous, les développeurs (et autres passionnés par l'informatique), nous avons la chance de comprendre que l'ordinateur est avant tout un outil, un outil que l'on peut commander et qui est extrêmement puissant pour faire des tâches répétitives. Il est d'autant plus jouissif que nous avons un grand contrôle sur cet outil et que nous pouvons lui faire faire à peu près ce que nous voulons.

Lorsque nous arrivons sur un site web proposant une liste de 300 fichiers à télécharger, nous savons d'avance que nous n'allons pas faire ces 300 * X clics pour récupérer les fichiers (en passant, nous allons peut être même jurer sur cette personne qui n'a pas proposé une archive des 300 fichiers). Nous allons mettre en place un mécanisme (peu importe le langage, peu importe la méthode) pour nous éviter cette tâche plus que rébarbative. Qui plus est, nous serons plus rapides que celui qui fera les clics manuellement.

Ceci n'est qu'un exemple parmi tant d'autres. Nous sommes tous les jours confrontés à des tâches répétitives et je suis sûr que chaque jour, vous mettez en place des méthodes pour les éviter ou pour les optimiser.

:fleche: Je vous invite donc à raconter vos exploits d'automatisation, vos astuces vous ayant permis d'éviter une grande perte de temps et aussi, jusqu'où vous allez dans l'automatisation des tâches.

https://www.youtube.com/watch?v=gu2pxJo3cI0

On aimerait bien mais la réalité est plus délicate.

Le nombre de clics n'est jamais aussi important de sorte que la question se pose souvent de trancher entre le bénéfice de l'automatisation et le sacrifice de la mise au point.

On est souvent confronté à une 50aine de clics si bien que le temps de mise au point fait perdre beaucoup de sens à la manoeuvre.

C'est plutôt dans la manipulation de texte que j'estime gagner le plus de temps à coups de sed, awk, grep, find et autres joyeusetés... peut-être curl, wget parfois ?

Mais ça se serait bien que chacun, ici, montre ses codes d'automatisation qui lui ont fait gagner un temps fou.

Citation:

---

Linux, FOG Projet et Microsoft Sysprep : Les outils indispensables pour la création d'image Master et le déploiement de Microsoft Windows via PXE sans avoir besoin de Microsoft Windows 2016 Server, Microsoft ADK et Microsoft MDT.

---

Je l'ai mis en signature et comme je ne sais pas si tout le monde peut la voir puisque moi même je ne peux la voir...
Une des tâches auxquelles j'ai participé à mettre en place dans un atelier dans des circonstances que Pôle Emploi connait, mais sans vraiment en savoir le contenu.

C'est pas parce que je sais des trucs que je m'en servirais. ;)

Car au final c'est utile aux petits commerces de ventes de PC assemblés dans un atelier artisanal avec Windows préinstallé mais sans rien recevoir en contre parti de Microsoft j'ai cru comprendre. :weird:

Dans mon entreprise avant mon arrivée, la préparation de l'inventaire (qui dure 3 semaines chez nous !) était fait via Access et il fallait une journée complète à ne faire que ça car il y avait une inetervention humaine obligatoire.
Après avoir repris le code et les tables nécessaires, j'ai en fait tout automatisé. Petit code VBA certes mais la préparation ne dure plus qu'un quart d'heure ! Moi je dis c'est tout de même de l'optimisation. ☺

Citation:

---

On est souvent confronté à une 50aine de clics si bien que le temps de mise au point fait perdre beaucoup de sens à la manoeuvre.

C'est plutôt dans la manipulation de texte que j'estime gagner le plus de temps à coups de sed, awk, grep, find et autres joyeusetés... peut-être curl, wget parfois ?

Mais ça se serait bien que chacun, ici, montre ses codes d'automatisation qui lui ont fait gagner un temps fou.

---

Le problème dans le message initial de la discussion est celui que j'ai rencontré. Je l'ai résolu avec un peu de JS dans la console interactive de Firefox + une reconfiguration de Firefox, pour ne pas avoir de popup demandant que faire avec le fichier (où le sauvegarder). Résultat : 15 minutes, au lieu de faire plus de 300 clics.
Note : le site ne permettait pas de faire un wget... :( (c'était ma première piste)

Un autre exemple qui me vient en tête est l'upload de fichiers image pour les news de DVP. Je dois redimensionner l'image, l'uploader sur un FTP qui va bien et intégrer le BBCODE au message forum. Pour cela, un petit script, qui lit le presse papier (il faut que je copie le fichier image dans le presse papier) et qui fait les opérations décrite ci-dessus. Le presse papier est rempli avec le BBCODE qui va bien et je n'ai plus qu'à le copier (après avoir reçu la notification d'upload réussi). Peut être je l'utilise une fois par semaine, mais depuis, je n'ai plus besoin de :

• faire le redimensionnement à la main (et chercher les dimensions optimales) ;
• ouvrir filezilla et chercher le bon serveur et dossier ;
• taper cet infâme BBCODE

Et des histoires comme ça, j'en ai surement plein d'autres, notamment le renommage de fichier en masse, le lancement de programme ou de commande en masse...
Et je suis bien d'accord, les sed, awk et autres sont bien nos amis.

Il y a une dizaine d'années je jouais à Dofus. J'étais paysan et boulanger. Aller faucher des céréales, crafter de la farine puis crafter du pain, quelques monstres débiles à tuer et c'est tout. Pas vraiment d'intelligence à mettre en oeuvre et aussi beaucoup trop répétitif, il fallait faire quelque chose.

Du coup j'ai fait un bot pour le faire à ma place, et j'avais plus qu'à gérer la revente dans les échaupes qui demande un peu plus de logique humaine et est bien plus fun à faire ;-)

Aucune anecdote de mon côté.
J'apporte juste à la discussion cette petite image :
https://imgs.xkcd.com/comics/is_it_worth_the_time.png

@Hizin
Le tableau est intéressant, mais je peine à trouver la bonne lecture. =/
ex : Pour une tache que j'effectue quotidiennement (colonne "daily"), si je passe 12h à l'automatiser, alors je gagne ("shave off") 30 secondes (sur l'année ?).

pour calculer une rentabilité de faisabilité, il fait s'appuyer sur la durée de la tâche (et l'attention qu'elle requiert), sa fréquence, le temps de l'automatisation... plus la solution est utilisé dans le temps plus l'investissement (temps/€) est rentabilisé.
Mais je n'arrive pas à avoir une lecture claire du tableau... peux-tu nous expliquer sa lecture, accompagné d'un exemple s'il te plaît ?

Pour la lecture du tableau, je dirais ceci :
- Pour une tâche effectuée quotidiennement
- Pour une automatisation faisant économiser 5 secondes
- Pour que cela soit rentable au bout de 5 ans il faut que le travail sur l'automatisation dure 12 heures ou moins.

L'automatisation de process est aussi une belle façon de se décharger de certains travaux.
En tant que dba, un petit chef m'a déjà chargé d'intégrer un fichier excel en base de données pour pouvoir ensuite changer les colonnes de place en utilisant SSIS, tâche qui avait été validée par plusieurs de mes supérieurs avec un budget initial d'un jour complet de travail.
J'ai donc utilisé toute mon expérience et mes hautes compétences spécialisées pour apprendre le copier/coller de colonnes au demandeur...
Dans le même genre, on m'a déjà demander de modifier des valeurs dans un fichier excel. Apprentissage de la fonction Remplacer / CTRL+H.
Et en jamais sous estimé la puissance de certaines tâches répétitives : j'ai déjà modifié 200 lignes à la main en moins de 10 minutes alors que mettre en place une procédure m'aurait pris 30 minutes.
Mais évidemment, étant dba, c'est tout de même ma spécialité de faire des processus de traitement de masse...

Pour ma part… juste parce que c'est plus fun

Pièce jointe 379875

A une époque j'avais un projet pour un prestashop.

Un catalogue entier à mettre dans la boutique, quarantaine de fichier excel regroupant les infos sur les produits, non triés... Un bordel monstre, à faire à la main ça m'aurai pris des jours...

Petit script php, fusion de tableau regroupant toutes les infos : taille, couleur, déclinaison...en tout dans les 200 lignes de code qui me range tout proprement dans un seul csv et voilà mes 400 produits, triés et regroupés. Plus qu'à importer dans le prestashop et en voiture simone ! :mouarf:

C'est bô l'automatisation quand même :fou:

Pour le graphe de XKCD, l'explication est la suivante :

Sur l'axe des abscisses, il s'agit de la fréquence de répétition d'une tâche donnée (peu importe sa durée totale).

Sur l'axe des ordonnées, il s'agit de la quantité de temps qu'on peut économiser.

Les valeurs du tableau donnent tout simplement la quantité de temps maximale qu'on peut investir pour créer une routine automatisée pour réaliser la tâche et dont on tire un bénéfice de temps au bout de 5 ans.

L'explication complète se trouve dans ce lien.

La formule généralisée est la suivante :

Code:

---

Temps maximale à investir sur X années = X * fréquence annuelle * temps économisable par occurrence de tâche

---

Petite anecdote :
[mylife]
Sur un projet où j'étais on reçoit un fichier excel d'une centaine de lignes dont les données sont à insérer en base (données à dispatcher dans 5 ou 6 tables différentes avec des références entre les enregistrements, donc génération de clef primaire, réutilisation de ces clefs dans des clefs étrangères, ...).

Mon chef me dit de faire l'intégration en base, pensant que je le ferai à la main.
En regardant vite fait le truc je décide de passer par un script Perl qui génère du PL/SQL pour faire l'intégration.
A la fin de la journée il revient me voir pour savoir où j'en suis et me tient la jambe pendant (littéralement) une heure (alors que je devais partir tôt ce soir-là) en me disant que c'était débile de faire un script que ça se faisait très bien à la main, etc.. 15 minutes montre en main après qu'il m'ait lâché la grappe - après que je me sois vraiment énervé contre lui, c'est une des très rares fois où ça m'est arrivé dans la vie - je termine le script, le passe et les données sont intégrées en base en quelques secondes...

Mais il y a mieux : comme de bien entendu le client nous avait envoyé des données foireuses (certains champs étaient trop longs, d'autres manquants, certaines données étaient erronées, ...). Bref il y a eu 4 ou 5 échanges de ce même fichier excel avant d'avoir toutes les données correctes. Heureusement que j'étais parti sur un script depuis le début !
[/mylife]

Au tout début des années 2000, je me suis retrouvé à devoir récupérer les données d'une appli totalement fermée, qui plus est fonctionnant dans une fenêtre DOS. Seul moyen possible : afficher un à un les enreg à l'écran, et les recopier dans un Excel. Quelques milliers de fiches à se palucher, de quoi s'amuser pendant plusieurs jours.

J'ai scrupuleusement fait mes copier-coller le premier jour. Le soir, en rentrant chez moi, une petite recherche m'a fait découvrir AutoIt. Ni une ni deux, je copie ça sur une disquette (ben oui, j'ai bien dit "tout début des années 2000"). Le deuxième jour fut consacré à la rédaction du script-qui-va-bien (avec des tas de temporisation pour attendre que tout les rafraîchissements d'affichage soient terminés). Puis, je laissais tourner le programme tout seul, en lisant mon bouquin et en jetant un oeil de temps en temps pour vérifier que tout allait bien et que Windows / Excel / AutoIt n'avait pas planté.
Pour l'anecdote : j'ai essayé de le faire tourner la nuit, mais l'ensemble n'a jamais été assez stable pour survivre à une aussi longue période. Heureusement je "cliquais" sur l’icône "sauvegarder" assez régulièrement.

Le temps de traitement total a été plus long que si je faisais tout à la main (à cause des tempos), mais entre le boulot la nuit et pendant les pauses, la durée de la mission s'est trouvée largement diminuée.

Par la suite, tout comme mister3957, j'ai utilisé AutoIt pour faire du pain sans me fatiguer sous Dofus ;)

Une chose que je dis souvent à mes stagiaires : "Soyez paresseux. Un vrai paresseux est celui qui est capable de réfléchir pendant une heure pour ne pas travailler 5 minutes". Je pense que cela résume assez bien ce fil.