Lancer 150 fois différentes commandes

Bonjour.

J'ai appris aujourd'hui à lancer des commandes de façon séquentielle avec cmd1 ; cmd2.
Ça m'est pratique avec mes spiders sous scrapy. Dans la console, en écrivant au clavier les instructions une par une, ça fonctionne très bien:

Code:

---

scrapy crawl spider -a arg1=machin -a arg2=bidule ; scrapy crawl spider -a arg1=jain -a arg2=makeba #etc

---

Mais comme en pratique j'aimerais lancer 150 fois différentes commandes de façon séquentielle, et je ne m'attarderais à épiloguer sur le pourquoi j'en ai besoin 150 fois.
J'ai fait un script pour la console bash tel que:

Code:

---

1 2 3 4

#!/bin/bash scrapy crawl spider -a arg1=machin -a arg2=bidule ; scrapy crawl spider -a arg1=jain -a arg2=makeba ; #etc

---

avec 150 fois une instruction proche mais différente.

Et vous remarquerez qu'il y a des sauts de lignes cette fois contrairement à lorsque je lançais dans la console en écrivant à la main quand je testais. Mais ça me renvoi une erreur propre à scrapy "scrapy crawl [options] <spider>
crawl: error: running 'scrapy crawl' with more than one spider is no longer supported
+ scrapy crawl spider -a arg1=jain -a arg2=makeba", ce qui signifie clairement que ça ne se fait pas façon séquentielle. Alors concernant les ";" je ne fut pas étonnée quand je lu ceci "Une série de commande peuvent être saisient sur la même ligne; c'est la liaison de commandes ; chaque commande est séparée des autres par un point virgule (";") et chacune est exécutée séquentielement les une après les autres." donc j'ai remplacé les ";" par des "&&" ne voyant pas de contre-indication. Mais j'ai la même erreur lorsque je lance

Code:

---

bash -x script.sh

---

.

Comment puis-je faire des commandes séquentielles dans un script?

Bonjour,

deux options :

• deux tableaux
• un fichier

et une boucle, mais pas la même. ;)

deux tableaux :

Code:

---

1 2 3 4 5 6 7 8 9

#!/bin/bash   args1=( "ma chin" jain ... ) args2=( "bi dule" makeba ... )   for n in ${!args1[*]} do scrapy crawl spiders -a arg1="${args1[$n]}" -a arg2="${args2[$n]}" done

---

ou,

un fichier CSV, lu par une boucle while. cf. lire un fichier en shell

voilà, choisis ton poison :)

Merci, j'ai choisi le premier poison.
Avec quelques apprentissages sur les conditions ça devrait être encore plus propre, mais ce que je fais là grâce à votre conseil marche bien visiblement. Merci.

au fait, où sont les données ? car elles existent avant le script, non ?

Les données avant le script?
Pour ma part dans mon scrap je me base sur des données existantes dans ma base de données mais ça n'aurait pas été nécessaire dans d'autres cas de figure de scraping.
Par exemple si j'avais utilisé 150 adresses e-mails différentes pour me login sur un site, je n'aurais pas eut spécialement besoin de données en amont pour le faire.
Donc j'ai fait comme vous avez dit, 150 éléments de ce dont j'ai besoin dans chaque tableau.
Si j'ai mal répondu précisez moi votre question svp.

Citation:

---

je me base sur des données existantes dans ma base de données

---

il pourrait alors être préférable d'utiliser la deuxième méthode (boucle while) :

Code:

---

SGBDtool 'select...' | while read arg1 arg2; do scrap...; done

---

Cela marcherait-il avec mongodb? Car j'utilise que mongo.
Et rassurez-vous votre option m'a parfaitement convenue. Mais je veux bien voir autre chose si c'est encore plus simple, pour certaines automatisation d'ailleurs, car il se pourrait que j'ai à faire des MAJ avec ces mêmes commandes sur les siteweb que je scrape.

je ne connais pas mongodb.
mais ça dépend davantage du format des données retourné par le SGDB, que du SGBD utilisé.

Citation:

---

Envoyé par AvySamaj

Bonjour.

J'ai appris aujourd'hui à lancer des commandes de façon séquentielle avec cmd1 ; cmd2.

---

Oui... Ou bien:

Code:

---

1 2

cmd1 cmd2

---

Citation:

---

J'ai fait un script pour la console bash tel que:

Code:

---

1 2 3 4

#!/bin/bash scrapy crawl spider -a arg1=machin -a arg2=bidule ; scrapy crawl spider -a arg1=jain -a arg2=makeba ; #etc

---

avec 150 fois une instruction proche mais différente.

Et vous remarquerez qu'il y a des sauts de lignes cette fois contrairement à lorsque je lançais dans la console en écrivant à la main quand je testais. Mais ça me renvoi une erreur propre à scrapy "scrapy crawl [options] <spider>
crawl: error: running 'scrapy crawl' with more than one spider is no longer supported
+ scrapy crawl spider -a arg1=jain -a arg2=makeba", ce qui signifie clairement que ça ne se fait pas façon séquentielle. Alors concernant les ";" je ne fut pas étonnée quand je lu ceci "Une série de commande peuvent être saisient sur la même ligne; c'est la liaison de commandes ; chaque commande est séparée des autres par un point virgule (";") et chacune est exécutée séquentielement les une après les autres." donc j'ai remplacé les ";" par des "&&" ne voyant pas de contre-indication. Mais j'ai la même erreur lorsque je lance

Code:

---

bash -x script.sh

---

.

Comment puis-je faire des commandes séquentielles dans un script?

---

Je ne comprends pas du tout pourquoi il y a une erreur, ni pourquoi elle disparaît dans les posts suivants, car, pour moi, les 2 écritures sont strictement équivalentes:

Code:

---

scrapy crawl spider -a arg1=machin -a arg2=bidule ; scrapy crawl spider -a arg1=jain -a arg2=makeba #etc

---

Code:

---

1 2 3 4

#!/bin/bash scrapy crawl spider -a arg1=machin -a arg2=bidule ; scrapy crawl spider -a arg1=jain -a arg2=makeba ; #etc

---

:koi:

Bon, après, si le problème est réglé, c'est peut-être pas la peine de creuser davantage...

Bonjour :coucou:

Mon soupçon est que python envoie des tâches en arrière plan.
Mais je n'ai aucune preuve.