Discussion :

[AvySamaj]

Bonjour.

J'ai appris aujourd'hui à lancer des commandes de façon séquentielle avec cmd1 ; cmd2.
Ça m'est pratique avec mes spiders sous scrapy. Dans la console, en écrivant au clavier les instructions une par une, ça fonctionne très bien:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

scrapy crawl spider -a arg1=machin -a arg2=bidule ; scrapy crawl spider -a arg1=jain -a arg2=makeba #etc

Mais comme en pratique j'aimerais lancer 150 fois différentes commandes de façon séquentielle, et je ne m'attarderais à épiloguer sur le pourquoi j'en ai besoin 150 fois.
J'ai fait un script pour la console bash tel que:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
#!/bin/bash
scrapy crawl spider -a arg1=machin -a arg2=bidule ; 
scrapy crawl spider -a arg1=jain -a arg2=makeba ;
#etc

avec 150 fois une instruction proche mais différente.

Et vous remarquerez qu'il y a des sauts de lignes cette fois contrairement à lorsque je lançais dans la console en écrivant à la main quand je testais. Mais ça me renvoi une erreur propre à scrapy "scrapy crawl [options] <spider>
crawl: error: running 'scrapy crawl' with more than one spider is no longer supported
+ scrapy crawl spider -a arg1=jain -a arg2=makeba", ce qui signifie clairement que ça ne se fait pas façon séquentielle. Alors concernant les ";" je ne fut pas étonnée quand je lu ceci "Une série de commande peuvent être saisient sur la même ligne; c'est la liaison de commandes ; chaque commande est séparée des autres par un point virgule (";") et chacune est exécutée séquentielement les une après les autres." donc j'ai remplacé les ";" par des "&&" ne voyant pas de contre-indication. Mais j'ai la même erreur lorsque je lance

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

bash -x script.sh

.

Comment puis-je faire des commandes séquentielles dans un script?

[N_BaH]

Bonjour,

deux options :

• deux tableaux
• un fichier

et une boucle, mais pas la même.

deux tableaux :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
#!/bin/bash
 
args1=( "ma chin" jain ... )
args2=( "bi dule" makeba ... )
 
for n in ${!args1[*]}
do
   scrapy crawl spiders -a arg1="${args1[$n]}" -a arg2="${args2[$n]}"
done

ou,

un fichier CSV, lu par une boucle while. cf. lire un fichier en shell

voilà, choisis ton poison

[AvySamaj]

Merci, j'ai choisi le premier poison.
Avec quelques apprentissages sur les conditions ça devrait être encore plus propre, mais ce que je fais là grâce à votre conseil marche bien visiblement. Merci.

[N_BaH]

au fait, où sont les données ? car elles existent avant le script, non ?

[AvySamaj]

Les données avant le script?
Pour ma part dans mon scrap je me base sur des données existantes dans ma base de données mais ça n'aurait pas été nécessaire dans d'autres cas de figure de scraping.
Par exemple si j'avais utilisé 150 adresses e-mails différentes pour me login sur un site, je n'aurais pas eut spécialement besoin de données en amont pour le faire.
Donc j'ai fait comme vous avez dit, 150 éléments de ce dont j'ai besoin dans chaque tableau.
Si j'ai mal répondu précisez moi votre question svp.

[N_BaH]

je me base sur des données existantes dans ma base de données

il pourrait alors être préférable d'utiliser la deuxième méthode (boucle while) :

Code pseudo-code :

Sélectionner tout - Visualiser dans une fenêtre à part

SGBDtool 'select...' | while read arg1 arg2; do scrap...; done

[AvySamaj]

Cela marcherait-il avec mongodb? Car j'utilise que mongo.
Et rassurez-vous votre option m'a parfaitement convenue. Mais je veux bien voir autre chose si c'est encore plus simple, pour certaines automatisation d'ailleurs, car il se pourrait que j'ai à faire des MAJ avec ces mêmes commandes sur les siteweb que je scrape.

[N_BaH]

je ne connais pas mongodb.
mais ça dépend davantage du format des données retourné par le SGDB, que du SGBD utilisé.

[jack-ft]

Bonjour.

J'ai appris aujourd'hui à lancer des commandes de façon séquentielle avec cmd1 ; cmd2.

Oui... Ou bien:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
cmd1
cmd2

J'ai fait un script pour la console bash tel que:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
#!/bin/bash
scrapy crawl spider -a arg1=machin -a arg2=bidule ; 
scrapy crawl spider -a arg1=jain -a arg2=makeba ;
#etc

avec 150 fois une instruction proche mais différente.

Et vous remarquerez qu'il y a des sauts de lignes cette fois contrairement à lorsque je lançais dans la console en écrivant à la main quand je testais. Mais ça me renvoi une erreur propre à scrapy "scrapy crawl [options] <spider>
crawl: error: running 'scrapy crawl' with more than one spider is no longer supported
+ scrapy crawl spider -a arg1=jain -a arg2=makeba", ce qui signifie clairement que ça ne se fait pas façon séquentielle. Alors concernant les ";" je ne fut pas étonnée quand je lu ceci "Une série de commande peuvent être saisient sur la même ligne; c'est la liaison de commandes ; chaque commande est séparée des autres par un point virgule (";") et chacune est exécutée séquentielement les une après les autres." donc j'ai remplacé les ";" par des "&&" ne voyant pas de contre-indication. Mais j'ai la même erreur lorsque je lance

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

bash -x script.sh

.

Comment puis-je faire des commandes séquentielles dans un script?

Je ne comprends pas du tout pourquoi il y a une erreur, ni pourquoi elle disparaît dans les posts suivants, car, pour moi, les 2 écritures sont strictement équivalentes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

scrapy crawl spider -a arg1=machin -a arg2=bidule ; scrapy crawl spider -a arg1=jain -a arg2=makeba #etc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
#!/bin/bash
scrapy crawl spider -a arg1=machin -a arg2=bidule ; 
scrapy crawl spider -a arg1=jain -a arg2=makeba ;
#etc

Bon, après, si le problème est réglé, c'est peut-être pas la peine de creuser davantage...

[Flodelarab]

Bonjour

Mon soupçon est que python envoie des tâches en arrière plan.
Mais je n'ai aucune preuve.