Discussion :

[Svengali48]

Bonsoir,

Voici mon problème. J'ai un fichier contenant un grand nombre de liens URL (un par ligne). Je sais faire un programme qui, en utilisant cURL, va télécharger chacun de ces fichiers. Je veux en outre stocker le code HTTP de chaque téléchargement (je sais faire aussi) et le stocker dans un fichier. Là aussi, chaque ligne contiendra le code (200 etc.) avec le lien URL associé.

En fait, j'aimerais faire cela en parallèle. C'est-à-dire lancer plusieurs téléchargements en même temps (bon, je sais que techniquement y en toujours qu'un qui se fait à la fois) pour rendre le traitement plus rapide. Je sais que cela peut se faire en rajoutant & à la fin de chaque appel. On peut faire une boucle qui appelle un certain nombre de fois le script (genre 5 ou 10 par boucle). Le problème se situe plutôt au niveau de la lecture et l'écriture : je ne veux pas que deux processus lisent la même ligne et que deux écrivent sur la même ligne.

J'ai entendu parlé de la commande parallel mais en lisant la doc, je ne sais pas si elle gère ces problèmes de synchronisation.

Merci d'avance.

[BufferBob]

salut,

bon, je sais que techniquement y en toujours qu'un qui se fait à la fois

ben... non. si tu parallélises tous les traitements sont réalisés en même temps (on parle du point de vue de l'application, pas du noyau ou du CPU) et la bande passante sera divisée d'autant

Le problème se situe plutôt au niveau de la lecture et l'écriture : je ne veux pas que deux processus lisent la même ligne et que deux écrivent sur la même ligne.

je crois que tu fais fausse route, il faut plutôt envisager ça sous cet angle :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
while read url < fichier; do
   curl -s "$url" &
done

J'ai entendu parlé de la commande parallel mais (...)

pareil j'en ai entendu parler, je l'ai quasiment jamais utilisé à vrai dire, arrivant toujours à me débattre avec les moyens du bord donc je saurai pas t'aider là dessus

Edit: typiquement la commande xargs permet de paralléliser l'exécution des commandes elle aussi, un truc du genre serait peut-être à tester :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat fichier | xargs -n1 -P5 -IURL curl "URL" &   # -P5 = 5 threads

[Svengali48]

Merci pour ta réponse.

Le problème de ta boucle c'est que si le fichier fait 10 000 lignes, cela va donc lancer 10 000 processus en parallèle ... L'idéal serait de traiter disons 10 processus en parallèle, attendre qu'ils aient fini, puis lancer 10 autres etc. Mais le problème de l'écriture se pose toujours : je ne veux pas que deux processus écrivent sur la même ligne.

Je vais voir du côté de xargs

[N_BaH]

Bonjour,

L'idéal serait de traiter disons 10 processus en parallèle, attendre qu'ils aient fini, puis lancer 10 autres etc

il serait préférable de faire une "queue" contenant n (10, 20, tu choisiras) processus maximum.
ainsi, si dans les n, il y en a un qui met trois plombes, d'autres pourront entrer dans la queue et être traités.

edit:
un truc comme ça

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
n=10 #par exemple
while read line
do
        until (($(jobs -p | wc -l) < n )); do sleep 1; done
        :do whatever whith line in background &
don < fichier

la lecture du fichier sera toujours séquentielle.
le problème des travaux en arrière-plan, c'est l'écriture dans un fichier.

[Svengali48]

Merci pour l'astuce !

Pour l'écriture dans un fichier, faut utiliser les "locks" ou bien y a une commande toute faite pour gérer ça ?

[Flodelarab]

Bonjour

La documentation de GNU parallel est très bien faite et explicite. Parallel est un xargs amélioré. Lire la section "DIFFERENCES BETWEEN xargs AND GNU Parallel".

[Svengali48]

Bien, voici mon code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
while read url
do
	snap_name="$(date +'%s')"
	while [ -f "./lockfile" ]
	do	
		sleep 1
	done
	touch "./lockfile"
	code_status=$(curl -sL -m 10 -w "%{http_code}" "$url" -o ./$snap_name.jpg)
	rm "./lockfile"
	if [ "$code_status" = "200" ]
	then	
		while [ -f "./lockfile2" ]
		do	
			sleep 1
		done
		touch "./lockfile2"
		url2=$(curl -sF "fichier=@./$snap_name.jpg"  http://www.noelshack.com/api.php)
		echo "$url - $url2" >> ./snapshot.txt
		rm "./lockfile2"
	else
		echo "Aucun snapshot !"
	fi
done < ./source

Je lance ensuite la commande suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

parallel -j10 ::: ./parallele.sh

Alors, j'obtiens bien des images, le fichier texte se remplit (j'ai bien un résultat par ligne) sauf que parfois, j'obtiens que la moitié des images (enfin, je ne vois que la moitié dans l'icône, quand je l'ouvre c'est genre fichier corrompu), pourtant j'ai bien mis un lock autour du téléchargement ...

[N_BaH]

mon intuition me dit que parallel n'est pas correctement utilisé.
de ce que je comprends, il exécuterait ton script un maximum de 10 fois, mais ton script fait tout d'une traite.
il me semble que parallel, ici, ne fait rien, en fait.
ça devrait plutôt resembler à ça, non ?

tu as observé un gain de temps ?

[Svengali48]

En fait, je me suis gouré, les images ont bien été téléchargées ... Juste que pour certaines d'entre elles, elles n'apparaissaient qu'à moitié sur l'icône de prévisualisation du Bureau alors qu'elles apparaissent entières à la fin du processus.

Concernant parallel, -j10 signifie maximum 10 processus en même temps, mais oui, pour cet exemple, je ne pense pas voir beaucoup de différences.

[Svengali48]

Autre chose. Apparemment, c'est une astuce courante de donner le "epoch time" comme nom de fichiers quand on en a plein à télécharger. Mais la précision du "epoch time" étant de l'ordre de la seconde, est-il techniquement possible, dans une exécution parallèle, que deux processus stockent exactement le même"eoch time" (supposons donc un processus visant à télécharger un fichier à partir d'une liste d'URL comme dans mon exemple) dans une variable utilisée pour nommer le fichier télécharger ?

[disedorgue]

Bonjour,

Plus sur que l'utilisation du epoch time pour une création de fichier temporaire (non garanti sur partition nfs):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ mktemp -p . testdisedorgue_XXXXXXXXXXX
./testdisedorgue_vgsKt8lJAo9