Gérer des téléchargement en multitache

[Stef784ever]

Bonjour,

Je souhaiterait telecharger des ( dizaine de milliers ) de page d'un site web.
J'ai déja un fichier avec la liste des url a télécharger.

Si je fais un script avec les commande à la suite les une des autres, ca va prendre beaucoup de temps et je voudrait donc faire un script qui télécharge en parrallèle plusieurs page web.

En gros je vais écrire un petit scrpit pour illustrer ce que je veux faire :

#!/bin/bash
i=0
while [ $i -le 10000 ]
do
nb_telechargement_en_courge=get_nombre_telechargement()
while [ $nb_telechargement_en_courge -le 8 ]
do
lynx -dump "http://www.machin.com/page_${i}" > page_${i}
done

sleep 1
let "i=i+1"
done

c'est la partie get_nombre_telechargement qui me parrait mistérieuse ... :-p. Merci d'avance

[D[r]eadLock]

Envoyé par Stef784ever

c'est la partie get_nombre_telechargement qui me parait mystérieuse

Code :

pgrep lynx | wc -l

?
Remarque: ça ne marche que si lynx n'est utilisé que pour ça. Tu peux peut-être faire un truc plus évolué avec les PPIDs.

Il ne manque pas un & à ta command lynx ? Et à mon avis ton algo est un peu bizarre.

[Stef784ever]

oui il manque un &
je ne sait pas comment récupérer le PPID d'une tache que je viend de lancer ?

[al1_24]

Envoyé par Stef784ever

oui il manque un &
je ne sait pas comment récupérer le PPID d'une tache que je viend de lancer ?

Code :

$!