Discussion :

[Stef784ever]

Bonjour,

Je souhaiterait telecharger des ( dizaine de milliers ) de page d'un site web.
J'ai déja un fichier avec la liste des url a télécharger.

Si je fais un script avec les commande à la suite les une des autres, ca va prendre beaucoup de temps et je voudrait donc faire un script qui télécharge en parrallèle plusieurs page web.

En gros je vais écrire un petit scrpit pour illustrer ce que je veux faire :

#!/bin/bash
i=0
while [ $i -le 10000 ]
do
nb_telechargement_en_courge=get_nombre_telechargement()
while [ $nb_telechargement_en_courge -le 8 ]
do
lynx -dump "http://www.machin.com/page_${i}" > page_${i}
done

sleep 1
let "i=i+1"
done

c'est la partie get_nombre_telechargement qui me parrait mistérieuse ... :-p. Merci d'avance

[D[r]eadLock]

c'est la partie get_nombre_telechargement qui me parait mystérieuse

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

pgrep lynx | wc -l

?
Remarque: ça ne marche que si lynx n'est utilisé que pour ça. Tu peux peut-être faire un truc plus évolué avec les PPIDs.

Il ne manque pas un & à ta command lynx ? Et à mon avis ton algo est un peu bizarre.

[Stef784ever]

oui il manque un &
je ne sait pas comment récupérer le PPID d'une tache que je viend de lancer ?

[al1_24]

oui il manque un &
je ne sait pas comment récupérer le PPID d'une tache que je viend de lancer ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$!