Discussion :

[gloubi]

Bonjour,

Je souhaite récupérer la liste des fichiers situés dans un repertoire d'un FTP anonyme et télécharger tout ce qu'il y a de nouveau.

Pour le téléchargement, une fois que j'ai le nom de fichier, pas de problème.

J'ai dabord essayé de passer par un shell qui piloterai kftp... Echec, puisque l'appel de kftp bloque le sh.

Les fichiers que je veux récupérés sont de la forme

QS[0-9]*?.S[0-9]*?.E[0-9]*?
exemple : QS20070917.S0956.E1227

Comment puis-je faire pour rapatrier la liste des fichiers correspondants à ce masque dans un fichier texte depuis la console linux (je n'ai que kftp en client ftp, et eventuellemnt wget).

En vous remerciant par avance

[valefor]

Es-tu contraint d'utiliser ftp ? Peux-tu voir si il ne t'es pas possible d'utiliser d'autres outils rsync, ou ssh, ou rsh ?

[gloubi]

Oui, ce que je veux récupéré est en réalité des données provenant d'un satellite. Les données sont en libre accès via ce FTP anonyme. Il n'est donc pas possible de faire autrement qu'avec un ftp (autant que je sache)...
D'autre part, les outils a ma disposition sont ceux qui sont installés sur mon serveur : kftp et wget.

N'existe t-il pas avec wget un moyen de ne récupérer que la liste des fichiers ?

Ou n'existe t'il pas avec le même outil une option qui permet de ne récupérer que les fichiers qui n'existent pas en local (et de stocker la liste des fichiers effectivement telecharger kkpart) ?

En vous remerciant

[valefor]

Si tu as wget, tu devrais t'en sortir (extrait des exemples du manuel de wget) :

Retrieve the first two levels of wuarchive.wustl.edu, saving them to /tmp.

wget -r -l2 -P/tmp ftp://wuarchive.wustl.edu/

[gloubi]

Heuuu... Mais là, ça télécharge directement 2 niveau de répertoire dans l'arborescence non ?

Or, tous les fichiers sont dans le même répertoire, et je ne veux dans un premier temps récupérer que le nom des fichiers et ne télécharger que ce que je n'ai pas encore télécharger (y'a plusieurs centaines de Mo de fichiers)...

[valefor]

Jete quand même un coup d'œil au manuel de wget. Il y a moyen de lui dire de compléter les fichiers que tu as à moitié téléchargé, d'ignorer ceux qui ont été complétés, et de s'occuper de télécharger ceux que tu n'as pas encore. Idem pour la profondeur, il y a moyen d'ajuster les paramètres.

[gloubi]

--no-clobber
Si un fichier est téléchargé plus d'une fois dans un même répertoire, le comportement de Wget dépend de plusieurs options parmi lesquelles -nc. Dans certains cas, le fichier local sera remplacé au fur et à mesure des téléchargements. Dans les autres cas, il sera préservé.
Quand Wget est lancé sans -N, -nc, ni -r, le téléchargement d'un même fichier dans un même répertoire préservera le fichier original fichier, les copies suivantes seront renommées fichier.1, fichier.2 et ainsi de suite. Si l'option -nc est spécifiée, ce comportement est supprimé, Wget ne téléchargera pas les nouvelles copies de fichier. C'est pourquoi no-clobber n'est pas un nom totalement adapté pour ce mode : ce n'est pas contre l'expulsion du fichier qu'elle protège (les suffixes numériques empêchent déjà le clobbering), mais elle empêche la sauvegarde des version multiples.

Effectivement... je viens de trouver la doc francaise de wget (j'ai du mal comprendre en lisant la version anglaise car je ne me souviens pas avoir vu ça sur mon man).

Je vais tester ça !

Merci pour ton aide !