rsync gros repertoire

[djibril]

Quel est la commande judicieuse pour rsync? surtout si on a des gros repertoires oscillant entre 200Mo à 100 Go voir plus

voici ce que je fais pour l'instant par exemple :

Code :

rsync -avrz --delete --exclude-from=mon_fichier_texte.txt --backup --backup-dir=/sauvegarde2/sauvegarde_effacement/sauvegarde_toto_2008-03-25 Administrator@toto:/cygdrive/d/Data /sauvegarde1/sauvegarde_toto

Mais des que le repertoire commence a depasser les 2Go, ça commence serieusement à ramer.

Merci

[hmhm12]

c est vrai tu as 2 GO, mais rsync copie juste les octets modifies.

[djibril]

Bon je ne sais pas si c'est du as la taille d'un repertoire au à autre chose, mais rsync reste bloqué. Je m'explique.
Voici une commande que j'ai lancé hier apres midi.

Code :

1
2
3
4
5
6
7
8
rsync -avzru -v --delete --exclude-from=/root/ADMINISTRATION/SAUVEGARDE/CONFIG/repfile_rsync.txt --backup --backup-dir=/sauvegarde2/sauvegarde_effacement/sauvegarde_toto_2008-03-25 Administrator@HCT:/cygdrive/d/Data /sauvegarde1/sauvegarde_toto
backup_dir is /sauvegarde2/sauvegarde_effacement/sauvegarde_toto_2008-03-25/
opening connection using ssh -l Administrator HCT rsync --server --sender -vvbulogDtprz --backup-dir /sauvegarde2/sauvegarde_effacement/sauvegarde_toto_2008-03-25 . /cygdrive/d/Data
receiving file list ...
done
deleting in Data
delta-transmission enabled
Data/BT.mzXML is uptodate

La commande est bloquée là depuis hier.
Pourtant le répertoire Data ne fait que 5Go de données. J'ai souvente ce souci avec des commandes scp qui se bloquent et je ne sais pas à quoi c'est dû

Help car ça me pose souci pour mes sauvegardes.

Merci

[goldkey]

Salut djibril, je me suis récemment retrouvé a peu près dans le même cas que toi

J'ai constaté que les blocages ou arrêts des transferts étaient principalement du a des coupures réseaux (local et/ou Internet car mes sauvegardes se font sur un autre serveur a travers le web)
Tout ce qui avait déjà été transféré était perdu (plusieurs centaines de Mo voir quelques Go pour les gros fichiers)

Après quelques recherches dans le man de rsync, j'ai trouvé l'option --partial, qui permet de reprendre le téléchargement ou il s'était arrêté avant la coupure.

Code :

rsync -zva --partial --delete --stats --progress

Cela n'évite donc pas les blocages ou arrêts mais permet au moins de reprendre le transfert ou il s'était arrêté

PS: il faut bien préciser le --partial avant le --delete sinon le/les fichiers temp déjà téléchargés seront effacés

[djibril]

merci pour ta précision, je ne connaissais cette option.