p
u
b
l
i
c
i
t
é
publicité

Discussion: rsync gros repertoire

  1. #1
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    avril 2004
    Messages
    17 686
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : avril 2004
    Messages : 17 686
    Points : 492 621
    Points
    492 621

    Par défaut rsync gros repertoire

    Quel est la commande judicieuse pour rsync? surtout si on a des gros repertoires oscillant entre 200Mo à 100 Go voir plus

    voici ce que je fais pour l'instant par exemple :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    rsync -avrz --delete --exclude-from=mon_fichier_texte.txt --backup --backup-dir=/sauvegarde2/sauvegarde_effacement/sauvegarde_toto_2008-03-25 Administrator@toto:/cygdrive/d/Data /sauvegarde1/sauvegarde_toto
    Mais des que le repertoire commence a depasser les 2Go, ça commence serieusement à ramer.

    Merci

    Pas de questions technique par messagerie privée (lisez les règles du forum Perl) et pour les nouveaux !

  2. #2
    Membre confirmé Avatar de hmhm12
    Inscrit en
    novembre 2007
    Messages
    257
    Détails du profil
    Informations forums :
    Inscription : novembre 2007
    Messages : 257
    Points : 275
    Points
    275

    Par défaut

    c est vrai tu as 2 GO, mais rsync copie juste les octets modifies.

  3. #3
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    avril 2004
    Messages
    17 686
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : avril 2004
    Messages : 17 686
    Points : 492 621
    Points
    492 621

    Par défaut

    Bon je ne sais pas si c'est du as la taille d'un repertoire au à autre chose, mais rsync reste bloqué. Je m'explique.
    Voici une commande que j'ai lancé hier apres midi.
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    rsync -avzru -v --delete --exclude-from=/root/ADMINISTRATION/SAUVEGARDE/CONFIG/repfile_rsync.txt --backup --backup-dir=/sauvegarde2/sauvegarde_effacement/sauvegarde_toto_2008-03-25 Administrator@HCT:/cygdrive/d/Data /sauvegarde1/sauvegarde_toto
    backup_dir is /sauvegarde2/sauvegarde_effacement/sauvegarde_toto_2008-03-25/
    opening connection using ssh -l Administrator HCT rsync --server --sender -vvbulogDtprz --backup-dir /sauvegarde2/sauvegarde_effacement/sauvegarde_toto_2008-03-25 . /cygdrive/d/Data
    receiving file list ...
    done
    deleting in Data
    delta-transmission enabled
    Data/BT.mzXML is uptodate
    La commande est bloquée là depuis hier.
    Pourtant le répertoire Data ne fait que 5Go de données. J'ai souvente ce souci avec des commandes scp qui se bloquent et je ne sais pas à quoi c'est dû

    Help car ça me pose souci pour mes sauvegardes.

    Merci

    Pas de questions technique par messagerie privée (lisez les règles du forum Perl) et pour les nouveaux !

  4. #4
    Membre Expert
    Avatar de goldkey
    Inscrit en
    mars 2003
    Messages
    794
    Détails du profil
    Informations personnelles :
    Âge : 34

    Informations forums :
    Inscription : mars 2003
    Messages : 794
    Points : 1 027
    Points
    1 027

    Par défaut

    Salut djibril, je me suis récemment retrouvé a peu près dans le même cas que toi

    J'ai constaté que les blocages ou arrêts des transferts étaient principalement du a des coupures réseaux (local et/ou Internet car mes sauvegardes se font sur un autre serveur a travers le web)
    Tout ce qui avait déjà été transféré était perdu (plusieurs centaines de Mo voir quelques Go pour les gros fichiers)

    Après quelques recherches dans le man de rsync, j'ai trouvé l'option --partial, qui permet de reprendre le téléchargement ou il s'était arrêté avant la coupure.

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    rsync -zva --partial --delete --stats --progress
    Cela n'évite donc pas les blocages ou arrêts mais permet au moins de reprendre le transfert ou il s'était arrêté

    PS: il faut bien préciser le --partial avant le --delete sinon le/les fichiers temp déjà téléchargés seront effacés

  5. #5
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    avril 2004
    Messages
    17 686
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : avril 2004
    Messages : 17 686
    Points : 492 621
    Points
    492 621

    Par défaut

    merci pour ta précision, je ne connaissais cette option.

    Pas de questions technique par messagerie privée (lisez les règles du forum Perl) et pour les nouveaux !

Discussions similaires

  1. Comment trouver les 10 plus gros fichiers d'un repertoire
    Par hornetbzz dans le forum Contribuez
    Réponses: 0
    Dernier message: 28/02/2011, 23h52
  2. rsync : transférer un repertoire sous un nom différent
    Par pasdeface dans le forum Réseau
    Réponses: 2
    Dernier message: 01/10/2008, 12h00
  3. RSYNC : ignorer repertoire distant
    Par Arnard dans le forum Shell et commandes GNU
    Réponses: 1
    Dernier message: 12/06/2007, 13h51
  4. Effacer un très gros repertoire
    Par Krispy dans le forum Administration système
    Réponses: 17
    Dernier message: 06/06/2006, 17h09
  5. repertoire temp dynamique
    Par killpilot dans le forum C
    Réponses: 2
    Dernier message: 26/04/2002, 16h19

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo