Discussion :

[willnb10]

Bonjour,

Voila mon contexte:
J'ai un répertoire qui contient de nombreux (~50 000) fichiers textes (au format csv) qui peuvent être conséquents (plus de 500 000 lignes).
Ces fichiers sont mis à jour par l'ajout de nouvelles lignes en fin de fichier.

J'aimerai créer une copie / sauvegarde quotidienne de ce répertoire mais éviter de réécrire l'intégralité du répertoire à chaque fois.
Sachant que tous les fichiers ne sont pas forcément modifiés et que la mise à jour n'est que sur la fin de fichiers et de l'ordre d'une centaine (au plus 1000 lignes).

J'ai déjà regardé du côté de rsync, rdiff-backup, unison mais aucun ne permet véritablement de gagner du temps sur la copie incrémentielle parce que le temps de calcul des différences semble "manger" les avantages de l'incrémentiel.

Avez-vous des techniques / utilitaires à suggérer ?

[Jipété]

Salut,

Avez-vous des techniques / utilitaires à suggérer ?

Dans le monde Windows, à part Robocopy en mode archivage (ne traitera que les fichiers dont le bit "Archive" est monté, et le remettra à zéro ensuite), je ne vois pas trop.

Mais ça devrait le faire.

[chrtophe]

Regardes du coté de deltacopy, version Windows de rsync.

Le principe de rsync est d'être capable de recopier uniquement les blocs modifiés dans un fichier plutôt que le fichier complet entre la source et la destination. Pour cela il fait des checksums des fichiers modifiés sur la source et la destination de façon à savoir quels blocs doivent être transférés, ceci prend du temps. Je penses que le protocole rsync est assez intelligent pour ne faire ce calcul que si ça vaut le coup (sinon il retransfère simplement le fichier)

Pas plus efficace à mon avis. Je ne pense pas que Robocopy fonctionne comme cela, il peut par contre reprendre une copie interrompue, mais transférera l'intégralité des fichiers modifiés (du moins à ma connaissance). Robocopy sera par contre plus efficace pour le respect des méta-données NTFS.

Après, si tu veux juste être en mesure de copier les fichiers nouvellement crée ou modifiés, et que tu t'en fous qu"un fichier modifié soit réécrit entièrement sur la destination n'importe quel utilitaire de synchronisation répondra au besoin : exemple syncback.