Copie disque à disque. Quelle est la meilleur manière ?

olive_le_malin · 15/02/2006, 11h06

Bonjour,
je dois pouvoir archiver des disques de grande capacité (ex : 250 Go) à partir d'un disque principal de travail.
On a un disque de travail 250 Go, et plusieurs disques d'archivage de 250 Go chacun.

Quelle est la manière la plus performante de réaliser l'archivage ?

@+

trattos · 15/02/2006, 11h11

Tu peux utiliser une configuration RAID (1, 0+1, 5) ou un système de sauvegarde automatique qui copie tes données sur un autre disque.
Combien de disques durs as tu?

olive_le_malin · 15/02/2006, 11h29

entre 2 et 4

olive_le_malin · 15/02/2006, 11h32

mais quel systeme de sauvegarde automatique pourrait être le + optimisé possible ?

trattos · 15/02/2006, 12h42

Le RAID n'est pas un système de sauvegarde mai sun système de tolérance de panne, tes données sont inscrites sur plusieurs disques durs mais lu uniquement sur un seul, si un disque tombe en panne, les autres prennent le relai en quelque sorte.
La sauvegarde consistera à créer une image de tes données à un instant "t" sur un autre support (disqur dur, bande magnétique, DVD, ...).
Si tu as Entre Plus de 2 disques durs tu peux utiliser une configuration en RAID 5.

gangsoleil · 15/02/2006, 14h10

Bonjour,

Citation:

Envoyé par trattos

Le RAID n'est pas un système de sauvegarde mai sun système de tolérance de panne

Les systèmes de RAID peuvent soit être des systèmes de sauvegarde, soit des systèmes de tolérance, soit les deux.
Le différents systèmes de RAID sont décrits ici : http://teamlog.developpez.com/raid/

olive_le_malin · 15/02/2006, 14h39

bonjour,
je ne vois pas comment un RAID 5 peut m'assurer une gestion d'archivage ...
Je vais être un peu plus précis.

J'ai des données qui sont écrites sur un disque (espace de travail), et qui doivent être automatiquement archivées, par exemple tous les mois, vers d'autres disques (espace d'archivage).

lakitrid · 15/02/2006, 14h55

Typiquement tu peux utiliser un système en Raid 5 pour ton système d'archivage. Ainsi tu utilise un PC pour réaliser l'archivage et qui permet d'avoir un système en Raid 5 (que ce soit en SCSI, ou en SATA).

1 tu améliore les performances, puisque le Raid 5 est légérement plus rapide en lecture / écriture
2 tu améliore la sécurité des données archivés puisque le Raid 5 améliore la tolérance aux pannes.

Pour résumé le Raid 5 :
il faut un minimum de 3 disque dur de taille identique (et de même marque si possible)
il faut bien sûr un contrôleur adéquat (de plus en plus présent avec les contrôleur SATA)
Le but du Raid 5 est de répartir les données sur N-1 disque et des données de contrôle sur le dernier disque. Attention les données et les données de contrôle sont répartis sur tous les disques aléatoirement.
Ainsi si l'un des disque tombent en panne, il suffit de changer le disque dur en panne, après le contrôleur sera capable de reconstruire les données perdu soit à partir des données de contrôle soit en recalculant les données de contrôle.

trattos · 15/02/2006, 15h23

Citation:

Envoyé par gangsoleil

Les systèmes de RAID peuvent soit être des systèmes de sauvegarde, soit des systèmes de tolérance, soit les deux.

Il y a quand même un grande différence entre effectuer une sauvegarde sur media amovible ou externalisé et un système de tolérance de panne quand même. Si ton bureau prend feu? Adieu les données, donc ce n'est pas de la sauvegarde mais de la tolérance au panne des disques durs.

Citation:

J'ai des données qui sont écrites sur un disque (espace de travail), et qui doivent être automatiquement archivées, par exemple tous les mois, vers d'autres disques (espace d'archivage).

Munis toi d'un logiciel de sauvegarde (il y en a plein), et programme le pour effectuer une sauvegarde de tes données vers le média de ton choix. Ce n'est vraiment pas compliqué.

bakaneko · 15/02/2006, 15h25

Citation:

Envoyé par trattos

Citation:

Envoyé par gangsoleil

Les systèmes de RAID peuvent soit être des systèmes de sauvegarde, soit des systèmes de tolérance, soit les deux.

Il y a quand même un grande différence entre effectuer une sauvegarde sur media amovible ou externalisé et un système de tolérance de panne quand même. Si ton bureau prend feu? Adieu les données, donc ce n'est pas de la sauvegarde mais de la tolérance au panne des disques durs.

Si c'est pour faire de la sauvegarde pure et dure, c'est lecteur de bandes avec coffre-fort parre-feu pour les stocker

gangsoleil · 15/02/2006, 15h28

Citation:

Envoyé par trattos

Citation:

Envoyé par gangsoleil

Les systèmes de RAID peuvent soit être des systèmes de sauvegarde, soit des systèmes de tolérance, soit les deux.

Il y a quand même un grande différence entre effectuer une sauvegarde sur media amovible ou externalisé et un système de tolérance de panne quand même. Si ton bureau prend feu? Adieu les données, donc ce n'est pas de la sauvegarde mais de la tolérance au panne des disques durs.

Une copie exacte, sur un disque dur physique différent, moi j'appelle ca une sauvegarde.

Après, cela n'empèche absolument pas de faire des sauvegardes sur bandes, et de stocker celles-ci dans un coffre ignifugé par exemple.

Cela dépend beaucoup de ce que l'on veut ; la question initiale demandait comment faire de l'archivage...

Après afinement de la question, je pense que la solution, c'est de mettre un peu de raid pour la tolérance aux pannes physiques de disques durs, et en plus un système de sauvegarde sur bandes, en prenant soin de conserver celles-ci dans un lieu différent.

olive_le_malin · 15/02/2006, 18h26

bonjour,
et quel sont les logiciels de sauvegarde que vous préconisez ?
Sont-ils plus efficace qu'un simple batch de copie ?

@+

Louis-Guillaume Morand · 15/02/2006, 22h16

Citation:

Envoyé par olive_le_malin

bonjour,
et quel sont les logiciels de sauvegarde que vous préconisez ?
Sont-ils plus efficace qu'un simple batch de copie ?

@+

au que oui!!!!
les stratégies de copie, les maj, pas de copie inutiles etc, sont d'autant de fonctionnalités que ton batch ne peut pas faire.

prend un dd de 250Go, modifie 10 fichiers dans 10 repertoires. un batch, t'effacera tout l'ancien disque de sauvegarde (5minutes) et copiera (plusieurs heures)

un logiciel de backup prendra alors seulement les différences ==> quelques minutes ou secondes.

pour une utilisation perso, j'utilise SyncbackSE mais il existe une multitude de logiciels pros. ca s'appelle d'ailleurs des agents de recuperation ou de sauvegarde. mais ils sont bien plus chers et sont destinés à etre installé sur des serveurs avec des grosses stratégies à appliquer.

ggnore · 15/02/2006, 23h03

En ce qui concerne le support physique de sauvegarde, j'utilise aujourd'hui des cassettes.
Mais pourquoi ne pas tout simplement utiliser des disques durs usb ?
A t on véritablement besoin de garder 36 versions de la même chose ?

olive_le_malin · 15/02/2006, 23h16

Bonjour,

voilà comment tout doit se passer :

1/ une application principale ne sait écrire des données que sur un disque, archive0 (ce sont des enregistrements audios, qu'il faudra garder par exemple 2 mois, puis devoir les supprimer)

2/ Au bout d'un moment (par exemple 3 semaines) le disque archive0 sera plein ...

3/ C'est là qu'il faut trouver le mécanisme le plus performant pour archiver le disque archive0 vers un autre disque, archive1. Il peut exister plusieurs disques d'archivage. De cette manière archive0 est re-devenu vide, et on peut à nouveau y écrire dessus.

4/ Il faut supprimer les enregistrements vieux de plus de 2 mois. (Une base de données repertoriant les horodatages des enregistrements existe. Il suffit donc de la parcourir pour retrouver les enregistrements à supprimer.)

5/ Au moment de faire l'archivage de archive0, il faut disposer d'un disque d'archivage vide, donc l'avoir formaté avant.

voilà,
@+

olive_le_malin · 16/02/2006, 18h20

ggnore · 16/02/2006, 18h49

Ton message précédent avec 1) 2) 3) ... est intéressant.

Tu as énoncé les cas spéciaux, maintenant il faut que tu fasses l'algorithme.

ça m'étonnerait que le RAID puisse vraiment t'aider dans ta procédure très spéciale.

Dans tous les cas, il faut que tu nous montres ce que tu as tenté de faire, que tu nous expliques avec quel outil, et où ça bloque. N'hésite pas à citer des documents ou des sources.

Quoi qu'il en soit ne t'attend pas à ce que quelqu'un ponde la solution pour toi

Bon courage.

olive_le_malin · 16/02/2006, 19h57

Ben je veux sutout pas qu'on ponde la solution pour moi !
Bien sûr que c'est moi et moi seul qui développerait l'algo à utiliser, le code C, les requêtes réseau ...

mais par contre ce que je ne sais pas c'est :
- s'il existe des différences de performance entre copier un répertoire d'un disque vers un autre de manière classique, ou en faisant un "ghost" de disque (cluster à cluster) ?
- avec quel utilitaire ?
- quel est le meilleur systeme de fichier à utiliser (FAT32 ou NTFS) ?
- Y a-t-il un OS plus performant ?
- quel est le meilleur format de disque (SCSI, SATA ...) ?
- Vaut-il mieux une baie de stockage type NAS ?
- quel est le dimensionnement recommandé. Trouver un compromis entre perf et capacité ?

Ce sont autant de questions en suspend qui m'aideront à bâtir mon developpement complet.

@+

ggnore · 16/02/2006, 20h39

Citation:

- quel est le meilleur systeme de fichier à utiliser (FAT32 ou NTFS) ?

La NTFS contient une notion de droits utilisateur ce qui à priori importe peu dans ton problème.
http://fr.wikipedia.org/wiki/New_Technology_File_System
http://fr.wikipedia.org/wiki/Fat
Si tu envisages de changer d'OS, tu dois aussi considérer les systèmes de fichiers de linux.
http://fr.wikipedia.org/wiki/Fat

Citation:

- Y a-t-il un OS plus performant ?

Je ne crois pas que cela rentre en ligne de compte. Il est possible d'effectuer ce que tu veux avec windows ou linux (et même d'autres

).
Ce débat est stérile et mène à l'arrivée de hordes de trolls.

Citation:

- quel est le meilleur format de disque (SCSI, SATA ...) ?

http://fr.wikipedia.org/wiki/Serial_ATA
http://fr.wikipedia.org/wiki/SCSI
Mis à part ça, je ne saurais pas dire.

As tu carte blanche, tu disposes d'un budget illimité ?
250 Go ne nécessitent pas, à mon avis, de baie de stockage type NAS.

olive_le_malin · 17/02/2006, 08h54

Merci pour ces réponses
Concernant le budget, disons que c'est le client qui le paye, car c'est une fonctionnalité qui interveint dans un projet + global.
A lui de dire s'il va prendre des disques + chers, ou une baie + chère ...

@+

15/02/2006, 11h06	#1
olive_le_malin Membre confirmé Inscription : juin 2002 Messages : 577 Détails du profil Informations forums : Inscription : juin 2002 Messages : 577 Points : 207 Points : 207	Copie disque à disque. Quelle est la meilleur manière ? Bonjour, je dois pouvoir archiver des disques de grande capacité (ex : 250 Go) à partir d'un disque principal de travail. On a un disque de travail 250 Go, et plusieurs disques d'archivage de 250 Go chacun. Quelle est la manière la plus performante de réaliser l'archivage ? @+
	00

15/02/2006, 23h03	#14
ggnore Modérateur Inscription : juillet 2004 Messages : 2 245 Détails du profil Informations personnelles : Âge : 33 Informations forums : Inscription : juillet 2004 Messages : 2 245 Points : 1 902 Points : 1 902	En ce qui concerne le support physique de sauvegarde, j'utilise aujourd'hui des cassettes. Mais pourquoi ne pas tout simplement utiliser des disques durs usb ? A t on véritablement besoin de garder 36 versions de la même chose ? __________________ Toutes les vertus des hommes se perdent dans l’intérêt comme les fleuves se perdent dans la mer.
	00

16/02/2006, 18h49	#17
ggnore Modérateur Inscription : juillet 2004 Messages : 2 245 Détails du profil Informations personnelles : Âge : 33 Informations forums : Inscription : juillet 2004 Messages : 2 245 Points : 1 902 Points : 1 902	Ton message précédent avec 1) 2) 3) ... est intéressant. Tu as énoncé les cas spéciaux, maintenant il faut que tu fasses l'algorithme. ça m'étonnerait que le RAID puisse vraiment t'aider dans ta procédure très spéciale. Dans tous les cas, il faut que tu nous montres ce que tu as tenté de faire, que tu nous expliques avec quel outil, et où ça bloque. N'hésite pas à citer des documents ou des sources. Quoi qu'il en soit ne t'attend pas à ce que quelqu'un ponde la solution pour toi Bon courage. __________________ Toutes les vertus des hommes se perdent dans l’intérêt comme les fleuves se perdent dans la mer.
	00

15/02/2006, 11h11	#2
trattos Membre Expert Inscription : juillet 2003 Messages : 1 005 Détails du profil Informations personnelles : Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur) Informations forums : Inscription : juillet 2003 Messages : 1 005 Points : 1 023 Points : 1 023	Tu peux utiliser une configuration RAID (1, 0+1, 5) ou un système de sauvegarde automatique qui copie tes données sur un autre disque. Combien de disques durs as tu?
	00

15/02/2006, 11h29	#3
olive_le_malin Membre confirmé Inscription : juin 2002 Messages : 577 Détails du profil Informations forums : Inscription : juin 2002 Messages : 577 Points : 207 Points : 207	entre 2 et 4
	00

15/02/2006, 11h32	#4
olive_le_malin Membre confirmé Inscription : juin 2002 Messages : 577 Détails du profil Informations forums : Inscription : juin 2002 Messages : 577 Points : 207 Points : 207	mais quel systeme de sauvegarde automatique pourrait être le + optimisé possible ?
	00

15/02/2006, 12h42	#5
trattos Membre Expert Inscription : juillet 2003 Messages : 1 005 Détails du profil Informations personnelles : Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur) Informations forums : Inscription : juillet 2003 Messages : 1 005 Points : 1 023 Points : 1 023	Le RAID n'est pas un système de sauvegarde mai sun système de tolérance de panne, tes données sont inscrites sur plusieurs disques durs mais lu uniquement sur un seul, si un disque tombe en panne, les autres prennent le relai en quelque sorte. La sauvegarde consistera à créer une image de tes données à un instant "t" sur un autre support (disqur dur, bande magnétique, DVD, ...). Si tu as Entre Plus de 2 disques durs tu peux utiliser une configuration en RAID 5.
	00

15/02/2006, 14h39	#7
olive_le_malin Membre confirmé Inscription : juin 2002 Messages : 577 Détails du profil Informations forums : Inscription : juin 2002 Messages : 577 Points : 207 Points : 207	bonjour, je ne vois pas comment un RAID 5 peut m'assurer une gestion d'archivage ... Je vais être un peu plus précis. J'ai des données qui sont écrites sur un disque (espace de travail), et qui doivent être automatiquement archivées, par exemple tous les mois, vers d'autres disques (espace d'archivage).
	00

15/02/2006, 14h55	#8
lakitrid Membre Expert Inscription : décembre 2005 Messages : 1 542 Détails du profil Informations personnelles : Âge : 29 Informations forums : Inscription : décembre 2005 Messages : 1 542 Points : 1 530 Points : 1 530	Typiquement tu peux utiliser un système en Raid 5 pour ton système d'archivage. Ainsi tu utilise un PC pour réaliser l'archivage et qui permet d'avoir un système en Raid 5 (que ce soit en SCSI, ou en SATA). 1 tu améliore les performances, puisque le Raid 5 est légérement plus rapide en lecture / écriture 2 tu améliore la sécurité des données archivés puisque le Raid 5 améliore la tolérance aux pannes. Pour résumé le Raid 5 : il faut un minimum de 3 disque dur de taille identique (et de même marque si possible) il faut bien sûr un contrôleur adéquat (de plus en plus présent avec les contrôleur SATA) Le but du Raid 5 est de répartir les données sur N-1 disque et des données de contrôle sur le dernier disque. Attention les données et les données de contrôle sont répartis sur tous les disques aléatoirement. Ainsi si l'un des disque tombent en panne, il suffit de changer le disque dur en panne, après le contrôleur sera capable de reconstruire les données perdu soit à partir des données de contrôle soit en recalculant les données de contrôle.
	00

15/02/2006, 18h26	#12
olive_le_malin Membre confirmé Inscription : juin 2002 Messages : 577 Détails du profil Informations forums : Inscription : juin 2002 Messages : 577 Points : 207 Points : 207	bonjour, et quel sont les logiciels de sauvegarde que vous préconisez ? Sont-ils plus efficace qu'un simple batch de copie ? @+
	00

15/02/2006, 23h16	#15
olive_le_malin Membre confirmé Inscription : juin 2002 Messages : 577 Détails du profil Informations forums : Inscription : juin 2002 Messages : 577 Points : 207 Points : 207	Bonjour, voilà comment tout doit se passer : 1/ une application principale ne sait écrire des données que sur un disque, archive0 (ce sont des enregistrements audios, qu'il faudra garder par exemple 2 mois, puis devoir les supprimer) 2/ Au bout d'un moment (par exemple 3 semaines) le disque archive0 sera plein ... 3/ C'est là qu'il faut trouver le mécanisme le plus performant pour archiver le disque archive0 vers un autre disque, archive1. Il peut exister plusieurs disques d'archivage. De cette manière archive0 est re-devenu vide, et on peut à nouveau y écrire dessus. 4/ Il faut supprimer les enregistrements vieux de plus de 2 mois. (Une base de données repertoriant les horodatages des enregistrements existe. Il suffit donc de la parcourir pour retrouver les enregistrements à supprimer.) 5/ Au moment de faire l'archivage de archive0, il faut disposer d'un disque d'archivage vide, donc l'avoir formaté avant. voilà, @+
	00

16/02/2006, 18h20	#16
olive_le_malin Membre confirmé Inscription : juin 2002 Messages : 577 Détails du profil Informations forums : Inscription : juin 2002 Messages : 577 Points : 207 Points : 207
	00

16/02/2006, 19h57	#18
olive_le_malin Membre confirmé Inscription : juin 2002 Messages : 577 Détails du profil Informations forums : Inscription : juin 2002 Messages : 577 Points : 207 Points : 207	Ben je veux sutout pas qu'on ponde la solution pour moi ! Bien sûr que c'est moi et moi seul qui développerait l'algo à utiliser, le code C, les requêtes réseau ... mais par contre ce que je ne sais pas c'est : - s'il existe des différences de performance entre copier un répertoire d'un disque vers un autre de manière classique, ou en faisant un "ghost" de disque (cluster à cluster) ? - avec quel utilitaire ? - quel est le meilleur systeme de fichier à utiliser (FAT32 ou NTFS) ? - Y a-t-il un OS plus performant ? - quel est le meilleur format de disque (SCSI, SATA ...) ? - Vaut-il mieux une baie de stockage type NAS ? - quel est le dimensionnement recommandé. Trouver un compromis entre perf et capacité ? Ce sont autant de questions en suspend qui m'aideront à bâtir mon developpement complet. @+
	00

17/02/2006, 08h54	#20
olive_le_malin Membre confirmé Inscription : juin 2002 Messages : 577 Détails du profil Informations forums : Inscription : juin 2002 Messages : 577 Points : 207 Points : 207	Merci pour ces réponses Concernant le budget, disons que c'est le client qui le paye, car c'est une fonctionnalité qui interveint dans un projet + global. A lui de dire s'il va prendre des disques + chers, ou une baie + chère ... @+
	00

Outils de la discussion
Afficher une version imprimable Envoyer un lien vers cette page par email