Algo pour optimiser le stockage de donnéees

Version imprimable

12/10/2009, 10h50
winzzz

Algo pour optimiser le stockage de donnéees

Bonjour,

je ne sais pas à qui demander ça, alors je viens vous voir....

Les supports physiques se dégradant assez vite, je voudrais renforcer la pérennité de stockage de mes données.

Est ce que vous connaissez un algo (ou un programme) qui permette d'encoder avec les données, des bits de détection et surtout d'auto-correction comme cela existe avec certains protocoles de communication?

Le must serait un algo qui tienne compte de la nature physique du support de stockage pour répartir les bits et réduire les risques de perte de données. Un dvd est par exemple sujet aux rayures et en vieillissant il doit certainement se dégrader statistiquement d'une manière qui lui est propre (par bloque de données contigües? par corruption sporadique de bit?)
12/10/2009, 10h54
bacelar

Il y a le RAID et les backups. Cela n'a rien à voir avec de l'algorithmie.
12/10/2009, 11h06
winzzz

Le RAID et les backups permettent de multiplier les copies des données. C'est bien sûr le minimum à faire mais je voulais savoir s'il existe des outils/algo pour améliorer la pérennité du stockage que les données soit stockées sur un ou plusieurs supports.

Je pensais surtout à un algo qui permettent de récupérer des données stockées sur un support qui commence naturellement à se dégrader au bout de x années.
12/10/2009, 11h25
camboui

Outre les solutions hardware toutes faites ou manuelles (genre copie multiples sur diques vraiment pas chers de nos jours), tu voudrais faire ton propre protocole de copie/stockage/recup ?

Perso je ne connais que hamming, qui agit octet par octet.
Il existe sans doute d'autres type de codage agissant par paquet de grande taille, mais je ne connais pas. Pour ma culture ça m'interesserait aussi :D
12/10/2009, 11h32
winzzz

Je fais mes backup en raid 1, pas cher et efficace ... moi aussi c'était juste par curiosité.
12/10/2009, 11h40
camboui

Citation:

Envoyé par winzzz

Le must serait un algo qui tienne compte de la nature physique du support de stockage pour répartir les bits et réduire les risques de perte de données. Un dvd est par exemple sujet aux rayures et en vieillissant il doit certainement se dégrader statistiquement d'une manière qui lui est propre (par bloque de données contigües? par corruption sporadique de bit?)

Par ma petite expérience, j'ai pu constater qu'un DVD-R (ou CD-R) se dégrade globalement de manière assez brutale. Pas sûr qu'un algo puisse récupérer la dégradation de la couche sensible. Cette dégradation est plutôt du genre "large tâche" que "griffe étroite".
12/10/2009, 11h48
winzzz

On pourrait imaginer un algo dont on puisse régler le ratio entre le nombre de bits consacrés aux données à sauvegarder et le nombre de bits consacrés à l'auto-correction.

Si le cout et l'encombrement du stockage sont négligeables par rapport à la valeur des données stockées, un ratio de par exemple, 80/20 nécessiterait 5 fois plus de dvd mais permettrait de sauver les données même sur des supports fortement dégradés.
12/10/2009, 12h02
koala01
Salut,

Des algorithmes qui permettent de récupérer une partie des informations, il en existe énormément, mettant généralement en oeuvre des données "de parité", qui peuvent, simplement, être une comparaison ou exclusif des deux données précédentes.

Cependant, lorsque le support physique de type "DVD" commence à se dégrader, tu ne t'en rend généralement compte que... beaucoup trop tard, lorsqu'il est déjà dégradé au point de ne plus profiter de la parité, parce que, effectivement, la dégradation s'étend sur plus "d'une partie" de la parité.

Ceci dit, les supports plus résistants comme les disques durs externes sont de moins en moins cher (en terme de prix par Mb) et pourraient représenter une alternative:

Tant que tu ne les soumets pas à un champs magnétique important, le seul danger est de l'ordre du moteur qui entraine les plateau et de l'axe qui les soutient... avec une résistance de plusieurs milliers d'heures d'utilisation.

Tu gagnerais sans doute "sur tous les tableaux" à envisager cette alternative aux dvd:
- Du point de vue de l'espace physique occupé par les supports, un disque dur actuel en demande très certainement moins que le nombre de DVD nécessaire pour préserver une quantité de donnée correspondante
- Du point de vue du prix, le prix d'un Mb sur disque dur est, peu ou prou, de 1/5 du prix d'un Mb sur DVD
- Du point de vue de la longévité, enfin, tu peux faire redémarrer un disque dur après plusieurs années sans avoir perdu le moindre byte de donnée
12/10/2009, 12h14
white_tentacle

Il y a quand même un point à prendre en compte aussi. Un dvd-r (ou +r, je ne suis pas sectaire, en tant que media worm (inscriptible une seule fois, lisible plusieurs) permet de faire de l'archivage légal, là où un disque dur, non.
12/10/2009, 12h23
koala01

Citation:

Envoyé par white_tentacle

Il y a quand même un point à prendre en compte aussi. Un dvd-r (ou +r, je ne suis pas sectaire, en tant que media worm (inscriptible une seule fois, lisible plusieurs) permet de faire de l'archivage légal, là où un disque dur, non.

Ah, ca, je ne savais pas...

Le problème, me semble-t-il, c'est que les archives légales doivent être maintenue 10 ans, non:question:

Comment être sur qu'un DVD, même s'il est correctement entreposé et n'est pas manipulé tiendra autant de temps :question:

Entre le froid, la lumière, la chaleur et l'humidité, il y a suffisamment de risques de le voir se détériorer bien avant ce délais :P
12/10/2009, 12h36
winzzz

koala01, tu as entièrement raison par rapport au choix de support. J'ai pris le DVD comme exemple car c'est un support particulièrement fragile. Même si un disque dur est plus fiable qu'un dvd, il ne sera jamais, lui non plus, totalement fiable.
Ta réponse est évidement économiquement rationnelle mais j'insiste par curiosité : Ma question portait sur la manière d'agencer et de sécuriser les données d'une point de vue algorithmique avant de les écrire sur un support quelconque. pas sur les méthodes pour récupérer ce que l'on peut une fois que le mal est fait.

white_tentacle, peux tu développer? Est que tu veux dire qu'un stockage sur dd n'est juridiquement pas légal alors qu'il l'est sur un dvd?
12/10/2009, 12h52
koala01

Citation:

Envoyé par winzzz

koala01, tu as entièrement raison par rapport au choix de support. J'ai pris le DVD comme exemple car c'est un support particulièrement fragile. Même si un disque dur est plus fiable qu'un dvd, il ne sera jamais, lui non plus, totalement fiable.
Ta réponse est évidement économiquement rationnelle mais j'insiste par curiosité : Ma question portait sur la manière d'agencer et de sécuriser les données d'une point de vue algorithmique avant de les écrire sur un support quelconque. pas sur les méthodes pour récupérer ce que l'on peut une fois que le mal est fait.

Au temps pour moi...

Ben, l'algorithme le "plus simple" est sans doute le meilleur...

Tu lis deux données de même taille (deux fois un byte :question:... c'est peut etre excessif) tu les écris, et tu ajoute une troisième donnée de même taille qui est... le ou exclusif des deux données lues...

Tu te retrouve, fatalement, avec des donnée 1.5 fois plus importantes, mais, tu es alors en mesure de vérifier et de récupérer une donnée détériorée si les deux autres sont restées intactes: il te *suffit* de refaire un ou exclusif sur les deux données intactes pour récupérer la donnée détériorée ;)

Citation:

white_tentacle, peux tu développer? Est que tu veux dire qu'un stockage sur dd n'est juridiquement pas légal alors qu'il l'est sur un dvd?

Oui, c'est bien comme cela que je l'ai compris, et, à la réflexion, c'est tout à fait logique...

Si tu fais du stockage sur dd, rien ne t'empêche de rebrancher le dd "en stoumelings" et d'aller y modifier les données, alors que, sur DVD (CD / blue ray, ne soyons pas sectaires), cela t'est impossible ;)
12/10/2009, 13h37
camboui

Surprenant. L'archivage sur bande magnétique est légal depuis longtemps, et c'est réinscriptible.
12/10/2009, 14h07
Mac LAK
Pour ce genre de choses, j'apprécie particulièrement d'utiliser QuickPar, avec les points suivants :
- Nombre de blocs de récupération "énorme",
- Taille des volumes le plus petit possible (=les plus nombreux possible).
Ainsi, même si plusieurs fichiers sont illisibles, il est presque systématiquement possible de récupérer l'intégralité des données, tant que le support physique n'est pas totalement détruit.

Après, tout passe par une bonne gestion des sauvegardes et de la duplication des données, mais au moins, tu évites les erreurs ponctuelles sur un fichier (ou pire, un bout de fichier !).

Essaie sur un fichier quelconque chez toi, amuses-toi à supprimer des fichiers de l'archive au hasard et/ou à les endommager, tu verras que c'est assez impressionnant comme capacité de récupération.
12/10/2009, 14h19
winzzz

Citation:

Surprenant. L'archivage sur bande magnétique est légal depuis longtemps, et c'est réinscriptible.

camboui : il n'y avait peut être pas d'alternative à l'époque ... à part les cartes perforées.

Merci koala01 & Mac LAK, vous m'avez donné les solutions algorithmiques ET logicielles que je cherchais, merci bcp!
12/10/2009, 14h23
white_tentacle

Citation:

Envoyé par camboui

Surprenant. L'archivage sur bande magnétique est légal depuis longtemps, et c'est réinscriptible.

Je pense que tu confonds archivage et sauvegarde.
12/10/2009, 16h01
Médinoc
@white_tentacle: J'allais le dire, je pense que vous ne parlez pas de la même légalité.
- white_tentacle: Une archive sur DVD peut avoir une valeur légale, servir de preuve de quelque chose.
- Les autres: Oui, on a le droit de mettre des trucs sur DVD.