Discussion :

[cquilgars]

Bonjour,

Ma problématique est la suivante : ma future architecture logicielle doit collecter plusieurs milliers de fichiers par jour au fil de l'eau.
Je désire mettre en place une solution qui permettre de s'assurer qu'un fichier est collecté pour la 1ère fois (à la connaissance d'un historique de 7J).
Dans le cas d'une collecte répétée sur un fichier, mes contraintes sont les suivantes :

1. La conservation du nom du fichier n'est pas garantie
2. La structure du contenu n'est ni déterminée ni constante
3. Le contenu est évidemment identique !

J'ai pensé à exploiter le CRC (Contrôle de redondance cyclique) comme clé d'unicité. Ce CRC peut être obtenu sous UNIX ou LINUX par la commande suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cksum fichier

Je me suis documenté sur la sujet pour répondre à la question suivante : Est-ce que la probabilité d'obtenir un CRC identique sur deux fichiers différents est nulle ? Dans la cas contraire, est-elle infinitésimale ?

Je n'ai pas trouvé de réponse précise. Avez-vous un avis ?

Merci de vos réponses

Christophe

[khayyam90]

bien le bonjour,

un CRC est plus petit (en nombre de bits utilisés) que le fichier qu'il représente. Sauf dans le cas des fichiers d'à peine quelques octets. Le CRC est donc une application surjective de l'ensemble des fichiers dans l'ensemble des fichiers de 32 bits. (bien qu'on puisse aussi calculer un CRC plus grand).

Donc, cet argument seul permet de dire que plusieurs fichiers peuvent avoir le même CRC. Mais la probabilité est très faible.

Ce que tu cherches à obtenir est une empreinte d'un fichier, un hash. Le CRC est un moyen. Tu peux aussi prendre un hash md5 ou sha1.
Un hash md5 ou sha1 se fait sur plus de bits qu'un simple CRC, c'est donc logiquement encore plus unique.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

md5sum fichier

[cquilgars]

un CRC est plus petit (en nombre de bits utilisés) que le fichier qu'il représente. .../... Le CRC est donc une application surjective de l'ensemble des fichiers dans l'ensemble des fichiers de 32 bits.

Je te remercie pour cette remarque. Elle a le mérite de me faire garder les pieds sur terre : le fichier lui-même est la seule clé d'unicité absolue... (ou un CRC de sa taille !!)

Donc, cet argument seul permet de dire que plusieurs fichiers peuvent avoir le même CRC. Mais la probabilité est très faible.

As-tu une idée de cette probabilité ?

[khayyam90]

As-tu une idée de cette probabilité ?

mmm ... je dirais 2^32 / 2^taille du fichier en bits

[Matthieu Brucher]

La probabilité que plusieurs fichiers (2^32) aient le même CRC est de 1.
La probabilité que 2 fichiers aient le même CRC sous l'hypothèse que les code CRC sont répartis équitablement est de 1/2^32, à mon avis.

[cquilgars]

mmm ... je dirais 2^32 / 2^taille du fichier en bits

La probabilité que plusieurs fichiers aient le même CRC si les fichiers ont une taille supérieure à 32bits est de 1.

Actuellement, j'ai logge le CRC (obtenu par cksum) sur 30000 fichiers. Ils sont tous uniques. Les fichiers ont une taille moyenne de 2Mo (avec des pointes à 40Mo).

je ne suis pas sûr de vos propositions (auquel je n'étais pas foutu d'arriver !)
Dois-je jouer au loto ce soir ?!