Discussion :

[bmr1900]

Bonsoir, cette question me tracasse l'esprit depuis ce matin.
si on calcule l'entropie d'une source (un vecteur V) et on le trouve inférieur a 1, peut-on l'approcher avec le codage d'huffman??? en effet, si vous remarquer bien dans l'arbre d'huffman la valeur minimal qu'on peut trouver pour codé un individu c'est bien un seul bit, prenons un exemple, supposons qu'on a deux individus dans un vecteur (A et B) et les probabilités sont les suivante:
Pr(A)=0.95
Pr(b)=0.05
alors L'entropie H de ce vecteur est égale à
H=-0.95log2(0.95)-0.05log2(0.05)=0.2864bit/individu (calculée avec MATLAB )
hors que si on veux coder avec huffman on trouvera directement 1bit/individu
Est-il faut ce que je dis

[Sylvain Togni]

C'est bien ça. En fait parmi tous les codage en nombre entier de bits, Huffman est celui qui s'approche le plus près de l'entropie, sans en général l'atteindre, car c'est une contrainte plus ou moins handicapante en fonction des cas.

Pour s'approcher plus près encore de l'entropie il faut utiliser des techniques tel que le codage arithmétique, qui utilise un nombre non-entier de bits par échantillon, ce qui est bien plus efficace dans des cas extrêmes comme ton exemple.

[bmr1900]

Je te remercie Sylvain Togni, t'a réponse est tellement simple et claire , en fait je réfléchissais sur une méthode qui me permettrai de compresser non par bit/pixel, mais par bit/un groupe de pixels (je travaille sur la compression en bandelettes), et effectivement, le codage arithmétique le permettrait, Merci encore,