Discussion :

[Tuxico]

Bonjour,

je ne savais pas trop ou poster ce message qui est à caractère physique et non informatique mais comme je sais que parmis vous il y pas mal de matheux et de phyisiciens je me suis dit...

alors voilà

prenons par exemple, une source sans mémoire qui émet un message imparfaitement avec pour cause du bruit durant la transmission .
Prenons la relation suivante :

0 <= h(x/y) <= h(x)

L'égalité entre 0 et h(x/y) à normalement lieu dans le cas ou les deux variables x et y sont totalement indépendantes si je ne me trompe pas .
Pour l'égalité entre h(x/y) et h(x), je peux dire par la formule suivante : h(y/x) <= h(x) que l'information h(x/y) est celle relative à X, Y étant supposé connu . Le fait de connaitre Y impose une diminution de la quantité d'information dans le choix de X je dirai donc l'égalité se rencontre de nouveau ssi X et Y sont indépendants .

D'où ma question (enfin ) :

Dans le cas où les 2 variables X et Y sont effectivement idépendantes on aurait donc :

0 = h(x/y) mais aussi
0 = H(X) et donc
une entropie nulle dans la transmission de X?

[progfou]

Pour pouvoir répondre, il faudrait que tu précises tes notations (à moins que d'autres n'y arrivent).
h(x/y), c'est quoi ? La probabilité de x sachant y ?
H(x) c'est l'entropie ?

Si tu me dis ça, je relis .
Je ne suis pas spécialiste, mais je crois comprendre ton soucis

[Tuxico]

h(X/Y) c'est la probabilité conditionelle de X sachant Y .
h(X) en effet c'est l'entropie donc H = I/n ou (I = l'information = n . log m pour un message de n éléments avec m symboles de départ)

merci

[Matthieu Brucher]

h(X/Y), c'est l'entropie conditionnelle, tu veux dire, non ?
J'aurai plutôt dit que h(X)=h(X/Y) si X et Y sont indépendants, comme pour la probabilité - comme l'entropie est calculée selon les probas... - et h(X/Y) = 0 si X = Y

[Tuxico]

Miles: oui conditionelle, je l'ai rajouté par après
En effet, ca me parait logique donc si X=Y ou forcément si le message à été transmis donc l'information s'annule et l'entropie aussi .
j'hésitai donc je me suis dit autant demander

merci.