Discussion :

[math_infomatique]

Bonjour,

J'aimerai bien comprendre davantage le principe de la méthode maximum d entropie.
D'après une petite recherche sur google j'ai lu plusieurs articles, mais toujours j'ai pas bien compris et j'ai capté plusieurs informations d'une façon désordonnée.

Généralement les distributions des probabilités sont subjectives ou dépendent de l'observateur. et quand nous avons des contraintes on parle de maximum d entropie.
L'entropie est la mesure d'incertitude et elle est maximale quand toutes les probabilités sont égales.

est ce que c'est juste ?? et c'est quoi le rapport de cette méthode avec le seuillage automatique ??

[pseudocode]

Généralement les distributions des probabilités sont subjectives ou dépendent de l'observateur. et quand nous avons des contraintes on parle de maximum d entropie.

subjectives ?

L'entropie est la mesure d'incertitude et elle est maximale quand toutes les probabilités sont égales. est ce que c'est juste ??

Oui.

Une manière plus concrète de voir les choses, c'est que l'entropie nous donne le nombre "idéal" de bits qu'il faut pour encoder l'information.

Pour des images quelconques avec 256 niveaux de gris, c'est 8 bits.

Maintenant, si tes images sont des scans d'articles de journaux, il y a en proportion beaucoup de noir, beaucoup de blanc et plus rarement des gris intermédiaires. On a donc au moins besoin de 1 bit (pour coder noir/blanc) et "un peu plus" pour les niveaux de gris. Ce qui nous donnerait une entropie du genre 1.578 (au hasard), bien loin des 8 bits du cas uniforme.

et c'est quoi le rapport de cette méthode avec le seuillage automatique ??

Quand on seuil, on crée 2 ensembles de valeurs
- E1 = les valeurs inférieurs au seuil
- E2 = les valeurs supérieurs ou égales au seuil

Si le seuil est mal choisi, l'un des deux ensembles contient très peu de pixels différents => son entropie est basse (proche de 0). L'information de toute l'image est presque intégralement contenu dans l'autre ensemble.

Il faut donc trouver le seuil pour lequel l'information est équitablement répartie dans les 2 ensembles => chaque ensemble à une entropie élevée => la somme des 2 entropies est grande (propriété du log)

[math_infomatique]

Bonjour,

Généralement les distributions des probabilités sont subjectives ou dépendent de l'observateur. et quand nous avons des contraintes on parle de maximum d entropie.

subjectives ?

je l'ai lu dans un article!!

L'entropie est la mesure d'incertitude et elle est maximale quand toutes les probabilités sont égales. est ce que c'est juste ??

Oui.

Une manière plus concrète de voir les choses, c'est que l'entropie nous donne le nombre "idéal" de bits qu'il faut pour encoder l'information.

Pour des images quelconques avec 256 niveaux de gris, c'est 8 bits.

Maintenant, si tes images sont des scans d'articles de journaux, il y a en proportion beaucoup de noir, beaucoup de blanc et plus rarement des gris intermédiaires. On a donc au moins besoin de 1 bit (pour coder noir/blanc) et "un peu plus" pour les niveaux de gris. Ce qui nous donnerait une entropie du genre 1.578 (au hasard), bien loin des 8 bits du cas uniforme.

merci pour l'exemple. il rend les choses plus simple.
mais ici on a la probabilité des pixels noirs 45% et blanc 45% et 10% restante pour les niveaux de gris
les probabilités ne sont pas égales donc l'entropie n'est pas maximale n'est ce pas ?

et c'est quoi le rapport de cette méthode avec le seuillage automatique ??

Quand on seuil, on crée 2 ensembles de valeurs
- E1 = les valeurs inférieurs au seuil
- E2 = les valeurs supérieurs ou égales au seuil

Si le seuil est mal choisi, l'un des deux ensembles contient très peu de pixels différents => son entropie est basse (proche de 0). L'information de toute l'image est presque intégralement contenu dans l'autre ensemble.

Il faut donc trouver le seuil pour lequel l'information est équitablement répartie dans les 2 ensembles => chaque ensemble à une entropie élevée => la somme des 2 entropies est grande (propriété du log)

si l'entropie est élevée pour un ensemble ceci veut dire que l'incertitude est élevée
normalement on augmente la certitude non ?
je comprends plus
pourquoi on parle pas de minimum d'entropie

j'ai lu quelque part que: plus un evenement est rare plus le gain d'information obtenu par sa réalisation est grand !!


et pour le logarithme, son utilisation rend additif le gain totale d'information obtenu par la réalisation de plusieurs évènements indépendants.. c'est pour ça on fait une sommation pondérée des informations ?
S(p)=sum(pi ln (1/pi)) = -sum(pi ln (pi))

[pseudocode]

merci pour l'exemple. il rend les choses plus simple.
mais ici on a la probabilité des pixels noirs 45% et blanc 45% et 10% restante pour les niveaux de gris
les probabilités ne sont pas égales donc l'entropie n'est pas maximale n'est ce pas ?

Dans l'absolu, ca ne signifie pas grand chose de parler "d'entropie maximale".

On parle du "maximum d'entropie" par rapport a un ensemble de choix possibles. Pour le seuillage, c'est le 'maximum d'entropie" par rapport au seuil choisi pour segmenter l'image.

si l'entropie est élevée pour un ensemble ceci veut dire que l'incertitude est élevée
normalement on augmente la certitude non ?
je comprends plus
pourquoi on parle pas de minimum d'entropie

entropie élevée dans un ensemble E => incertitude grande de prédire la valeur d'un tirage aléatoire dans E

=> E contient peu de valeurs "rares". Chaque valeur est importante. E est donc un très bon échantillon représentatif de la distribution.

Pour notre seuillage, ca signifie que notre choix de seuil nous donnera une image binaire (donc composée de 0 et 1) qui sera un bon échantillon représentatif de l'image d'origine.

[math_infomatique]

donc concernant le seuillage dans une image
on peut dire :

soit l'image f(x,y) où on represente les niveaux de gris des pixels (x,y)
0 < f(x,y) < 255
h(i) : histogramme

et t = seuil de binarisation

on a la sum pi=1
pi : la probabilité d'occurrence du pixel i

le maximum d entropie essaie de maximiser l'information entre la partie proche à la couleur Noir et la partie proche à la couleur Blanche

comme si on a deux classes une pour les Noirs et une pour les Blancs
on calcule l'entropie pour chaque classe

normalement le seuil choisi doit maximiser ces deux entropie.
c'est à dire ce seuil nous donne la meilleure distribution des pixels dans une image.


c'est ça ?

peut-on trouver d'autre méthode de seuillage automatique basé sur la mesure de l'entropie ?

[pseudocode]

c'est ça ?

Oui, c'est exactement cela.

peut-on trouver d'autre méthode de seuillage automatique basé sur la mesure de l'entropie ?

Le maximum d'entropie est surement la méthode d'entropie la plus répandue.

Une autre consiste a minimiser l'entropie de la différence "image d'origine" vs "image binaire". C'est à dire faire en sorte que la perte d'information soit la moins grande possible.