Discussion :

[corentin59]

Bonjour

voici mon problème. J'ai une variable aléatoire discrete X pouvant prendre n valeurs. Je connais les probabilités p(X|A) (ie n valeurs positives dont la sommes est un) où A est un évènement.

Cet évènement A peut être découpé en m sous-évènements Ai, i=1...m. Je connais aussi les distributions p(X|Ai) (toujours n valeurs...). Considérer un sous-évènement Ai au lieu de l'évènement A peut apporter quelque chose ou alors ne servir à rien (l'information apportée par Ai est la même que celle apportée par A).

Ma question est la suivante : je voudrais faire des regroupements de sous-évènements en mettant ensemble ceux qui n'apportent rien par rapport au cas général et en ne gardant que ceux qui peuvent apporter quelquechose. Pour faire ce regroupement, j'ai pensé à me baser sur l'information mutuelle mais je ne sais pas comment l'utiliser dans ce cas.

Merci de vos lumières

[Zavonen]

Je ne peux que te conseiller de consulter les bases de la théorie de l'information de Shannon (c'était autrefois ma spécialité).
Il faut connaître les notions suivantes:
Quantité d'information apportée par la réalisation d'un évènement.
Quantité d'info (moyenne) apportée par une v.a.
Quantité d'info supplémentaire apportée par la réalisation de B sachant que A est réalisée.
Cela dit, si un An n'est pas A j'ai du mal à concevoir une situation où l'information apportée par A est la même que celle apportée par An.

[corentin59]

Merci pour votre réponse.

Cela dit, si un An n'est pas A j'ai du mal à concevoir une situation où l'information apportée par A est la même que celle apportée par An.

En fait, je me suis mal exprimé. Les sous-évènements Ai sont des versions beaucoup plus détaillées de l'évènement A. Or, si je peux estimer p(X|A) sur mes données, l'estimation des p(X|Ai) est plus délicate car les données sont beaucoup moins nombreuses pour chacun des Ai (il y en a plus de 1000). L'estimation de p(X|Ai) se fait donc par adaptation bayésienne à partir de p(X|A). Dans le cas où le nombre de données pour un Ai est trop faible, il n'y a alors pratiquement pas de différences entre p(X|Ai) et p(X|A). Mon problème est donc de quantifier cette notion de "pratiquement pas de différences" entre deux distributions discrètes afin de regrouper les sous-évènements proches de p(X|A) selon ce critère.

[Zavonen]

Je connais les probabilités p(X|A) (ie n valeurs positives dont la sommes est un) où A est un évènement.

Il y a un problème de langage, de notations.
P(X|A) est reservé à la probabilité de l'évènement X sachant l'évènement A réalisé (formule classique).
Ce que tu connais, compte tenu des précisions que tu apportes, c'est LA LOI DE LA RESTRICTION DE X à A.
Excuse moi d'être un peu formaliste mais le langage (en particulier scientifique) a été inventé pour qu'on se comprenne.
Donc ta fonction X peut prendre n valeurs X1, X2, X3,.....,Xn et cela A PRIORI sur chacune des parties A de l'univers U considéré.
Cela dit il peut arriver que sur une partie A particulière X ne prenne qu'une seule valeur, dans ce cas l'information apportée par X sachant l'évènement A réalisé est nulle, à l'inverse il peut arriver que sur A toutes les n valeurs soient également (avec la même probabilité) possibles, dans ce cas l'information apportée par X sachant A est log2(n) (mesure de Shannon) et ce sont là les deux cas extrêmes.
Tu peux, par exemple consulter le Wiki, pour un rappel des formules de la quantité d'info apportée par une v.a., si tu ne trouves pas ou si tu ne comprends pas bien je t'apporterai des précisions.
Tu peux donc faire les calculs:
I(X|A) Information apportée par X sachant A réalisé

I(X|A) se calcule comme suit:
Appelons Ai le sous-ensemble de A formé des éléments dont le X est Xi.
la formule est:
somme pour i=1 à n de log2(1/P(Ai))*P(Ai)
Notons bien que les Ai ici ne sont pas les tiens mais je ne sais pas comment les nommer.
C'est une formule générale.
Tu peux donc faire ce calcul pour chaque évènement A et pour chacun de ses sous-évènements Aj (les tiens cette fois).
Tu as donc une mesure quantitative à partir de laquelle tu peux faire des regroupements, comme bon te semble.

[corentin59]

Merci pour cette réponse.

Appelons Ai le sous-ensemble de A formé des éléments dont le X est Xi.
la formule est:
somme pour i=1 à n de log2(1/P(Ai))*P(Ai)
Notons bien que les Ai ici ne sont pas les tiens mais je ne sais pas comment les nommer.

Est-ce que, dans la formule, ce que vous notez P(Ai) correspond à P(X=Xi|A) ? si c'est non, je ne comprend pas ce qu'est P(Ai) ?

[Zavonen]

Est-ce que, dans la formule, ce que vous notez P(Ai) correspond à P(X=Xi|A) ? si c'est non, je ne comprend pas ce qu'est P(Ai) ?

Non c'est P((X=Xi)interA), l'un découle de l'autre par la formule usuelle impliquant P(A)

[pseudocode]

Mon problème est donc de quantifier cette notion de "pratiquement pas de différences" entre deux distributions discrètes afin de regrouper les sous-évènements proches de p(X|A) selon ce critère.

C'est pas tout simplement l'information mutuelle ?