Discussion :

[daurey68]

Bonjour,

je suis en stage pour mon projet de fin d'étude. Les données que je dois traiter sont des courbes dont l'équation est inconue et qui doivent être décomposer en une combinaison linéaire de gaussienne.

J'ai tout d'abord essayé de coder moi-même la méthode d'expectation-maximization mais elle ne fonctionne pas.

[pseudocode]

L'algo EM sert à déterminer les paramètres d'une loi de probabilité connaissant des valeurs prises par une variable aléatoire. L'histogramme gris représenté en fond d'image n'est pas la "valeur" des données d'entrée mais leur distribution.

L'algo EM ne sert pas à faire de l'ajustement de courbe (trouver les parametres d'une courbe en connaissant des "points de passages"). Pour cela, il faut plutot voir des algorithmes de curve fitting

[daurey68]

Merci pour cette précision sur la distribution des probabilités.
L'erreur dans le graphique doit donc provenir du fait que j'ai affiché les valeurs obtenues et non la probabilité d'obtenir une certain valeur.

Cependant, cette méthode est celle que je dois utiliser pour traiter ma courbe :
"To estimate the numbers and characterics of the echoes in the waveforms, Gaussians distribution functions are fitted to the siganl. The waveforms are modelled as a sum of Gaussian distributions." Extrait d'un article scientifique

Donc si j'ai bien compris, votre programme permet :
- de générer un certain nombre de points dont les valeurs sont aléatoires
- de créer l'histogramme de fréquence de ces valeurs
- d'appliquer à cet histogramme l'algo EM afin de lui faire correspondre des gaussiennes.

Dans quelle partie de votre code, l'histogramme est-il créé ?

Cela me permettrait de modifier mes données initiales afin de les normaliser pour avoir des valeurs entre 0 et 1 et de n'utiliser que la partie EM de votre programme.

[pseudocode]

Non. L'algo EM ne travaille pas sur les histogrammes. Il travaille directement sur les valeurs. C'est là toute sa force !

Il n'y a donc pas besoin de calculer l'histogramme dans le code. Et heureusement, car une variable gaussienne peut prendre une infinité de valeurs (entre -infini et + infini), ce qui obligerait à créer un histogramme de taille infinie !

J'ai dessiné l''histogramme ainsi que les gaussiennes uniquement pour "montrer" l'évolution de l'algorithme. Mais ce n'est pas ainsi que l'algo travaille. Il ne cherche pas à "ajuster" les gaussiennes sur l'histogramme.

[daurey68]

Ok, l'histogramme n'est pas créé.
J'ai transformé des données de bases pour les faire correspondre à un ensemble de variable aléatoire (correspondant à votre x= randon(nbvaleurs) ).
Le programme fonctionne apparemment correctement.

Il me reste un seul problème : le nombre de gaussienne déterminé n'est pas celui que je souhaiterai.
Le fichier en PJ illustre ce problème. L'histogramme pourrait être assimilé à la courbe originelle en jaune. Le nombre de pics à détecter est de 2 et le nombre de gaussienne ajustées doit donc aussi être de 2. En pratique seule une seule gaussienne est véritablement déterminée (les autres ont un poids trop faible).

Savez-vous s'il est possible d'introduire un seuil dans l'algorithme EM afin de résoudre mon problème ?

[pseudocode]

L'algo EM est assez sensible aux conditions initiales (valeurs initiales des lois).

Si vous savez au départ le nombre de gaussienne (2), le plus simple est de faire une première analyse rapide de l'histogramme pour déterminer les 2 plus hauts sommets, et de centrer les gaussiennes sur ces 2 sommets.

[daurey68]

j'avais déjà esasyé de centrer les gaussiennes sur les valeurs que je devais obtenir.
Mais cela ne change rien sur le fait qu'une seule gaussienne est calculée.

Je pense que mes pics sont trop rapprochés pour pouvoir être détectés comme 2 maximums de gaussiennes différents.
Cela est-il possible ?

J'ai essayé d'étaler mon histogramme sur un plus grand intervalle pour espacer les pics. Cela ne donne pas des résultats concluants. Y aurait-il un autre moyen de contourner ce problème ?

[pseudocode]

Y aurait-il un autre moyen de contourner ce problème ?

Heu... arrêter de prendre l'algo EM pour faire ce genre de chose. Mais je l'ai déjà dit je crois.