Bourse: trouver la droite representative de l'année

Bonjour,


J'ai un système qui ressemble à la bourse => J'ai une liste de points successifs variant. Si on a une vision globale on peut distingue une droite (augmentation générale de la "bourse"). C'est cette droite que j'aimerais determiner.

Typiquement j'aimerais déterminer la droite rouge ci dessous:
http://img165.imageshack.us/img165/2930/bourseqj5.jpg
http://img165.imageshack.us/img165/2930/bourseqj5.jpg

Les difficultes hormis le fait que je suis pas fort en math ;) sont:
- une variation permanente de la bourse
- ce n'est pas une moyenne, mais une réprésentation de la tendance générale.
- la droite ne passe pas forcement en son origine
- Il faut exclure les trop fortes variations prolongés (comme celle de fin d'année).

Mon problème est assez flexible tant que l'idée de la droite représentative est là.Rappel: je n'ai que la liste de coordonée de chaque point.

Pourrez vous m'aider ?

Merci davance
-

A la base, le probleme ressemble a une regression lineaire avec suppression des points atypiques (outliers).

Le problème va etre d'identifier les points atypiques... comment faire pour reconnaitre les "fortes variations prolongées" ? Sont-elles toujours à la fin ?

Tu m'as déjà donné une très bonne piste un grand merci. Ca m'aider beaucoup.
Sinon oui, les forts changements sont toujours à la fin => si trop grand changement arret de la mesure.. Ils ne doivent pas etre pris en compte. Mais je ne sais pas comment déterminer le moment ou ce changment à lieu.

Bonjour,

est ce que tu as testé une petite ACP pour commencer ?
C'est tout simple et pourrait donner de bons résultats.

la derivée seconde? pente de la courbe representative de la pente.
si la derivé seconde à une valeur trop differente de la tendance generale pendant trop longtemps, alors le truc doit etre ignoré, ou du moins attenué?


je me perd un peu là, ou alors, couper la ligne en tronçons, automatiquement. reperer les points de cassure de la moyenne , essayer d'extraire la suite de fonctions en fonction du temps et des intervales de temps?

au fait, as tu d'autres courbes à analyser pour voir en gros ce que doit etre capable de faire l'algo?

On peut peut-être considérer que la droite représentative est celle qui minimise la somme S des carrés des écarts des points rééls (xi,yi).
Equation de cette droite représentative : y=Ax+B.
Valeur de S : S=Somme( (yi-A*xi+B)** 2)
Ce qui nous donne une équation du type : S(A,B)=p*A**2 + q*A*B + r *B**2 + c.
Faisons ensuite varier la pente A par pas successifs A1, A2, ... An.
La valeur de B qui annule la dérivée partielle de S (Ai constant) est : Bi=-q*Ai / 2*r,
ce qui permet de déterminer Si(Ai,Bi).

A la suite de l'itération, on retient les valeurs (Ai,Bi) qui donnent le Si minimum.

PS: je ne me souviens pas si il existe une méthode mathématique qui permette dans ce cas d'équation (simple) à 2 variables de faire un calcul direct sans itération.

Citation:

---

Il faut exclure les trop fortes variations prolongés (comme celle de fin d'année).

---

Il me semble que l'on tombe là dans le domaine de l'interprétation.
Les parties à "éliminer" sont-elles des points abérrants (par exemple, artefacts de mesure) ou des valeurs réélles (cours de bourse au jj/mm/aa)?

Citation:

---

Il faut exclure les trop fortes variations prolongés (comme celle de fin d'année).

---

Pour déterminer un changement atypique, on peut toujours essayer de déterminer, pour une abscisse qui se déplace vers la fin de la mesure, les 2 droites "avant" et "après" : droite "avant" obtenue à partir des mesures antérieures et droite "après" obtenue pour les mesures postérieures à l'abcisse traitée.
Si on a une forte différence de pente entre les 2 droites (ou une pente absolue trés supérieure/inférieure à la pente attendue, par exemple stabilité à la bourse), on éliminera la fin de la mesure.

La méthode RANSAC peut répondre à tes souhaits, normalement.

Citation:

---

Envoyé par Matthieu Brucher

La méthode RANSAC peut répondre à tes souhaits, normalement.

---

Yes. :king:

On peut d'ailleurs optimiser l'approche RANSAC car on sait que les outliers sont a l'extrémité droite de l'ensemble de données.

RANSAC a l'air de correspondre complementement à mes attentes, merci dnc beaucoup.
Toute fois, je n'ai trouvé aucune référence sur cet algo.
La seule chose intéréssante que j'ai trouvé est un code en C :
http://www.sonycsl.co.jp/person/niel...ams/ransac.cpp

Je n'arrive par contre pas à comprendre son fonctionne et je ne vois pas comment je peux m'interfacer avec.
Pourrez vous m'apporter un complement de réponse sur ce point.

Merci

Citation:

---

Envoyé par laclac

La seule chose intéréssante que j'ai trouvé est un code en C :
http://www.sonycsl.co.jp/person/niel...ams/ransac.cpp

---

Ce code C est juste une demonstration de la convergence de l'algorithme. Ca n'a pas de rapport direct avec ton probleme de recherche de droite.

Citation:

---

Je n'arrive par contre pas à comprendre son fonctionne et je ne vois pas comment je peux m'interfacer avec.

---

RANSAC est une "sur-couche" à ajouter sur l'algo de regression linéaire.

La regression linéaire trouve la droite qui passe au plus pres de TOUS les points. Donc s'il y a quelques valeurs "atypiques", la droite va être déviée pour se rapprocher des ces valeurs atypiques, quite a s'eloigner des valeurs "normales".

L'algo RANSAC permet de séparer les valeurs "normales" et les valeurs "atypiques", ainsi la regression linéaire se fera uniquement sur les valeurs normales... donc une meilleure approximation. Le principe est expliqué sur wikipedia (anglais), mais voila un bref résumé.

0. Au départ, on a N points

1. On prend K points au hasard parmis N
2. On fait une regression linéaire sur ces K points -> on trouve une droite
3. On compare chacun des (N-K) points restant à la droite -> on crée une liste L des points "assez proches" de la droite
4. Si la liste L n'a "pas assez" d'elements, on retourne a l'etape 1
5. Sinon on fait une regression linéaire sur les points de la liste L -> on trouve une meilleure droite
6. on mesure l'erreur entre les points de la liste L et cette meilleure droite
7. si l'erreur est plus faible que la derniere fois on mémorise cette droite -> la nouvelle meilleure approximation
8. retour a l'etape 1

On sort de cette boucle sans fin lorsqu'on a fait suffisament d'iteration, ou que l'erreur est suffisament faible.

et j'ajouterais une autre méthode qui ressemble fortement :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

faire une boucle   faire une régression linéaire sur tous les points   calculer les ecarts   si ecart_max inferieur limite sortie boucle sinon enlever les points dont l'ecart est superieur à N sigmas (ou celui dont l'ecart est leplus grand) fin si   fin boucle

---

Un grand merci à tous,

J'ai implémenté votre speudocode ;) et ca fonctionne très bien.
Le code est très simple donc merci, ca n'a pas été trop dur !
J'ai fais quelques test, jai quelques quand meme un ecart qui se créer, je pense a cause de 2 paramètres que je n'arrive pas à évaluer correctement.

Le nombre d'itération a faire de l'algo ? j'ai mis une boucle qui tourne autant de fois qu'il y a de points, mais c'est peut etre insuffisent.
sur le "on crée une liste L des points "assez proches" de la droite": le meilleur "assez proches" est dur a obtenir.

Donc si vous avez des compléments d'informations à me faire je suis preneur. Sinon encore un grand merci ! Sans vous ne n'aurez jamais réussit !:yaisse2:

souviron34:pseudocode:Matthieu Brucher:Graffito:edfed:ToTo13

ben ta regression linéaire te donne un coefficient de corrélation (normalement, les méthodes disposniles le calcule)

tu as donc les coeffs de ta droite, les points.

Tu prends chaque point, tu calcules l'écart par rapport à sa position sur la droite.

Là par exemple tu peux soit enlever celui qui a le plus grand, soit calculer le sigma et enlever les N > 3 sigmas (j'ai retenu la leçon, pseudocode ;))

Tu recalcules la régression.

Tant que le coefficient de corrélation est < 0.999 par exemple, tu itères..