statistiques sur des événements

Bonjour,

Je suis en train de faire des statistiques sur le nombre d'occurences d'événements (peut importe ces évenements, c'est leur volumétrie par intervalle de temps qui m'intéresse).
Avec ces statistiques, je voudrais définir une notion de seuil mini et seuil maxi et lorsque ces seuils sont franchis, une alarme est générés (peu importe pour l'instant le mode de génération de cette alarme).

Première question, est ce que je dois calculer sur la plus grande période possible (et donc conserver un historique qui peut être important) ou bien est ce qu'une période glissante peut suffir (genre les 100 dernière valeurs). Quelles sont les impacts sur le résultat. Est ce que par exemple, travailler que sur les 10 dernière valeurs a un impact significatif en termes de précision et comment mesurer cet impact.

Autre question, j'ai vu qu'il existait au moins 4 moyennes différentes :

• la moyenne arithmétique
• la moyenne géométrique
• la moyenne harmonique
• la moyenne quadratique

Je possède les formules de calcul de ces différentes moyenne mais par contre, je ne voie pas concrêtement dans quel cas on utilise cette moyenne plutôt que une autre. Appliqué à mon problème, quelle moyenne est la plus indiquée ?

3eme question, j'ai trouvé des choses sur l'écart type mais encore une fois, je trouve 3 écarts type différents avec des formules différentes :

• l'écart type
• l'écart type empirique
• l'écart type empirique corrigé

Même question, concrêtement dans quel cas on utilise 1 écart type plutôt qu'un autre. Pour mon cas, quel écart type utiliser ?

Et enfin, voyez vous d'autres indicateurs ou une autre approche qui me permettraient de calculer de manière automatique et glissante ces seuils.

Merci pour toutes vos réponses, idées et suggestions

Citation:

---

peut importe ces évenements

---

C'est le cas d'espèce qui permet de définir le seuil d'alarme.

Par exemple, si on a des capteurs de températures, on pourra envisager différentes attitudes:
- un dépassement notable d'une seule mesure sur un capteur peut déclencher l'alarme,
- l'alarme ne sera déclenchée que si une série d'autres mesures sur l'ensemble des capteurs confirme le premier dépassement.

C'est aussi du système particulier dont dépendra ce qu'on entend par "confirmation" :
- des mesures semblables ?
- un écart moyen ou un écart type sue une série de mesure ?
- sur quelle période ou sur combien de mesures ?
- une correlation avec un autre capteur ?

alors tout dépend où tu en es dans ton "programme" :

• si c'est pour établir la statistique, tu n'as pas le choix que de tout étudier (l'ensemble des événements) sur l'ensemble de la période.
  
  A partir de là tu pourras éventuellement déduire des seuils
  
  
• Et là, dans la 2ième partie, tu pourras stocker uniquement pour la période glissante.

C'est ce que j'ai fait pour des alertes d'orages en fonction des éclairs. Par contre, moi ce n'était pas un seuil statistique mais fourni par l'utilisateur.


Exemple :

début d'alerte : 2 éclairs dans les 10 dernières minutes dans une zone de 25 kms autour du point (de la région) d'intérêt.

fin d'alerte : alerte déjà déclenchée ET 1 seul éclair dans les 10 dernières minutes dans une zone de 25 kms autour du point (de la région) d'intérêt.

Ce qui nécessite de stocker des pointeurs sur les données valides dans les 10 dernières minutes, et de faire glisser la période et de mettre à jour les pointeurs..

Dans mon programme, je n'en suis nul part, pour l'instant, j'attaque par le bon bout c'est à dire réflexion intense avant codage fou :P

En ce qui concerne mes données, je reçoit les événement au fil de l'eau. La volumétrie est quelque chose comme 100000 événement par jour.

Encore une fois, je ne m'intéresse pas au contenu de ces événements (pas encore du moins) mais plutôt à leur volumétrie et à la variation de cette volumétrie. La réflexion/intuition que j'ai est que la variation de volumétrie est une information aussi importante que leur contenu (dans mon cas).

Je sais calculer la volumétrie sur la dernière minute (ou dernière heure ou encore dernière journée) je sais les conserver mais je souhaite savoir si je peux ne conserver que les 100 (par exemple) dernière mesures glissantes et si les seuils que je pourrais calculer et faire évoluer automatiquement seront "crédibles" et représentatifs.

J'ai l'historique sur les quelques derniers mois, donc je sais valider mes/vos idées.

à ce compte-là, je ne sais pas quel est le mieux :

• stocker les événements
  
• stocker leur nombre (en ayant une idée du pas de temps min)

stocker les événements peut être gros, mais nécessaire si les pas de temps sont très varaibles ou l'accès aux données nécessaire

stocker les nombres peut être aussi très gros (suivant la taille relative du pas de temps et de la période), mais plus simple


Ensuite, la moyenne arithmétique est parfaitement correcte, à moins que tu n'es des informations particulières "déplaçant" la moyenne.

Quant à l'écart-type, le brut est souvent simple, à moins que tu n'aies une idée à priori de la distribution (gaussienne, normale, ..)


Pour ce qui est de la validité statistique entre glissant ou non, aucune idée (pas assez statisticien pour ça)

Mais je crois que d'abord tiu devrais nous (et te) re-préciser les buts :

Pourquoi faire exactement ?
Glissant ou non ?

Citation:

---

Envoyé par souviron34

Mais je crois que d'abord tiu devrais nous (et te) re-préciser les buts :

Pourquoi faire exactement ?
Glissant ou non ?

---

Je reçoit des événements au fil de l'eau à une fréquence variable qui fait en moyenne 100000 événements par jour mais cela peut varier entre 0 et quelques dizaines par seconde. Ces événements sont générés par de l'activité sur le réseau.

Le but en m'intéressant à la volumétrie est de fixer des seuils mini et maxi. Si ces seuils sont franchis c'est le signe d'un problème sur le réseau (par exemple, le franchissement du seuil mini peut être la conséquence de l'arrêt d'un équipement, le franchissement du seuil maxi peut être la conséquence d'une activité "suspecte" sur le réseau) et donc une alerte doit être levée.

Bien sûr cette volumétrie va évoluer en fonction de ces événements que je veux détecter mais aussi en fonction de l'évolution du nombre d'équipements sur le réseau (un équipement supplémentaire va générer des événements supplémentaires et donc faire monter la moyenne) et je ne voudrais pas avoir à recalculer mes seuils manuellement pour cela, je voudrais que le calcul se fasse automatiquement et que les seuils s'adaptent en temps réel. Une autre cause pourrait être les week end, moins d'activité donc moins d'événements donc il faut que les seuils s'adaptent.

Je suis bien concsient que quelquesoit le système, cela ne sera jamais parfait. Il y aura des faux positifs (une alarme alors qu'il n'y a rien de spécial mais les seuils ne se sont pas encore adaptés) ou des faux négatifs (c'est un peu plus grave, c'est la non détection d'un pic ou creux alors que les seuils ne sont pas encore adaptés).

Je ne peux pas me permettre de garder en mémoire l'historique de quelques mois pour faire mes calculs c'est pourquoi j'avais pensé à des calculs sur des périodes glissantes.

D'autre part, je ne suis pas statisticien et j'ai découvert qu'il y avait plein d'outils mathématiques à ma disposition mais que certains ne doivent pas être utilisés dans certains cas alors que d'autres sont plus indiqués.

D'où mon appel à des compétences un peu plus statisticiennes que moi;)

ouin mais alors tes seuils ne seront pas fixes mais varieront au cours du temps : si tu as 100000 par jour, mais avec des trous à 10 / minutes, et qu'en plus ça dépende du nombre de machines, il te faut alors :

• soit modéliser tout : flux "théorique" en fonction du temps ET du nombre de machines, et donc seuils "théoriques" : delta flux = flux observé - flux théorique
  
• soit au contraire tout laisser flottant, et alors te baser uniquement sur des statistiques : si valeur à t < x% de la valeur moyenne dans les N derniers pas de temps => alerte min. Si valeur à t > y% de la valeur moyenne dans les N derniers pas => alerte max.

De plus, vraisemblablement, pour déclencher les alertes, il faudra que tu observes pics/trous pendant un certain nombre de pas (et pas un seul).
(et vraisemblablement y sera supérieur à 100)

Citation:

---

Envoyé par souviron34

oui mais alors tes seuils ne seront pas fixes mais varieront au cours du temps.

---

Oui, c'est ce que je pense et c'est la direction que je prends jusqu'à preuve du contraire.

Citation:

---

Envoyé par souviron34

soit modéliser tout : flux "théorique" en fonction du temps ET du nombre de machines, et donc seuils "théoriques" : delta flux = flux observé - flux théorique

---

Je ne suis pas sûr de savoir modèliser mon flux et d'ailleurs, je ne suis même pas sûr que le flux soit modèlisable.

Citation:

---

Envoyé par souviron34

soit au contraire tout laisser flottant, et alors te baser uniquement sur des statistiques : si valeur à t < x% de la valeur moyenne dans les N derniers pas de temps => alerte min. Si valeur à t > y% de la valeur moyenne dans les N derniers pas => alerte max.

---

Oui, c'est la direction que je prends (toujours jusqu'à preuve du contraire).

Regardez un peu du coté "CUSUM" (ou meme "ARMA") pour voir si c'est applicable dans votre cas.

Je vous conseille en particulier les publications de Basseville & Nikiforov.

Si j'ai bien compris votre problème, vous désirez détecter une anomalie dans un flux de données par détection de niveau min et max.
Le problème se décompose donc en deux temps :
- calcul du min et max,
- détection des anomalies.

La première chose à savoir c'est si le comportement "normal" est constant au cours du temps. Si ce n'est pas le cas, il faut effectivement utiliser une fenêtre glissante. Pour dimensionner cette fenêtre, il faut connaître l'ordre de grandeur de variation au cours du temps du comportement "normal".
Ensuite pour la partie anomalie, il faut connaître quelques infos sur le phénomène, entre autre le temps d'anomalie.
Car pour obtenir des seuils automatiques et évolutifs, il ne faut pas être perturbé par les anomalies.
Tous cela est donc complêtement liés à la nature des données et du phénomène et de la précision que l'on veut appliquer aux alertes. Et effectivement dans ce cas de surveillance, il faut éviter les faux négatifs.

Pour être robuste, je pense qu'une phase d'apprentissage du système est une bonne chose avec mise à jour du système au cours du temps. Le système deviendra donc de plus en plus stable.
Il faut je pense amener le plus d'information possible sur le phénomène au système, et donc réaliser une étude sur le phénomène et au contraire de ce que vous voulez faire, il faut donc maitriser la nature de ces évenements (une sorte de modélisation en sorte)