Discussion :

[jkofr]

Bonjour,

Voici le problème.

J'ai 4 champs calculés qui représentent 4 classifications de sportifs selon une formule différente à chaque fois.

Ch1 = Nombre de courses / nombres de places dans les 3
Ch2 = Nombre de courses / nombres de victoires
Ch3 = Somme de ses gains / Moyennes de ses gains
Ch4 = Nombre de concurents / Concurents battus

Ces champs sont calculés pour chaques sportifs.
Disons que sur 1 année, nous avons pu constaté les minima et maxima suivants:
Ch1 les valeurs vont de 0 a 50
Ch2 les valeurs vont de 0 a 15
Ch3 les valeurs vont de 0 a 150000
Ch4 les valeurs vont de 0 a 5

Comment normaliser ces valeurs sur une échelle de 100?

On pourait par exemple dire que
La valeur = Valeur / Max * 100
Ca serait assez correct pour Ch1, Ch2, Ch4.

Par contre pour Ch3, supposons que nous avons de gros écarts entre les valeurs :
Qlq valeurs > à 140000, qlq entre 1000000 et 110000 et beaucoup < 20000

Comment rendre ça homogène?
En fait il faudrait redistribuer...
qlqun une idée?

Merci
jko

[pseudocode]

Par contre pour Ch3, supposons que nous avons de gros ecarts entre les valeurs:
Qlq valeurs > a 140000, qlq entre 1000000 et 110000 et beaucoup < 20000

Comment rendre ca homogene?

Si tu connais la répartition de tes valeurs (ou du moins que tu ais une bonne estimation), tu peux egaliser les valeurs. C'est à dire rendre la fonction de répartition linéaire.

Tu peux regarder les techniques d' "égalisation d'histogramme" pour avoir une idée de ce dont je parle.

[ToTo13]

Bonjour,

la méthode classique de normalisation des données en classification c'est de retrancher la moyenne et de diviser par l'écart type.
Donc pour une colonne C et un individu I :
T(I,C) = ( T(I,C) - Moyenne(C) ) / EcartType(C) ;

Tu auras ainsi des valeurs normalisées sur [-1,1]. Il est alors inutile de les convertir sur [0,100].

[jkofr]

J'ai regarde mias pas trouve grand chose. En fait ya qlq truc sur le traitement d'images.

jko

[pseudocode]

essaye deja la méthode de Toto13... Si tes données sont réparties suivant une loi normale, ca devrait fonctionner.

Sinon, on verra plus en detail l'égalisation.

[jkofr]

La methode donne:

Valeur

Sp Old Normalise
Sp1 8,5 -,81818134
Sp2 11,3 -,68604535
Sp3 13 -,60581993
Sp4 14,8 -,52087536
Sp5 17 -,41705423
Sp6 29,3 ,163400312
Sp7 42,5 ,786327132
Sp8 70,3 2,09824877

Moyenne = 25.83
Ecart type = 21.19
Normalise = (Old - Moyenne) / Ecart Type

C'est ca ?
jko

[jkofr]

Ok ca fonctionne, en fait faut faire la moyenne et l'ecart type sur toutes les donnes pour avoir le resultat correct.

Merci a vous
jko

[jkofr]

En fait pour une valeur qui ossile entre

MIN(OLDVAL) = 0
MAX(OLDVAL) = 19569

Ca donne

MIN(NEWVAL) = -,39147581
MAX(NEWVAL) = 106,583333


C'est normal ?

jko

[pseudocode]

MIN(NEWVAL) = -,39147581
MAX(NEWVAL) = 106,583333

C'est normal ?

Si tes données suivent une loi normale, ca veut dire que ta valeur MIN est une valeur habituelle (car entre -1 et 1) et que ta valeur MAX est franchement inhabituelle (très très supérieur à 1).

[jkofr]

Je pense que ca risque d'etre complique.
Surtout pour les valeurs avec forte une amplitude.

L'idee de base est par la suite de realiser une analyse des composantes principales afin de degager des predictions sur ces 4 variables.

Le but de la normalisation est de comparer des pommes avec des pommes et non pas des pommes avec des poires. Plus exactement je dirai, comparer des pommes Golden avec des pommes Golden

jko

[pseudocode]

Ca m'étonnerai qu'on puisse prédire les courses de chevaux par une ACP.

[jkofr]

Tu serai surpris de savoir e qu'il est possible de faire.
jko

[pseudocode]

Tu serai surpris de savoir e qu'il est possible de faire.
jko

Ok, je veux bien te croire.

Le problème de l'ACP c'est que c'est basé sur le covariance. Alors si on commence à "homogéniser" les données, les résultats de l'ACP risquent de ne plus être très pertinents.

[jkofr]

Une analyse faite avec Tanagra en utilisant le réseau de neurones de donne rien avec les valeurs brutes.

Par contre, si je modifie la valeur par la position du partant dans le champ calculé, là ca bouge beaucoup plus!
Le problème est que si on codifie par la position, ce pose le problème du nombre de partants (de 4 à 20). Dans la on compare des pommes golden et des reinettes.

L'idée de normaliser le tout tout en conservant l'ordonnancement revient cette fois a comparer des goldens avec des goldens. Suis assez convaincu de ce que j'avance.

Comment est-il possible de normaliser ça? Ça doit être possible non ?

jko

[jkofr]

Par exemple sous Oracle,

La requête suivante

select ntile (100) over (order by valeur) cat
from allstats where idstat=0

Découpe le tout en 100 paquets.
Mis c'est un peut empirique.

jko

[pseudocode]

Par exemple sous Oracle, la requête suivante (...) découpe le tout en 100 paquets.

C'est le principe de l'egalisation. Hum... comment expliquer cela...

Imaginons un ensemble de valeurs N "mal" réparties entre 0 et 100. Pas beaucoups (N/10) entre [0,40] ni entre [60,100]. Pratiquement toutes les N valeurs sont entre 40 et 60.

Le but c'est de les ranger dans 3 cases. Si ont fait une bete règle de 3, on aura pratiquement toutes les N valeurs dans la case 2 (celle du milieu).

L'idée de l'égalisation, c'est d'avoir autant de valeurs dans les 3 case. C'est a dire trouver les seuls S1 et S2 tels que:

• si valeur<S1 ==> case 1
• si S1<=valeur<S2 ==> case 2
• si valeur>S2 ==> case 3

et que card(case1) = card(case2) = card(case3) = N/3

Est-ce que tu penses que ce genre de classement pourrait coller avec ce que tu veux faire ?

[Monstros Velu]

Pour commencer :

Ch1 = Nombre de courses / nombres de places dans les 3

et la division par 0 pour ceux qui n'ont jamais été dans les 3 ?

Ch2 = Nombre de courses / nombres de victoires

division par 0 pour quelqu'un qui n'a jamais gagné

Ch3 = Somme de ses gains / Moyennes de ses gains

somme des gains = G1 + ... + Gn
moyenne des gains = (G1 + ... + Gn) / n
Ch3 = n. C'est le nombre de courses.

Ch4 = Nombre de concurents / Concurents battus

celui qui est dernier entraine une division par 0.

Je ne sais pas ce que tu veux faire avec tes statistiques, mais déjà, il y en a 3 où je travaillerai sur l'inverse plutôt que sur la valeur que tu donnes. Quand à l'autre, pourquoi calculer le nombre de courses ?


Ensuite, pour la normalisation, personnellement, je diviserai par le maximum et multiplirai par 0.

Et si on veut un truc homogène, il suffit de générer un classement, comme dis précédement; Et si tu as envie, tu peux même le normaliser sur les valeurs que tu veux en appliquant simplement la formule précédente...

Enfin, je pense que ce serait plus simple que tu nous dises ce que tu veux faire au final (à quoi vont tes servir ces valeurs normalisées), pour qu'on puisse t'aider à atteindre ton but 8o)

[jkofr]

C'etait juste un exemple et suis bien sur d'accord avec tes remarques.

En fait je voudrai normaliser les valeurs d'une variable sur toutes les courses.
Je m'explique:

Course1 les valeurs de la variable vont de 20 à 1500
Course2 les valeurs de la variable vont de 800 à 3000
Course3 les valeurs de la variable vont de 0 à 4500
Course4 les valeurs de la variable vont de 2000 à 12000
...

Le mode de calcul de la valeur est toujours le même c'est juste les données qui changent ce qui explique la dispersion.

L'idée c'est d'arriver à ça.

Course1 les valeurs de la variable vont de 0 à 1000
Course2 les valeurs de la variable vont de 0 à 1000
Course3 les valeurs de la variable vont de 0 à 1000
Course4 les valeurs de la variable vont de 0 à 1000

Tout en conservant l'ordre des partants en fonctions des valeurs.

Pour pseudocode, peut-être, il faut que je le teste.

Voila
jko

[souviron34]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
/* Calcul du min/max total ET par course des valeurs */

tablemin[ncourses]
tablemax[ncourses]

min = GRAND_NOMBRE   (par exemple DBL_MAX)
max = 0

pour icourse = 0 jusqu'à icourse = ncourses-1

    tablemax(icourse]) = 0
    tablemin(icourse) = GRAND_NOMBRE

    pour ivaleur = 0 jusquà ivaleur = nvaleurs -1
         si valeur(ivaleur, icourse) > max
             max = valeur(ivaleur, icourse)
         fin si
         si valeur(ivaleur, icourse) > tablemax(icourse)
             tablemax(icourse) = valeur(ivaleur, icourse)
         fin si
         si valeur(ivaleur, icourse) < min
             min = valeur(ivaleur, icourse)
         fin si
         si valeur(ivaleur, icourse) < tablemin(icourse)
             tablemin(icourse) = valeur(ivaleur, icourse)
         fin si
   fin pour

fin pour


/* Normalisation par course */

pour icourse = 0 jusqu'à icourse = ncourses-1

    pour ivaleur = 0 jusquà ivaleur = nvaleurs -1
          valeur (ivaleur, icourse)  = (valeur(ivaleur, icourse)  - tablemin(icourse)) * (max - min) / (tablemax(icourse) - tablemin(icourse)) + min
    fin pour

fin pour

et tu peux rajouter si tu veux encore une regle de 3 pour ramener de min - max a 0 1000 par exemple...

Après la dernière partie, de nouveau une boucle

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
pour icourse = 0 jusqu'à icourse = ncourses-1
 
    pour ivaleur = 0 jusquà ivaleur = nvaleurs -1
          valeur (ivaleur, icourse)  = (valeur(ivaleur, icourse)  - min) * 1000 / (max - min)
    fin pour
 
fin pour

[ToTo13]

La methode donne:

Valeur

Sp Old Normalise
Sp1 8,5 -,81818134
Sp2 11,3 -,68604535
Sp3 13 -,60581993
Sp4 14,8 -,52087536
Sp5 17 -,41705423
Sp6 29,3 ,163400312
Sp7 42,5 ,786327132
Sp8 70,3 2,09824877

Moyenne = 25.83
Ecart type = 21.19
Normalise = (Old - Moyenne) / Ecart Type

C'est ca ?

Je reviens alors que la discussion a pas mal avancé, mais c'est pour corriger quelques erreurs :
- la dernières valeur est fausse (2,09...), les valeurs après passage dans ma méthode sont normalisées, donc elles sont obligatoirement dans [-1,1].
- la méthode que je donne (qui est une des plus utilisée en statistiques) s'applique colonne par colonne. Donc l'écart type et la moyenne doivent être calculés sur une colonne, puis on fait la transformation sur les valeurs de la colonne et on réitère sur les colonnes suivantes...