Probleme de Normalisation

Version imprimable

16/05/2008, 16h40
jkofr

Probleme de Normalisation

Bonjour,

Voici le problème.

J'ai 4 champs calculés qui représentent 4 classifications de sportifs selon une formule différente à chaque fois.

Ch1 = Nombre de courses / nombres de places dans les 3
Ch2 = Nombre de courses / nombres de victoires
Ch3 = Somme de ses gains / Moyennes de ses gains
Ch4 = Nombre de concurents / Concurents battus

Ces champs sont calculés pour chaques sportifs.
Disons que sur 1 année, nous avons pu constaté les minima et maxima suivants:
Ch1 les valeurs vont de 0 a 50
Ch2 les valeurs vont de 0 a 15
Ch3 les valeurs vont de 0 a 150000
Ch4 les valeurs vont de 0 a 5

Comment normaliser ces valeurs sur une échelle de 100?

On pourait par exemple dire que
La valeur = Valeur / Max * 100
Ca serait assez correct pour Ch1, Ch2, Ch4.

Par contre pour Ch3, supposons que nous avons de gros écarts entre les valeurs :
Qlq valeurs > à 140000, qlq entre 1000000 et 110000 et beaucoup < 20000

Comment rendre ça homogène?
En fait il faudrait redistribuer...
qlqun une idée?

Merci
jko
16/05/2008, 16h48
pseudocode

Citation:

Envoyé par jkofr

Par contre pour Ch3, supposons que nous avons de gros ecarts entre les valeurs:
Qlq valeurs > a 140000, qlq entre 1000000 et 110000 et beaucoup < 20000

Comment rendre ca homogene?

Si tu connais la répartition de tes valeurs (ou du moins que tu ais une bonne estimation), tu peux egaliser les valeurs. C'est à dire rendre la fonction de répartition linéaire.

Tu peux regarder les techniques d' "égalisation d'histogramme" pour avoir une idée de ce dont je parle.
16/05/2008, 17h03
ToTo13

Bonjour,

la méthode classique de normalisation des données en classification c'est de retrancher la moyenne et de diviser par l'écart type.
Donc pour une colonne C et un individu I :
T(I,C) = ( T(I,C) - Moyenne(C) ) / EcartType(C) ;

Tu auras ainsi des valeurs normalisées sur [-1,1]. Il est alors inutile de les convertir sur [0,100].
16/05/2008, 17h05
jkofr

J'ai regarde mias pas trouve grand chose. En fait ya qlq truc sur le traitement d'images.

jko
16/05/2008, 17h16
pseudocode

essaye deja la méthode de Toto13... Si tes données sont réparties suivant une loi normale, ca devrait fonctionner. ;)

Sinon, on verra plus en detail l'égalisation.
16/05/2008, 17h22
jkofr

La methode donne:

Valeur

Sp Old Normalise
Sp1 8,5 -,81818134
Sp2 11,3 -,68604535
Sp3 13 -,60581993
Sp4 14,8 -,52087536
Sp5 17 -,41705423
Sp6 29,3 ,163400312
Sp7 42,5 ,786327132
Sp8 70,3 2,09824877

Moyenne = 25.83
Ecart type = 21.19
Normalise = (Old - Moyenne) / Ecart Type

C'est ca ?
jko
16/05/2008, 17h25
jkofr

Ok ca fonctionne, en fait faut faire la moyenne et l'ecart type sur toutes les donnes pour avoir le resultat correct.

Merci a vous
jko
16/05/2008, 17h33
jkofr

En fait pour une valeur qui ossile entre

MIN(OLDVAL) = 0
MAX(OLDVAL) = 19569

Ca donne

MIN(NEWVAL) = -,39147581
MAX(NEWVAL) = 106,583333

C'est normal ?

jko
16/05/2008, 17h38
pseudocode

Citation:

Envoyé par jkofr

MIN(NEWVAL) = -,39147581
MAX(NEWVAL) = 106,583333

C'est normal ?

Si tes données suivent une loi normale, ca veut dire que ta valeur MIN est une valeur habituelle (car entre -1 et 1) et que ta valeur MAX est franchement inhabituelle (très très supérieur à 1).
16/05/2008, 17h48
jkofr

Je pense que ca risque d'etre complique.
Surtout pour les valeurs avec forte une amplitude.

L'idee de base est par la suite de realiser une analyse des composantes principales afin de degager des predictions sur ces 4 variables.

Le but de la normalisation est de comparer des pommes avec des pommes et non pas des pommes avec des poires. Plus exactement je dirai, comparer des pommes Golden avec des pommes Golden :lol:

jko
16/05/2008, 18h00
pseudocode

Ca m'étonnerai qu'on puisse prédire les courses de chevaux par une ACP. :aie:
16/05/2008, 19h47
jkofr

Tu serai surpris de savoir e qu'il est possible de faire.
jko
16/05/2008, 19h59
pseudocode

Citation:

Envoyé par jkofr

Tu serai surpris de savoir e qu'il est possible de faire.
jko

Ok, je veux bien te croire.

Le problème de l'ACP c'est que c'est basé sur le covariance. Alors si on commence à "homogéniser" les données, les résultats de l'ACP risquent de ne plus être très pertinents. :?
16/05/2008, 20h07
jkofr

Une analyse faite avec Tanagra en utilisant le réseau de neurones de donne rien avec les valeurs brutes.

Par contre, si je modifie la valeur par la position du partant dans le champ calculé, là ca bouge beaucoup plus!
Le problème est que si on codifie par la position, ce pose le problème du nombre de partants (de 4 à 20). Dans la on compare des pommes golden et des reinettes.

L'idée de normaliser le tout tout en conservant l'ordonnancement revient cette fois a comparer des goldens avec des goldens. Suis assez convaincu de ce que j'avance.

Comment est-il possible de normaliser ça? Ça doit être possible non ?

jko
16/05/2008, 20h17
jkofr

Par exemple sous Oracle,

La requête suivante

select ntile (100) over (order by valeur) cat
from allstats where idstat=0

Découpe le tout en 100 paquets.
Mis c'est un peut empirique.

jko
16/05/2008, 22h41
pseudocode
Citation:

Envoyé par jkofr

Par exemple sous Oracle, la requête suivante (...) découpe le tout en 100 paquets.

C'est le principe de l'egalisation. Hum... comment expliquer cela...

Imaginons un ensemble de valeurs N "mal" réparties entre 0 et 100. Pas beaucoups (N/10) entre [0,40] ni entre [60,100]. Pratiquement toutes les N valeurs sont entre 40 et 60.

Le but c'est de les ranger dans 3 cases. Si ont fait une bete règle de 3, on aura pratiquement toutes les N valeurs dans la case 2 (celle du milieu).

L'idée de l'égalisation, c'est d'avoir autant de valeurs dans les 3 case. C'est a dire trouver les seuls S1 et S2 tels que:
- si valeur<S1 ==> case 1
- si S1<=valeur<S2 ==> case 2
- si valeur>S2 ==> case 3
et que card(case1) = card(case2) = card(case3) = N/3

Est-ce que tu penses que ce genre de classement pourrait coller avec ce que tu veux faire ?
17/05/2008, 01h31
Monstros Velu

Pour commencer :

Citation:

Ch1 = Nombre de courses / nombres de places dans les 3

et la division par 0 pour ceux qui n'ont jamais été dans les 3 ?

Citation:

Ch2 = Nombre de courses / nombres de victoires

division par 0 pour quelqu'un qui n'a jamais gagné

Citation:

Ch3 = Somme de ses gains / Moyennes de ses gains

somme des gains = G1 + ... + Gn
moyenne des gains = (G1 + ... + Gn) / n
Ch3 = n. C'est le nombre de courses.

Citation:

Ch4 = Nombre de concurents / Concurents battus

celui qui est dernier entraine une division par 0.

Je ne sais pas ce que tu veux faire avec tes statistiques, mais déjà, il y en a 3 où je travaillerai sur l'inverse plutôt que sur la valeur que tu donnes. Quand à l'autre, pourquoi calculer le nombre de courses ?

Ensuite, pour la normalisation, personnellement, je diviserai par le maximum et multiplirai par 0.

Et si on veut un truc homogène, il suffit de générer un classement, comme dis précédement; Et si tu as envie, tu peux même le normaliser sur les valeurs que tu veux en appliquant simplement la formule précédente...

Enfin, je pense que ce serait plus simple que tu nous dises ce que tu veux faire au final (à quoi vont tes servir ces valeurs normalisées), pour qu'on puisse t'aider à atteindre ton but 8o)
17/05/2008, 10h10
jkofr

C'etait juste un exemple et suis bien sur d'accord avec tes remarques.

En fait je voudrai normaliser les valeurs d'une variable sur toutes les courses.
Je m'explique:

Course1 les valeurs de la variable vont de 20 à 1500
Course2 les valeurs de la variable vont de 800 à 3000
Course3 les valeurs de la variable vont de 0 à 4500
Course4 les valeurs de la variable vont de 2000 à 12000
...

Le mode de calcul de la valeur est toujours le même c'est juste les données qui changent ce qui explique la dispersion.

L'idée c'est d'arriver à ça.

Course1 les valeurs de la variable vont de 0 à 1000
Course2 les valeurs de la variable vont de 0 à 1000
Course3 les valeurs de la variable vont de 0 à 1000
Course4 les valeurs de la variable vont de 0 à 1000

Tout en conservant l'ordre des partants en fonctions des valeurs.

Pour pseudocode, peut-être, il faut que je le teste.

Voila
jko

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
/* Calcul du min/max total ET par course des valeurs */

tablemin[ncourses]
tablemax[ncourses]

min = GRAND_NOMBRE   (par exemple DBL_MAX)
max = 0

pour icourse = 0 jusqu'à icourse = ncourses-1

    tablemax(icourse]) = 0
    tablemin(icourse) = GRAND_NOMBRE

    pour ivaleur = 0 jusquà ivaleur = nvaleurs -1
         si valeur(ivaleur, icourse) > max
             max = valeur(ivaleur, icourse)
         fin si
         si valeur(ivaleur, icourse) > tablemax(icourse)
             tablemax(icourse) = valeur(ivaleur, icourse)
         fin si
         si valeur(ivaleur, icourse) < min
             min = valeur(ivaleur, icourse)
         fin si
         si valeur(ivaleur, icourse) < tablemin(icourse)
             tablemin(icourse) = valeur(ivaleur, icourse)
         fin si
   fin pour

fin pour


/* Normalisation par course */

pour icourse = 0 jusqu'à icourse = ncourses-1

    pour ivaleur = 0 jusquà ivaleur = nvaleurs -1
          valeur (ivaleur, icourse)  = (valeur(ivaleur, icourse)  - tablemin(icourse)) * (max - min) / (tablemax(icourse) - tablemin(icourse)) + min
    fin pour

fin pour

et tu peux rajouter si tu veux encore une regle de 3 pour ramener de min - max a 0 1000 par exemple...

Après la dernière partie, de nouveau une boucle

Code:

1
2
3
4
5
6
7
8
 
pour icourse = 0 jusqu'à icourse = ncourses-1
 
    pour ivaleur = 0 jusquà ivaleur = nvaleurs -1
          valeur (ivaleur, icourse)  = (valeur(ivaleur, icourse)  - min) * 1000 / (max - min)
    fin pour
 
fin pour

17/05/2008, 17h04
ToTo13

Citation:

Envoyé par jkofr

La methode donne:

Valeur

Sp Old Normalise
Sp1 8,5 -,81818134
Sp2 11,3 -,68604535
Sp3 13 -,60581993
Sp4 14,8 -,52087536
Sp5 17 -,41705423
Sp6 29,3 ,163400312
Sp7 42,5 ,786327132
Sp8 70,3 2,09824877

Moyenne = 25.83
Ecart type = 21.19
Normalise = (Old - Moyenne) / Ecart Type

C'est ca ?

Je reviens alors que la discussion a pas mal avancé, mais c'est pour corriger quelques erreurs :
- la dernières valeur est fausse (2,09...), les valeurs après passage dans ma méthode sont normalisées, donc elles sont obligatoirement dans [-1,1].
- la méthode que je donne (qui est une des plus utilisée en statistiques) s'applique colonne par colonne. Donc l'écart type et la moyenne doivent être calculés sur une colonne, puis on fait la transformation sur les valeurs de la colonne et on réitère sur les colonnes suivantes...
17/05/2008, 18h33
jkofr

Citation:

Envoyé par ToTo13

Je reviens alors que la discussion a pas mal avancé, mais c'est pour corriger quelques erreurs :
- la dernières valeur est fausse (2,09...), les valeurs après passage dans ma méthode sont normalisées, donc elles sont obligatoirement dans [-1,1].
- la méthode que je donne (qui est une des plus utilisée en statistiques) s'applique colonne par colonne. Donc l'écart type et la moyenne doivent être calculés sur une colonne, puis on fait la transformation sur les valeurs de la colonne et on réitère sur les colonnes suivantes...

C'est ce que j'ai fais.

J'ai 245000 lignes dans ma table et j'ai calculé la moyenne et l'écart type de ma colonne.

Alors je sais pas...
Je vais implémenter l'algo de souviron34 ( merci au passage :D)
jko

Voici la validation du code de souviron34.

La procédure en PlSql

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
 
Create Or Replace Procedure NormalyzeValues (pIdStat Number) as
Cursor GetCrs is Select idc, rownum
                 From
                 (Select idc from CrsSimu  order by idc);
Cursor GetPt (pIdc Number) is Select nvl (valeur,0),numpartant from AllStats where idc = pIdc and idstat = pIdStat;
 
Type    TVal  IS TABLE OF Number INDEX BY BINARY_INTEGER;
TabMax  TVal;
TabMin  TVal;
lIdc    Number;
lNum    Number;
lVal    Number;
lPt     Number;
lMin    Number := 1000000;
lMax    Number := 0;
lRes    Number;
Begin 
 
 OPEN  GetCrs;
 LOOP
   FETCH GetCrs INTO lIdc,lNum;
   EXIT WHEN GetCrs%NOTFOUND;
   -- Initialisation de la position
   TabMax(lNum) := 0;
   TabMin(lNum) := 1000000;
 
   OPEN  GetPt (lIdc);
   LOOP
    FETCH GetPt INTO lVal,lPt;
    EXIT WHEN GetPt%NOTFOUND;
 
    --si valeur(ivaleur, icourse) > max
    -- max = valeur(ivaleur, icourse)
    --fin si
    if lVal > lMax Then
     lMax := lVal;
    End if;
 
    --si valeur(ivaleur, icourse) > tablemax(icourse)
    --  tablemax(icourse) = valeur(ivaleur, icourse)
    --fin si
    if lVal > TabMax(lNum) Then
      TabMax(lNum) := lVal;
    End if;
 
    --si valeur(ivaleur, icourse) < min
      --min = valeur(ivaleur, icourse)
    --fin si
    if lVal < lMin Then
     lMin := lVal;
    End if;
 
    --si valeur(ivaleur, icourse) < tablemin(icourse)
      --tablemin(icourse) = valeur(ivaleur, icourse)
    --fin si
    if lVal < TabMin(lNum) Then
     TabMin(lNum) := lVal;
    End if;
 
   End Loop;
   Close GetPt;   
 
 End Loop;
 Close GetCrs;
 
 Delete from tmp where idstat = pIdStat;
 
 OPEN  GetCrs;
 LOOP
   FETCH GetCrs INTO lIdc,lNum;
   EXIT WHEN GetCrs%NOTFOUND;
 
   if TabMax(lNum) > 0 Then
    OPEN  GetPt (lIdc);
    LOOP
     FETCH GetPt INTO lVal, lPt;
     EXIT WHEN GetPt%NOTFOUND;
 
     -- Etape 2 et 3
     lRes := (lVal - TabMin(lNum)) * (lMax - lMin) / (TabMax(lNum) - TabMin(lNum)) + lMin;
     lRes := (lRes - lMin) * 1000 / (lMax - lMin);
     insert into Tmp values (lidc,lPt,pIdStat,lVal,lRes);
 
    End Loop;
    Close GetPt;   
   End if;
 
   commit;
 End Loop;
 Close GetCrs;
 
End;
/
Show err
/

Nombre de valeurs de lignes pour valeur de stat 0: 112571

exec NormalyzeValues (0)
Temps d'éxécution: 3 secondes

Résultat:
select min (oldval), min (newval), max (oldval), max (newval) from tmp;

OldMin = 0
NewMin = 0
OldMax = 19569
NewMax = 1000

Et qlq exemples

19,1 149,803922
24,7 193,72549
25 196,078431
33,1 259,607843
43,6 341,960784
46 360,784314
52,7 413,333333
66,5 521,568627
69,4 544,313725
72,4 567,843137

Ca marche !
Merci a toi!

a+
jko

18/05/2008, 15h55
souviron34

De rien :D

C'était assez simple, me semblait-il..

D'ailleurs, en y regardant une 2ième fois, je pense qu'on peut passer directement à l'étape 3 sans l'étape 2. Tel que je l'avais écrit, c'était pour la compréhension.

Mais normalement avoir seulement :

Code:

lRes := (lVal - TabMin(lNum)) * 1000 / (TabMax(lNum) - TabMin(lNum)) ;

devrait suffire
19/05/2008, 11h44
ToTo13

Bonjour,

Citation:

Envoyé par jkofr

C'est ce que j'ai fais.

J'ai 245000 lignes dans ma table et j'ai calculé la moyenne et l'écart type de ma colonne.

Alors je sais pas...

moi je sais... tu t'es trompé dans ton implémentation ;)
Si tu l'as correctement développé, tu ne peux dépasser des bornes.
Est ce que tu n'aurais pas fait le calcul de la moyenne et de l'écart type que sur la première colonne en oubliant de la refaire pour les colonnes suivantes ?