Algorithme K

1 pièce(s) jointe(s)

Algorithme K - Means

Bonjour ...

j'ai une base de données MYSQL ...

Pièce jointe 181682

ma question est la suivante :

comment utiliser l'algo kmeans

pour la classification des clients

grouper les client qui ont des avis similaires dans un meme groupe

puis calculer la similarités entre ces client en utilisant par exemple la distance euclidienne

et savoirs quels sont les cients qui ont des avis similaires

et merci ...

qu'on comprenne bien,
ta méthode des K moyennes, tu veux l'implémenter en java ou directement dans ta base avec des procédures stockées ?

Implémentation en java

Citation:

Envoyé par EL ANSARI

Implémentation en java

Alors tu dois choisir les objets java que tu remontes de ta base de données.
En fait tu dois créer ton espace euclidien pour qu'on sache sur quoi calculer des distances.

Es-tu sur JEE ou sur un J2SE ? Cette question peut te paraître bête mais elle a son importance pour mapper tes objets java de ta base de données.

Mais quoi qu'il en soit, fournit nous tes objets java. Je pense qu'il n'y en aura que 2.
C'est à toi de voir en fonction de tes données. seul toi connaît les règles de gestion du genre :
Chaque produit a-t-il une préférence ?
chaque client a-t-il une préférence pour tous les produits ?

comme ca sans connaître tes exigences, je te proposerai d'ajouter à chaque client par composition une collection de produit pondéré d'une note.

j'utilise J2SE pour l'implémentation

J'ai trouvé un code de K-means. Est-il possible de l'appliquer sur ma base de données ou non ? Si c'est possible, pouvez-vous m'aider ? Merci.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
package systeme;
import java.applet.Applet;
import java.util.*;
import java.awt.*;
 
/**
 * Dieses Applet implementiert das k-means Verfahren. Dieses ist ein unüberwachtes
 * Klassifikationsverfahren (auch Clustering Verfahren genannt), mit dem sich 
 * Merkmalsvektoren im Merkmalsraum in Ballungszentren bzw. Cluster aufteilen 
 * lassen. 
 * 
 * @author Jens Spehr
 *
 */
 
public class Kmeans extends Applet implements Runnable {
   Vector  CrossList; /** Enthält alle Merkmalsvektoren */
   Vector  Centroids; /** Enthält die Schwerpunkte der Cluster */
   Choice  SubsetChoice; /** Steuerelement */
   Button StartButton,RestartButton,ResetButton,RunButton,DrawGButton; /** Buttons*/
   Checkbox history; /** Checkbox */
 
   Thread Go;  /** Thread für den Run-Modus. */
   int step;   /** Aktueller Schritt, in dem sich der Algorithmus befindet. */
   int subset; /** Anzahl der Cluster */ 
   Random rand; /** Zufallsvariable*/
   boolean abort; /** Abbruchkriterium */
 
   /** Erstellt das Graphic User Interface (GUI). */
   public void init() {
      rand = new Random();
      Centroids = new Vector();
 
      StartButton = new Button("Start");
      add(StartButton);
      StartButton.setEnabled(false);
 
      RestartButton = new Button("New Start");
      add(RestartButton);
      RestartButton.setEnabled(false);
 
      ResetButton = new Button("Reset");
      add(ResetButton);
      ResetButton.setEnabled(false);
 
      RunButton = new Button("Run");
      add(RunButton);
      RunButton.setEnabled(false);
 
      DrawGButton = new Button("Draw Cluster");
      add(DrawGButton);
 
      CrossList = new Vector();
 
      SubsetChoice = new Choice();
      SubsetChoice.addItem("2");
      SubsetChoice.addItem("3");
      SubsetChoice.addItem("4");
      SubsetChoice.addItem("5");
      SubsetChoice.addItem("6");
      SubsetChoice.addItem("7");
      SubsetChoice.addItem("8");
      add(SubsetChoice);
 
      history = new Checkbox("Show History");
      add(history);
 
      subset = 2;
      step = -1;
   }
 
 
   /** Zeichnet den Text, die Merkmalsvektoren und die Clusterschwerpunkte. */
   public void paint(Graphics g) 
   {
        g.setColor(Color.BLACK);
        g.drawRect(0, 500, 499, 300); 
 
        StringBuffer buffer;
        if (step == 1)    g.setColor(Color.red);
        else g.setColor(Color.black);
	buffer = new StringBuffer("Step 1: Place ranomly initial group centroids into the 2d space.");	
	g.drawString(buffer.toString(),2, 370);
 
         if (step == 2)     g.setColor(Color.red);
        else g.setColor(Color.black);
	buffer = new StringBuffer("Step 2: Assign each object to the group that has the closest centroid.");	
	g.drawString(buffer.toString(),2, 385);
 
         if (step == 3)     g.setColor(Color.red);
        else g.setColor(Color.black);
	buffer = new StringBuffer("Step 3: Recalculate the positions of the centroids. ");	
	g.drawString(buffer.toString(),2, 400);
 
        if (step == 4)     g.setColor(Color.red);
        else g.setColor(Color.black);
	buffer = new StringBuffer("Step 4: If the positions of the centroids didn't change go to the next step, else go to Step 2.");	
	g.drawString(buffer.toString(),2, 415);
 
        if (step == 5)     g.setColor(Color.red);
        else g.setColor(Color.black);
	buffer = new StringBuffer("Step 5: End.");	
	g.drawString(buffer.toString(),2, 430);
 
        // Zeichnet die Merkmalsvektoren
        Cross s;
        int numShapes = CrossList.size();
        for (int i = 0; i < numShapes; i++) 
        {
            s = (Cross) CrossList.elementAt(i); 
            s.draw(g);  
        }
        // Zeichnet die Clusterschwerpunkte
        if (step != -1) 
        {
            Quad t = new Quad();
            int numCent = Centroids.size();
            for (int i = 0; i < numCent; i++) 
            {
                t = (Quad) Centroids.elementAt(i);
                t.hist = history.getState();
 
                t.draw(g);  
            }
        }
 
   }
 
   /** Erzeugt einen neuen Merkmalsvektor durch einen Mausklick. */
   public boolean mouseUp(Event e, int x, int y) {
 
      if ((step == -1) && (allowedMousePosition(x,y)== true))
      {
          ResetButton.setEnabled(true);
          StartButton.setEnabled(true);
          RunButton.setEnabled(true);
 
          Cross s = new Cross();  
 
          s.color = Color.black;
          s.x = x;
          s.y = y;
          CrossList.addElement(s);
 
          repaint();
      }
 
      return true;
   }
 
   /** Überprüfung, ob die aktuelle Mausposition erlaubt ist. */
   public boolean allowedMousePosition(int x, int y)
   {
       if ((x>=5)&&(y>=55)&&(x<595)&&(y<345)) return true;
       else return false;
   }
 
   /** Automatisches Durchlaufen des k-means Verfahrens. In einem Schritt wird
    * für ca. 100ms verweilt. */
   public void run() {
	while (true) {
                if      (step ==-1) this.step1();
                else if (step == 1) this.step2();
                else if (step == 2) this.step3();
                else if (step == 3) step = 4;
                else if ((step == 4) && (abort==true))
                {
                    RestartButton.setEnabled(true);
                    ResetButton.setEnabled(true);
                    step = 5;
                    repaint();
                    Go.stop();
                }
                else if ((step == 4) && (abort==false))    this.step2();   
                repaint();
		try {			// Thread erfordert Ausnahme-Handler (try-catch-Klausel)
		Thread.sleep(100);
		}
		catch (InterruptedException e) {
		}
	}
}
 
   /** Managen der Button Ereignisse. */
   public boolean action(Event event, Object eventobject)
   {				
        if ((event.target==StartButton))
        {
            StartButton.setLabel("Step");
            RestartButton.setEnabled(true);
            if      (step ==-1) this.step1();
            else if (step == 1) this.step2();
            else if (step == 2) this.step3();
            else if (step == 3) step = 4;
            else if ((step == 4) && (abort==true))
            {
                StartButton.setEnabled(false);
                RunButton.setEnabled(false);
                step = 5;
            }
            else if ((step == 4) && (abort==false))    this.step2();   
            repaint();
            return true; 
        } 
         if ((event.target==RunButton))
        {
 
            Go = new Thread(this);
            Go.start();
            StartButton.setEnabled(false);
            RestartButton.setEnabled(false);
            ResetButton.setEnabled(false);
            RunButton.setEnabled(false);
 
            return true; 
        } 
        if ((event.target==DrawGButton))
        {
            if (CrossList.size()>0)  Reset();
 
            String SubsetString = SubsetChoice.getSelectedItem();
            if (SubsetString.equals("2")) subset = 2;
            if (SubsetString.equals("3")) subset = 3;
            if (SubsetString.equals("4")) subset = 4;
            if (SubsetString.equals("5")) subset = 5;
            if (SubsetString.equals("6")) subset = 6;
            if (SubsetString.equals("7")) subset = 7;
            if (SubsetString.equals("8")) subset = 8;
 
            // Erstelle Gausverteilungen
            Vector  GaussianList;
            GaussianList = new Vector();
            for (int i = 0; i<subset;i++)
            {
                Gaussian gaus = new Gaussian();  
                // Initialisiere Erwartungswert
                gaus.mux = 50 + Math.abs(rand.nextInt() % 450);
                gaus.muy = 75 + Math.abs(rand.nextInt() % 275);
                // Initialisiere Standardabweichung
                gaus.sigma = 10 + Math.abs(30 * rand.nextDouble());
 
                GaussianList.addElement(gaus);
            }
            ResetButton.setEnabled(true);
            StartButton.setEnabled(true);
            RunButton.setEnabled(true);
 
            // Erzeuge die Merkmalsvektoren
            for (int i = 0; i<subset;i++)
            {
                // Wähle Gausverteilung
                Gaussian gaus;
                gaus = (Gaussian) GaussianList.elementAt(i);
                // Erzeuge die Merkmalsvektoren für das ausgewählte Cluster
                for (int j = 0;j<2800/subset;j++)
                {
                    // Zur Performance-Steigerung wird hier keine "echte"
                    // Gausskurve verwendet. 
                    double r = 5*gaus.sigma*Math.pow(rand.nextDouble(),2);
                    double alpha = 2*Math.PI*rand.nextDouble();
                    int x = gaus.mux + (int) Math.round(r*Math.cos(alpha));
                    int y = gaus.muy + (int) Math.round(r*Math.sin(alpha));
                    // Überprüfung, ob Position erlaubt ist...
                    if (allowedMousePosition(x,y)==true)
                    {
                        // Füge den Merkmalvektor der CrossList hinzu.
                        Cross s = new Cross();  
                        s.color = Color.black;
                        s.x = x;
                        s.y = y;
                        CrossList.addElement(s);
                    }
                  }
            }
 
            repaint();
            return true; 
        } 
 
         if ((event.target==RestartButton)  && (step !=-1))
        {
            step = -1;
            abort = false;
            Centroids.removeAllElements();
            int numShapes = CrossList.size();
            Cross s;
            for (int i = 0; i < numShapes; i++) 
            {
                   s = (Cross) CrossList.elementAt(i); 
                   s.color = Color.black;
            }
            StartButton.setLabel("Start");
            StartButton.setEnabled(true);
            ResetButton.setEnabled(true);
            RunButton.setEnabled(true);
 
            this.repaint(); 
            return true; 
        } 
         if ((event.target==ResetButton))
        {
           Reset();
           return true; 
        } 
        return true;			
   }
  /** Zurücksetzen des Applet durch Löschen von allen Merkmalsvektoren und 
   * Clusterschwerpunkten. */
  public void Reset()
  {
    step = -1;
    abort = false;
    Centroids.removeAllElements();
    int numShapes = CrossList.size();
    Cross s;
    for (int i = 0; i < numShapes; i++) 
    {
           s = (Cross) CrossList.elementAt(i); 
           s.color = Color.white;
    }
    StartButton.setLabel("Start");
    StartButton.setEnabled(false);
    RestartButton.setEnabled(false);
    ResetButton.setEnabled(false);
    RunButton.setEnabled(false);
    CrossList.removeAllElements();
 
    this.repaint();  
  }
 
 /** Verteilt zufällig die Clusterschwerpunkte im 2d Merkmalsraum. */
   public void step1()
   {
       abort = false;
       String SubsetString = SubsetChoice.getSelectedItem();
       if (SubsetString.equals("2")) subset = 2;
       if (SubsetString.equals("3")) subset = 3;
       if (SubsetString.equals("4")) subset = 4;
       if (SubsetString.equals("5")) subset = 5;
       if (SubsetString.equals("6")) subset = 6;
       if (SubsetString.equals("7")) subset = 7;
       if (SubsetString.equals("8")) subset = 8;
       int numShapes = CrossList.size();
       boolean ch[] = new boolean[numShapes];
       for (int i = 0; i<numShapes;i++) ch[i]=false;
       for (int i = 0; i<subset;)
       {
           Cross s;
           Quad p = new Quad();
           int r = Math.abs(rand.nextInt() % numShapes);
           if (ch[r]==false)
           {
               s = (Cross) CrossList.elementAt(r); 
               p.x = s.x;
               p.y = s.y;
               if (i == 0) p.color = Color.green;
               else if (i == 1) p.color = Color.red;
               else if (i == 2) p.color = Color.blue;
               else if (i == 3) p.color = Color.yellow;
               else if (i == 4) p.color = Color.orange;
               else if (i == 5) p.color = Color.magenta;
               else if (i == 6) p.color = Color.cyan;
               else if (i == 7) p.color = Color.lightGray;
               else if (i == 8) p.color = Color.darkGray;
               p.History = new Vector();
 
               Centroids.addElement(p);
               ch[r] = true;
               i++;
           }
        }
       step = 1;  
   }
 
   /** Zuordnung von jedem Merkmalsvektore zum jeweils nächsten Clusterschwerpunkt */
   public void step2()
   {
        Cross s;
        Quad p;
        int numShapes = CrossList.size();
        for (int i = 0; i < numShapes; i++) 
        {
            s = (Cross) CrossList.elementAt(i); 
 
            int numCent = Centroids.size();
            int min = 0;
            double dist_min = 99999999.9;
            for (int j = 0; j < numCent; j++) 
            {
                p = (Quad) Centroids.elementAt(j);
 
                double dist = Point.distance(s.x, s.y, p.x, p.y);
                if (dist < dist_min) 
                {
                    dist_min = dist;
                    min = j;
                }
            }
            p = (Quad) Centroids.elementAt(min);
            s.color = p.color;
        }
        step = 2;
   }
 
   /** Neuberechnung der Clusterschwerpunkte. */
   public void step3()
   {
        Quad p;
        Cross s;
        Point m = new Point();
        double changes = 0.0;
        int numCent = Centroids.size();
        for (int j = 0; j < numCent; j++) 
        {
           p = (Quad) Centroids.elementAt(j);
           m.x = 0;
           m.y = 0;
           int Count = 0;
           int numShapes = CrossList.size();
           for (int i = 0; i < numShapes; i++) 
           {
               s = (Cross) CrossList.elementAt(i); 
               if (s.color == p.color) 
               {
                   m.x += s.x;
                   m.y += s.y;
                   Count++;
               }
           }
           if (Count>0)
           {
               changes += Point.distance(p.x,p.y,m.x/Count, m.y/Count);
               Point pt = new Point();
               pt.x = p.x;
               pt.y = p.y;
               p.History.addElement(pt);
               p.x = m.x / Count;
               p.y = m.y / Count;
           }
        }   
       if (changes<0.1)  abort = true;
       step = 3;       
   }
 
}

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
/** Enthält Informationen der Clusterschwerpunkte, wie Position und Color, aber 
 * auch eine Draw-Methode zum Zeichnen der Schwerpunkte.
 * Außerdem werden die Schwerpunkte aus jedem Schleifendurchlauf gespeichert, um
 * den Weg, den die Clusterschwerpunkte von Iteration zu Iteration zurücklegen,
 * darstellen zu können.
 */
class Quad {
   static public final int shapeRadius = 12;
   Color color;
   Vector  History;
   int x;
   int y;
   boolean hist;
 
   void draw(Graphics g) {
      if ((hist==true) && (History.size()>0))
      {
          Point p1,p2;
          g.setColor(Color.black);
         for (int i = 0;i<History.size();i++)
          {
              p1 = (Point) History.elementAt(i);
              if (i+1!=History.size())  p2 = (Point) History.elementAt(i+1);
              else
              {
                  p2 = new Point();
                  p2.x = this.x;
                  p2.y = this.y;
              }
              g.drawLine(p1.x+6,p1.y+6,p2.x+6,p2.y+6);
          }
      }
      g.setColor(this.color);
      g.fillOval(this.x, this.y, shapeRadius, shapeRadius);
      g.setColor(Color.black);
      g.drawOval(this.x, this.y, shapeRadius, shapeRadius);
 
    }
}

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
/** Enthält Informationen der Merkmalsvektoren, sowie eine Methode zum Zeichnen
 * der Vektoren. */
class Cross {
   static public final int shapeRadius = 2;
   Color color;
   int x;
   int y;
   void draw(Graphics g) {
      g.setColor(this.color);
      g.drawLine(this.x - shapeRadius, this.y, this.x + shapeRadius, this.y);
      g.drawLine(this.x, this.y - shapeRadius, this.x, this.y + shapeRadius);
    }
}

Code:

1
2
3
4
5
6
7
8
9
10
11
12
/** Repräsentiert eine Gausskurve. */
class Gaussian {
   int mux;
   int muy;
   double sigma;
   double function(int x, int y)
   {
       double ret = Math.exp(-0.5*((this.mux-x)*(this.mux-x)+(this.muy-y)*(this.muy-y))/(this.sigma*this.sigma));
       return ret/(Math.sqrt(2*Math.PI)*this.sigma);
   }
 
}

Pas la peine de fournir du code que tu as copié sur un site (allemand apparemment)
Le source que tu nous fournis, tu n'en utiliseras que 10% le reste est sans rapport avec ta choucroute.
D'ailleurs question : tu veux faire de la console du swing ou du web ? car le code que tu montres c'est une applet.

Mais je reste sur ce que je t'avais dit quelle sera dans tes objets java ta notion de distance et ton référenciel de coordonnées ?
Regarde ta classe Gauss pour toi une ordonnée X sera Quoi ? la note de préférence d'un produit ?

bonjour,
je veux faire de la console en swing. sur l'axe des abscisses je veux mettre la liste des produits et sur l'axe de coordonnée je veux mettre les clients. par exemple, si j'ai un point A de coordonné (1,3) ça veut dire que A de coordonné (film1,client3), etc. Donc le graphique doit comporté les points de coordonnés (filmi,clientj) et par la suite on fait un groupement des clients en sebasant sur la distance euclidienne afin de mesurer la similarité.
pour la première étape, on choisit le k groupes.
ensuite, on affecte les points au groupe le plus proche parmi les groupes choisit au départ.
ensuite, on calcule les nouveaux groupes en calculant les nouveaux centres.
en fin si n'aucun point a été changer de groupe, on s'arête.

Citation:

je veux faire de la console en swing.

Que j'interprète par : tu veux faire du swing

Citation:

si j'ai un point A de coordonné (1,3) ça veut dire que A de coordonné (film1,client3)

Ok pour ton système de coordonnées, mais elle n'est qu'en 2 dimensions que fais tu de la préférence ? on s'en fout que le client 3 ait mis une note de 2 ou de 10 du moment qu'il a vu le film ?

pour la partie code :

tu dois recoder toute l'applet (ta classe Kmeans) en swing. je dirais même faire une IHM en swing et les traitement de l'algo dans d'autre classes. Si cela avait déjà été fait, tu n'aurais eu que ton IHM a changer. D'où l'importance du découplage.
Enfin pour la partie Kmeans, je ne sais pas comment réfléchissait l'auteur de ce code (pas toi si je comprends bien), surement bien documenté mais je ne parle pas allemand. Mais ca me semble pas top aussi je ne saurait trop que te conseiller ce qu'utilise les pros : la librairie net.sf.javaml.clustering qui implémente une classe KMeans reconnu de tous !!

Donc pour me résumer :

ton système de coordonnées me parait aussi euclidien que ma grand-mère pas de norme définissable etc....
Tu dois faire une IHM en swing
Des traitement métier en JAVA
Modéliser tes clients et tes produits en Java par rapport à ta base de données

Si tu veux avancer fais les choses une par une et envoie ton code, pas ce que tu photocopies sur internet ca sert à rien.