Problème de suppression de doublons en PHP/SQL

Version imprimable

Bonsoir à tous,

J'aurais besoin de votre aide pour réaliser un filtre de doublon, je sais qu'il y a une fonction array_unique mais je ne sais pas comment l'utiliser dans mon cas.
Je souhaitais le faire en SQL avec GROUP BY et HAVING mais avant de filtrer le doublon je dois faire un ORDER BY Date et on n'a pas su m'aider sur les forums.

Voici ma table :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 CREATE TABLE Historique ( id int(11) NOT NULL auto_increment, Loc varchar(255), Loc1 varchar(255), Ensemble varchar(255), RepUnifilaire varchar(255), Typemat varchar(255), Typeorg varchar(255), TensionUtil varchar(255), IndicePhase varchar(255), DateIntervention DATE, TypeIntervention varchar(255), SousEnsemble varchar(255), IndexCompteurOrganePh1 varchar(255), IndexCompteurOrganePh2 varchar(255), IndexCompteurOrganePh3 varchar(255), IndexCompteurCommandePh1 varchar(255), IndexCompteurCommandePh2 varchar(255), IndexCompteurCommandePh3 varchar(255), IndexCompteurUniqueOrgane varchar(255), IndexCompteurUniqueCommande varchar(255), Prestataire varchar(255), NumCR varchar(255), ObjetTravaux varchar(255), Observation longtext, Anomalie longtext, AnomalieNonRep longtext, Concatener varchar(255), PRIMARY KEY (id), KEY id (id), UNIQUE id_2 (id) );
Et voici ma requête en PHP :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 $sql = "SELECT * FROM Historique ORDER BY DateIntervention DESC"; mysql_query("SET NAMES utf8" ); $req = mysql_query($sql) or die('Erreur SQL !<br>'.$sql.'<br>'.mysql_error()); $nb_resultats = mysql_num_rows($req); if($nb_resultats != 0) { while($data = mysql_fetch_array($req)) { //......
Après ça j'ai mon script PHP qui m'affiche mes lignes de données sous forme de tableau.

Dans ma colonne nommée "Concatener" j'ai des doublons et je souhaiterais ne garder que la première occurence de chaque doublons et ainsi supprimer les lignes contenants ces doublons. Je ne peux le faire en SQL car je veux faire un tri décroissant des dates avant de gérer ces doublons.

Merci pour votre aide

Bonsoir,

en MySQL il est possible de faire ce que tu souhaites en une seule passe tout en conservant des bonnes performances, j'ai pas essayé avec PHP :
Code:

1 2 3 4 5 6 7 set @num := 0, @concatener := ''; SELECT *, @num := if(@Concatener = concatener, @num + 1, 1) AS row_num, @concatener := Concatener AS tmp_fld FROM Historique GROUP BY Concatener DESC HAVING row_num < 2;
Yapuka tester en croisant les doigts

13/01/2012, 07h29
illidan05

Merci pour ta réponse,

le seul soucis c'est que tu fais le tri décroissant sur la colonne "Concatener" or il faut que ce tri se fasse sur la colonne "DateIntervention" avant de regrouper et supprimer les doublons de la colonne "Concatener".

Sais-tu comment faire ?

Merci encore

Code:

1 2 3 4 5 6 7 8 SELECT h1.* FROM Historique h1 WHERE h1.DateIntervention = ( SELECT MAX(h2.DateIntervention) FROM Historique h2 WHERE h2.Concatener = h1.Concatener ) ORDER BY h1.DateIntervention DESC
C'est pas hyper propre ... et je te conseille de regarder pour indexer les champs qui vont bien pour optimiser cette requête.

Citation:

Envoyé par illidan05

Dans ma colonne nommée "Concatener" j'ai des doublons et je souhaiterais ne garder que la première occurence de chaque doublons et ainsi supprimer les lignes contenants ces doublons.

Et dans ce cas de figure tu choisis comment les bons enregistrements :
Code:

1 2 3 4 5 6 DateIntervention | Concatener | Prestataire 2012-01-13 | a | x 2012-01-13 | a | y 2012-01-12 | b | z 2012-01-12 | a | w 2012-01-12 | a | y
Pourrais tu poster le résultat escompté.

Merci pour vos réponses,

ci-dessous un exemple concret de ce que je cherche à obtenir comme résultat.

Les données actuellement dans la table "Historique" :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
Loc	|	     Ensemble	        | RepUnifilaire	|     Typeorg	|   DateIntervention	|   TypeIntervention	|	         Concatener
 
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1988-12-26	|	Révision	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1988-12-27	|	Révision	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1988-12-28	|	Réépreuve	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1992-01-08	|	Correctif	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1995-11-08	|	Vérification	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2000-12-04	|	Réépreuve	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2003-01-15	|	Vérification	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2003-03-25	|	Vérification	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2006-12-01	|	Vérification	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2007-03-27	|	Correctif	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2007-11-19	|	Correctif	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2010-02-03	|	Vérification	|	A1UTransformateur TR126910FX14
 
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	1990-02-26	|	Réépreuve	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	1990-02-27	|	Révision	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	1990-02-28	|	Révision	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	1998-07-22	|	Correctif	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	1998-11-10	|	Correctif	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2001-10-10	|	Vérification	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2003-01-06	|	Vérification	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2003-06-19	|	Réépreuve	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2004-02-02	|	Révision	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2004-02-03	|	Vérification	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2005-11-25	|	Correctif	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2006-01-04	|	Correctif	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2007-01-10	|	Vérification	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2010-02-15	|	Vérification	|	A2UTransformateur TR13910PFA1
 
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2001-12-19	|	Vérification	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2001-12-20	|	Révision	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2001-12-21	|	Vérification	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2002-09-10	|	Vérification	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2003-02-03	|	Vérification	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2007-03-20	|	Vérification	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2010-10-13	|	Révision	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2010-10-14	|	Vérification	|	B1UTransformateur TR16910FXT245

Les données que je souhaiterais en sortie de ma requête SQL/PHP :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Loc	|	     Ensemble	        | RepUnifilaire	|     Typeorg	|   DateIntervention	|   TypeIntervention	|	         Concatener
 
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2007-11-19	|	Correctif	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2000-12-04	|	Réépreuve	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1988-12-27	|	Révision	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2010-02-03	|	Vérification	|	A1UTransformateur TR126910FX14
 
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2006-01-04	|	Correctif	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2003-06-19	|	Réépreuve	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2004-02-02	|	Révision	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2010-02-15	|	Vérification	|	A2UTransformateur TR13910PFA1
 
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2010-10-13	|	Révision	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2010-10-14	|	Vérification	|	B1UTransformateur TR16910FXT245

Voilà, encore merci pour votre aide

Voici ce que je te propose :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
SELECT 
   h1.*
FROM 
   Historique h1
      INNER JOIN (
         SELECT 
            Historique.`Concatener`, 
            Historique.`TypeIntervention`, 
            MAX(Historique.DateIntervention)
         FROM 
            Historique
         GROUP BY 
            Historique.`Concatener`, 
            Historique.`TypeIntervention`
      ) AS h2 ON h1.`Concatener` = h2.Concatener 
                 AND h1.`TypeIntervention` = h2.`TypeIntervention`
GROUP BY
   h1.`Concatener`, 
   h1.`TypeIntervention`
ORDER BY
   h1.`Concatener`,
   h1.`DateIntervention` DESC

Pas testé, donc croisons les doigts

14/01/2012, 08h28
illidan05
Merci pour ton aide,

J'ai testé, ça doit pas être loin du code qui permettrait de faire ce que je cherche car ça me sort un résultat mais tout ce qui devrait être affiché ne l'est pas.

Je me suis résilié à faire plus simple donc j'exporte ma table en CSV et sous excel je fais un tri décroissant par date et je renvoi tout dans mysql (à l'origine mes données venaient d'un fichier excel).
Ainsi quand je fais un GROUP BY Concatener, vu que le premier élément trouvé est gardé en référence, il tombe forcément sur la date la plus récente.
Code:

1 2 3 4 SELECT * FROM Historique GROUP BY Concatener ORDER BY Loc, Ensemble, RepUnifilaire
Le seul inconvénient c'est que 2 ou 3 fois par an je dois extraire la table sous excel et réorganiser les dates mais bon ça n'est pas un travail conséquent non plus.

En tout cas encore merci pour votre aide à tous
14/01/2012, 09h28
bhamp0

Citation:

Envoyé par illidan05

J'ai testé, ça doit pas être loin du code qui permettrait de faire ce que je cherche car ça me sort un résultat mais tout ce qui devrait être affiché ne l'est pas.

T'as essayé la requête que je t'ai donnée ?
14/01/2012, 10h08
illidan05

oui je l'ai testé mais ça ne fonctionne pas non plus

Citation:

Envoyé par illidan05

ça me sort un résultat mais tout ce qui devrait être affiché ne l'est pas.

Ah bon ? J'ai fait un test en local et je retrouve exactement ce que tu souhaites avoir en sortie. Si j'ai bien compris le résultat souhaité est d'avoir la dernière date d'intervention par type d'intervention et par appareil avec un tri décroissant sur la date. Tu noteras que l'on est loin de la requête du prermier post.
Avec une partie de tes données d'entrée, voici ce que j'obtiens :
Code:

1 2 3 4 5 6 7 8 9 DateIntervention Concatener TypeIntervention 1995-11-08 A1UTransformateur TR126910FX14 Vérification 1992-01-08 A1UTransformateur TR126910FX14 Correctif 1988-12-28 A1UTransformateur TR126910FX14 Réépreuve 1988-12-26 A1UTransformateur TR126910FX14 Révision 1995-11-08 TR126910FX14 Vérification 1992-01-08 TR126910FX14 Correctif 1988-12-28 TR126910FX14 Réépreuve 1988-12-26 TR126910FX14 Révision

14/01/2012, 14h39
illidan05

non ça n'est pas le résultat recherché, la forme est bonne mais par exemple ta première ligne affiche une vérification le 08/11/1995 alors que je voudrais qu'il prenne le plus récent soit le 03/02/2010.

En fait dans ton résultat il fait ce que je disais, il prend le premier résultat qu'il trouve et non la date la plus récente.

merci quand même pour tes essais

ok, bon j'ai corrigé :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
SELECT 
   h1.*, h2.MaxDate
FROM 
   historique h1
      INNER JOIN (
         SELECT 
            historique.`Concatener`, 
            historique.`TypeIntervention`, 
            MAX(historique.DateIntervention) AS MaxDate
         FROM 
            historique
         GROUP BY 
            historique.`Concatener`, 
            historique.`TypeIntervention`            
      ) AS h2 ON h1.`Concatener` = h2.Concatener 
                 AND h1.`TypeIntervention` = h2.`TypeIntervention`
GROUP BY
   h1.`Concatener`, 
   h1.`TypeIntervention`
ORDER BY
   h1.`Concatener`,
   h2.`MaxDate` DESC

Ce coup-ci cela devrait gazer.
Par contre tu dois utiliser MaxDate et pas DateIntervention
Je vais voir si c'est simplifiable

Comme je le pensais, c'est simplifiable et plus besoin de MaxDate :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
SELECT 
   h1.*
FROM 
   historique h1
      INNER JOIN (
         SELECT 
            historique.`Concatener`, 
            historique.`TypeIntervention`, 
            MAX(historique.DateIntervention) AS MaxDate
         FROM 
            historique
         GROUP BY 
            historique.`Concatener`, 
            historique.`TypeIntervention`            
      ) AS h2 ON h1.`Concatener` = h2.Concatener 
                 AND h1.`TypeIntervention` = h2.`TypeIntervention`
                 AND h1.`DateIntervention` = h2.`MaxDate`
GROUP BY
   h1.`Concatener`, 
   h1.`TypeIntervention`
ORDER BY
   h1.`Concatener`,
   h1.`DateIntervention` DESC

14/01/2012, 17h23
illidan05

Je ne sais pas quoi dire à part un énorme MERCI !!!

ça fonctionne parfaitement, vraiment ça m'impressionne ^^.
Je sais qu'il faudrait que j'améliore ma bdd car c'est un peu brouillon mais en attendant ça fonctionne comme je le souhaitais.

Encore merci pour ton aide