Problème de suppression de doublons en PHP/SQL

[illidan05]

Bonsoir à tous,

J'aurais besoin de votre aide pour réaliser un filtre de doublon, je sais qu'il y a une fonction array_unique mais je ne sais pas comment l'utiliser dans mon cas.
Je souhaitais le faire en SQL avec GROUP BY et HAVING mais avant de filtrer le doublon je dois faire un ORDER BY Date et on n'a pas su m'aider sur les forums.

Voici ma table :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
CREATE TABLE Historique ( 
id int(11) NOT NULL auto_increment, 
Loc varchar(255), 
Loc1 varchar(255), 
Ensemble varchar(255), 
RepUnifilaire varchar(255), 
Typemat varchar(255), 
Typeorg varchar(255), 
TensionUtil varchar(255), 
IndicePhase varchar(255), 
DateIntervention DATE, 
TypeIntervention varchar(255), 
SousEnsemble varchar(255), 
IndexCompteurOrganePh1 varchar(255), 
IndexCompteurOrganePh2 varchar(255), 
IndexCompteurOrganePh3 varchar(255), 
IndexCompteurCommandePh1 varchar(255), 
IndexCompteurCommandePh2 varchar(255), 
IndexCompteurCommandePh3 varchar(255), 
IndexCompteurUniqueOrgane varchar(255), 
IndexCompteurUniqueCommande varchar(255), 
Prestataire varchar(255), 
NumCR varchar(255), 
ObjetTravaux varchar(255), 
Observation longtext, 
Anomalie longtext, 
AnomalieNonRep longtext, 
Concatener varchar(255), 
PRIMARY KEY (id), 
KEY id (id), 
UNIQUE id_2 (id) );

Et voici ma requête en PHP :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
$sql = "SELECT * FROM Historique ORDER BY DateIntervention DESC";
 
mysql_query("SET NAMES utf8" );
 
$req = mysql_query($sql) or die('Erreur SQL !<br>'.$sql.'<br>'.mysql_error()); 
 
$nb_resultats = mysql_num_rows($req);
 
if($nb_resultats != 0)
{
         while($data = mysql_fetch_array($req)) 
         {	
//......

Après ça j'ai mon script PHP qui m'affiche mes lignes de données sous forme de tableau.

Dans ma colonne nommée "Concatener" j'ai des doublons et je souhaiterais ne garder que la première occurence de chaque doublons et ainsi supprimer les lignes contenants ces doublons. Je ne peux le faire en SQL car je veux faire un tri décroissant des dates avant de gérer ces doublons.

Merci pour votre aide

[rawsrc]

Bonsoir,

en MySQL il est possible de faire ce que tu souhaites en une seule passe tout en conservant des bonnes performances, j'ai pas essayé avec PHP :

Code sql :

1
2
3
4
5
6
7
SET @num := 0, @concatener := '';
SELECT *, 
   @num := IF(@Concatener = concatener, @num + 1, 1) AS row_num,
   @concatener := Concatener AS tmp_fld
FROM Historique
GROUP BY Concatener DESC
HAVING row_num < 2;

Yapuka tester en croisant les doigts

[illidan05]

Merci pour ta réponse,

le seul soucis c'est que tu fais le tri décroissant sur la colonne "Concatener" or il faut que ce tri se fasse sur la colonne "DateIntervention" avant de regrouper et supprimer les doublons de la colonne "Concatener".

Sais-tu comment faire ?

Merci encore

[bhamp0]

Code :

1
2
3
4
5
6
7
8
SELECT h1.*
FROM Historique h1
WHERE h1.DateIntervention = (
     SELECT MAX(h2.DateIntervention)
     FROM Historique h2
     WHERE h2.Concatener = h1.Concatener
)
ORDER BY h1.DateIntervention DESC

C'est pas hyper propre ... et je te conseille de regarder pour indexer les champs qui vont bien pour optimiser cette requête.

[rawsrc]

Envoyé par illidan05

Dans ma colonne nommée "Concatener" j'ai des doublons et je souhaiterais ne garder que la première occurence de chaque doublons et ainsi supprimer les lignes contenants ces doublons.

Et dans ce cas de figure tu choisis comment les bons enregistrements :

Code text :

1
2
3
4
5
6
DateIntervention | Concatener | Prestataire
   2012-01-13    |     a      |      x
   2012-01-13    |     a      |      y
   2012-01-12    |     b      |      z
   2012-01-12    |     a      |      w
   2012-01-12    |     a      |      y

Pourrais tu poster le résultat escompté.

[illidan05]

Merci pour vos réponses,

ci-dessous un exemple concret de ce que je cherche à obtenir comme résultat.

Les données actuellement dans la table "Historique" :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
Loc	|	     Ensemble	        | RepUnifilaire	|     Typeorg	|   DateIntervention	|   TypeIntervention	|	         Concatener
 
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1988-12-26	|	Révision	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1988-12-27	|	Révision	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1988-12-28	|	Réépreuve	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1992-01-08	|	Correctif	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1995-11-08	|	Vérification	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2000-12-04	|	Réépreuve	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2003-01-15	|	Vérification	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2003-03-25	|	Vérification	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2006-12-01	|	Vérification	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2007-03-27	|	Correctif	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2007-11-19	|	Correctif	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2010-02-03	|	Vérification	|	A1UTransformateur TR126910FX14
 
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	1990-02-26	|	Réépreuve	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	1990-02-27	|	Révision	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	1990-02-28	|	Révision	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	1998-07-22	|	Correctif	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	1998-11-10	|	Correctif	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2001-10-10	|	Vérification	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2003-01-06	|	Vérification	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2003-06-19	|	Réépreuve	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2004-02-02	|	Révision	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2004-02-03	|	Vérification	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2005-11-25	|	Correctif	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2006-01-04	|	Correctif	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2007-01-10	|	Vérification	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2010-02-15	|	Vérification	|	A2UTransformateur TR13910PFA1
 
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2001-12-19	|	Vérification	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2001-12-20	|	Révision	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2001-12-21	|	Vérification	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2002-09-10	|	Vérification	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2003-02-03	|	Vérification	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2007-03-20	|	Vérification	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2010-10-13	|	Révision	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2010-10-14	|	Vérification	|	B1UTransformateur TR16910FXT245

Les données que je souhaiterais en sortie de ma requête SQL/PHP :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Loc	|	     Ensemble	        | RepUnifilaire	|     Typeorg	|   DateIntervention	|   TypeIntervention	|	         Concatener
 
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2007-11-19	|	Correctif	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2000-12-04	|	Réépreuve	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	1988-12-27	|	Révision	|	A1UTransformateur TR126910FX14
A1U	|	Transformateur TR12	|	6910	|	FX14	|	2010-02-03	|	Vérification	|	A1UTransformateur TR126910FX14
 
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2006-01-04	|	Correctif	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2003-06-19	|	Réépreuve	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2004-02-02	|	Révision	|	A2UTransformateur TR13910PFA1
A2U	|	Transformateur TR1	|	3910	|	PFA1	|	2010-02-15	|	Vérification	|	A2UTransformateur TR13910PFA1
 
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2010-10-13	|	Révision	|	B1UTransformateur TR16910FXT245
B1U	|	Transformateur TR1	|	6910	|	FXT245	|	2010-10-14	|	Vérification	|	B1UTransformateur TR16910FXT245

Voilà, encore merci pour votre aide

[rawsrc]

Voici ce que je te propose :

Code sql :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
SELECT 
   h1.*
FROM 
   Historique h1
      INNER JOIN (
         SELECT 
            Historique.`Concatener`, 
            Historique.`TypeIntervention`, 
            MAX(Historique.DateIntervention)
         FROM 
            Historique
         GROUP BY 
            Historique.`Concatener`, 
            Historique.`TypeIntervention`
      ) AS h2 ON h1.`Concatener` = h2.Concatener 
                 AND h1.`TypeIntervention` = h2.`TypeIntervention`
GROUP BY
   h1.`Concatener`, 
   h1.`TypeIntervention`
ORDER BY
   h1.`Concatener`,
   h1.`DateIntervention` DESC

Pas testé, donc croisons les doigts

[illidan05]

Merci pour ton aide,

J'ai testé, ça doit pas être loin du code qui permettrait de faire ce que je cherche car ça me sort un résultat mais tout ce qui devrait être affiché ne l'est pas.

Je me suis résilié à faire plus simple donc j'exporte ma table en CSV et sous excel je fais un tri décroissant par date et je renvoi tout dans mysql (à l'origine mes données venaient d'un fichier excel).
Ainsi quand je fais un GROUP BY Concatener, vu que le premier élément trouvé est gardé en référence, il tombe forcément sur la date la plus récente.

Code :

1
2
3
4
SELECT * 
FROM Historique
GROUP BY Concatener
ORDER BY Loc, Ensemble, RepUnifilaire

Le seul inconvénient c'est que 2 ou 3 fois par an je dois extraire la table sous excel et réorganiser les dates mais bon ça n'est pas un travail conséquent non plus.

En tout cas encore merci pour votre aide à tous

[bhamp0]

Envoyé par illidan05

J'ai testé, ça doit pas être loin du code qui permettrait de faire ce que je cherche car ça me sort un résultat mais tout ce qui devrait être affiché ne l'est pas.

T'as essayé la requête que je t'ai donnée ?

[illidan05]

oui je l'ai testé mais ça ne fonctionne pas non plus

[rawsrc]

Envoyé par illidan05

ça me sort un résultat mais tout ce qui devrait être affiché ne l'est pas.

Ah bon ? J'ai fait un test en local et je retrouve exactement ce que tu souhaites avoir en sortie. Si j'ai bien compris le résultat souhaité est d'avoir la dernière date d'intervention par type d'intervention et par appareil avec un tri décroissant sur la date. Tu noteras que l'on est loin de la requête du prermier post.
Avec une partie de tes données d'entrée, voici ce que j'obtiens :

Code :

1
2
3
4
5
6
7
8
9
DateIntervention                Concatener                  TypeIntervention
   1995-11-08             A1UTransformateur TR126910FX14     Vérification
   1992-01-08             A1UTransformateur TR126910FX14     Correctif
   1988-12-28             A1UTransformateur TR126910FX14     Réépreuve
   1988-12-26             A1UTransformateur TR126910FX14     Révision
   1995-11-08             TR126910FX14                       Vérification
   1992-01-08             TR126910FX14                       Correctif
   1988-12-28             TR126910FX14                       Réépreuve
   1988-12-26             TR126910FX14                       Révision

[illidan05]

non ça n'est pas le résultat recherché, la forme est bonne mais par exemple ta première ligne affiche une vérification le 08/11/1995 alors que je voudrais qu'il prenne le plus récent soit le 03/02/2010.

En fait dans ton résultat il fait ce que je disais, il prend le premier résultat qu'il trouve et non la date la plus récente.

merci quand même pour tes essais

[rawsrc]

ok, bon j'ai corrigé :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
SELECT 
   h1.*, h2.MaxDate
FROM 
   historique h1
      INNER JOIN (
         SELECT 
            historique.`Concatener`, 
            historique.`TypeIntervention`, 
            MAX(historique.DateIntervention) AS MaxDate
         FROM 
            historique
         GROUP BY 
            historique.`Concatener`, 
            historique.`TypeIntervention`            
      ) AS h2 ON h1.`Concatener` = h2.Concatener 
                 AND h1.`TypeIntervention` = h2.`TypeIntervention`
GROUP BY
   h1.`Concatener`, 
   h1.`TypeIntervention`
ORDER BY
   h1.`Concatener`,
   h2.`MaxDate` DESC

Ce coup-ci cela devrait gazer.
Par contre tu dois utiliser MaxDate et pas DateIntervention
Je vais voir si c'est simplifiable

[rawsrc]

Comme je le pensais, c'est simplifiable et plus besoin de MaxDate :

Code sql :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
SELECT 
   h1.*
FROM 
   historique h1
      INNER JOIN (
         SELECT 
            historique.`Concatener`, 
            historique.`TypeIntervention`, 
            MAX(historique.DateIntervention) AS MaxDate
         FROM 
            historique
         GROUP BY 
            historique.`Concatener`, 
            historique.`TypeIntervention`            
      ) AS h2 ON h1.`Concatener` = h2.Concatener 
                 AND h1.`TypeIntervention` = h2.`TypeIntervention`
                 AND h1.`DateIntervention` = h2.`MaxDate`
GROUP BY
   h1.`Concatener`, 
   h1.`TypeIntervention`
ORDER BY
   h1.`Concatener`,
   h1.`DateIntervention` DESC

[illidan05]

Je ne sais pas quoi dire à part un énorme MERCI !!!

ça fonctionne parfaitement, vraiment ça m'impressionne ^^.
Je sais qu'il faudrait que j'améliore ma bdd car c'est un peu brouillon mais en attendant ça fonctionne comme je le souhaitais.

Encore merci pour ton aide