doublons sur plusieurs colonnes [Résolu]

[sheira]

Bonjour,

J'ai une table sql avec plusieurs champs. J'aimerai tester si des doublons existent sur deux de ces colonnes dans ma table pour pouvoir les supprimer.

Comment faire?

Merci d'avance!

[Madfrix]

Bonjour,

tu peux faire ceci :

Code sql :

1
2
3
4
 
SELECT * FROM taTable 
GROUP BY champ1, champ2
HAVING COUNT(*) > 1

[Maljuna Kris]

Saluton,
Tu fais deux SELECT sur la même table chacun sur une des deux colonnes que tu renommes (AS) de manière identique dans les deux SELECT.
Tu mets ces SELECTs en UNION ALL tu comptes dans un GROUP BY et tu ne retiens avec une clause HAVING que les items dont le comptage est supérieur à 1.
Tu vas comme cela détecté les doublons (voire triplets ou plus) aussi bien entre les deux colonnes que dans chacune des colonnes.

[Maljuna Kris]

Plutôt marrant, nous avons eu deux interprétations de ton exposé de problème qui débouchent, chacune, sur une solution adaptée.

[sheira]

Voilà ce que j'ai fait:

J'ai crée une nouvelle colonne dans laquelle j'ai concaténé mes 2 champs.
J'utilise donc cette colonne pour trouver les doublons:

Code :

1
2
3
4
5
6
7
SELECT doublon 
FROM cv 
WHERE `upddt` >= '2010-11-19' 
AND upddt <= '2010-11-23'  
GROUP BY doublon 
HAVING COUNT(doublon) > 1 
ORDER BY `upddt`  DESC

Maintenant comment faire pour les supprimer?

[Madfrix]

un delete avec id IN(...) ?

[sheira]

Voilà ce que je fais mais j'ai une erreur:

Code :

1
2
3
4
5
6
7
DELETE FROM cv c1 WHERE c1.doublon IN (SELECT c2.doublon 
FROM cv c2
WHERE c2.`upddt` >= '2010-11-19' 
AND c2.upddt <= '2010-11-23 10:27:01'  
GROUP BY c2.doublon 
HAVING COUNT(c2.doublon) > 1 
ORDER BY `c2`.`upddt`  DESC)

Erreur:

Code :

#1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'c1 where c1.doublon in (SELECT c2.doublon FROM cv c2 WHERE c2.`upddt` >= '201' at line 1

[Madfrix]

de mémoire je crois que la syntaxe avec des alias est celle ci :

Code sql :

1
2
 
DELETE alias FROM TABLE AS alias WHERE...

Sinon attention à ton order, il s'effectuera APRES ton group by donc si tu souhaites récupérer toutes les dates décroissantes, c'est raté. J'ai l'habitude de faire même s'il y a surement mieux quelque chose du style :

Code sql :

1
2
3
4
5
6
 
SELECT C1, C2 FROM (
   SELECT C1, C2 FROM TABLE
   ORDER BY C2 DESC
   )
GROUP BY C2

[sheira]

bon apparemment la requête delete n'accepte pas d'alias.

[Madfrix]

Elle en accepte avec la syntaxe que je t'ai donné. Quel est le message d'erreur ?

[sheira]

Voici la requête:

Code :

1
2
3
4
5
6
7
DELETE c1 FROM cv AS c1 WHERE c1.doublon IN
(SELECT c2.doublon 
FROM cv c2
WHERE c2.`upddt` >= '2010-11-19' 
AND c2.upddt <= '2010-11-23 10:27:01'  
GROUP BY c2.doublon 
HAVING COUNT(c2.doublon) > 1)

et l'erreur:

Code :

#1093 - You can't specify target table 'c1' for update in FROM clause

[sheira]

Dites avec cette requête, je ne sélectionne que les doublons?

Code :

1
2
3
4
5
6
SELECT c2.doublon 
FROM cv c2
WHERE c2.`upddt` >= '2010-11-19' 
AND c2.upddt <= '2010-11-23 10:27:01'  
GROUP BY c2.doublon 
HAVING COUNT(c2.doublon) > 1

Si je les sélectionne et que je les supprime sous phpMyAdmin, il ne me supprimera que les doublons??

[sheira]

Est qu'un alter ignore add unique ne fonctionnerait pas dans mon cas?

Code :

ALTER IGNORE TABLE  cv ADD UNIQUE INDEX(candidat_id, intitule_poste, ville, cp, email);

[Madfrix]

Un tutoriel sur l'éradication des doublons devrait faire ton affaire

[sheira]

Merci pour l'exemple et pour la doc!

Voilà ce que je fais:

Code :

1
2
3
4
5
6
7
8
9
10
DELETE
FROM   cv T
WHERE  T.cv_id < ANY (SELECT cv_id
                    FROM   cv T2
                    WHERE  T.cv_id <> T2.cv_id
                 AND  T.candidat_id    = T2.candidat_id
                 AND  T.intitule_poste = T2.intitule_poste
		 AND  T.ville = T2.ville
	         AND  T.cp = T2.cp
		 AND  T.email = T2.email)

Mais j'ai le message d'erreur suivant:

Code :

#1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'T WHERE T.cv_id < ANY (SELECT cv_id FROM cv T2 ' at line 2

Impossible de supprimer!

[CinePhil]

MySQL ne respecte une fois de plus pas la norme et ne connais pas ANY.

Après quelques minutes de recherche dans le forum MySQL, la solution s'y trouve !

[sheira]

Malheureusement CinePhil, ça ne fonctionne toujours pas chez moi avec:

Code :

1
2
3
4
5
6
7
8
DELETE FROM cv T WHERE T.cv_id < ( SELECT MIN( T2.cv_id )
FROM cv T2
WHERE T.cv_id <> T2.cv_id
AND T.candidat_id = T2.candidat_id
AND T.intitule_poste = T2.intitule_poste
AND T.ville = T2.ville
AND T.cp = T2.cp
AND T.email = T2.email )

MySQL a réponduocumentation
#1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'T
WHERE T.cv_id < ( SELECT MIN(T2.cv_id)
FROM cv T2
' at line 2

Je vais finalement me rabattre sur la requête suivante qui semble bien me supprimer les doublons:

Code :

ALTER IGNORE TABLE  TabTest ADD UNIQUE INDEX(candidat_id, intitule_poste, ville, cp, email);

Encore merci!

[CinePhil]

On a dit plus haut que l'utilisation d'alias dans un DELETE était à employer de la sorte :

Code :

1
2
DELETE alias 
FROM la_table alias...

Donc essaie cette syntaxe :

Code :

1
2
3
4
5
6
7
8
9
10
11
DELETE T 
FROM cv T 
WHERE T.cv_id < ( 
    SELECT MIN( T2.cv_id )
    FROM cv T2
    WHERE T.cv_id <> T2.cv_id
        AND T.candidat_id = T2.candidat_id
        AND T.intitule_poste = T2.intitule_poste
        AND T.ville = T2.ville
        AND T.cp = T2.cp
        AND T.email = T2.email )

[Madfrix]

Comme envoyé et dit par mp...

Code sql :

1
2
 
DELETE ALIAS FROM uneTable AS ALIAS WHERE...

[sheira]

Erreur

requête SQL: Documentation

Code :

1
2
3
4
5
6
7
8
DELETE T FROM cv T WHERE T.cv_id < ( SELECT MIN( T2.cv_id )
FROM cv T2
WHERE T.cv_id <> T2.cv_id
AND T.candidat_id = T2.candidat_id
AND T.intitule_poste = T2.intitule_poste
AND T.ville = T2.ville
AND T.cp = T2.cp
AND T.email = T2.email )

MySQL a réponduocumentation
#1093 - You can't specify target table 'T' for update in FROM clause

Rien à faire, il en veut pas mon SQL