Discussion :

[bruno.a]

Bonjour

J'ai un fichier qui contient X rubriques.
Je voudrais trouver des doublons dans ce fichier à l'aide d'une requete.
Attention, le doublon n'est pas sur la totalité des rubriques de l'enregistrement mais seulement sur quelques rubriques.
Est-ce possible ?

Merci

[michel.souris]

Oui : GROUP BY LesChampsADoublon HAVING count(*)>1

[bruno.a]

Merci Michel

cela fonctionne bien pour les trouver. J'ai oublié de préciser que je voulais les éliminer ensuite .
J'ai essayé ça mais ma requête tourne dans le vide (j'ai 60 000 enreg environ)

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
SELECT DISTINCT *
FROM   T_DOUBLON T1
WHERE  EXISTS (SELECT *
               FROM   T_DOUBLON T2
               WHERE  T1.NUM <> T2.NUM
                 AND  T1.NOM    = T2.NOM
                 AND  T1.PRENOM = T2.PRENOM)

[tatayo]

Bonjour,
L'utilisation d'une jointure externe sera bien plus performante qu'une sous-requête corrélée.
Le sujet a été souvent traité dans la section sql du forum, tu devrais y trouver ton bonheur.

Tatayo.

[bruno.a]

Une jointure externe sur toutes les rubriques doublonnées ?

[tatayo]

Oui, où est le problème ?

[michel.souris]

Sinon tu fais un CREATE TABLE AS SELECT de ta requête de dédoublonnage... et tu obtiens une tableau propre...

[bruno.a]

J'ai fait comme ça et cela semble fonctionner quand je fais un SELECT au lieu de DELETE

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
DELETE FROM table
LEFT OUTER JOIN (
        SELECT MIN(id) as id, champ1, champ2, champ3
        FROM table
        GROUP BY champ1, champ2, champ3
    ) as t1 
    ON table.id = t1.id
WHERE t1.id IS NULL

[tatayo]

Quelle est la base de données ?
Si c'est HF, je doute qu'il supporte une jointure dans un DELETE.

Tatayo.

[bruno.a]

Effectivement je suis sur HF.
Le SELECT fonctionne bien. Je n'ai pas encore testé le DELETE.
Si celui-ci ne fonctionne pas j'aurais au moins les ID à supprimer ce qui me permettra de faire un DELETE FROM fichier WHERE ID EXISTS IN.


Bruno

[tatayo]

Tu peux optimiser ta requête:

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
select t1.id
from LaTable t1
left outer join LaTable t2 on t1.id > t2.id and t1.nom = t2.nom and t1.prenom = t2.prenom
where t2.id is not null

Tatayo.

[bruno.a]

J'ai essayé et cela a l'air + rapide en effet par contre j'ai des doublons (je comprends pas pourquoi d'ailleurs). En mettant un distinct j'ai la même chose que la requete précédente.

[michel.souris]

L’inconvénient de cette méthode est qu'elle ne remonte pas de façon évidente les triplons et autres...

Je vous recommande vivement de passer par un GROUP BY/HAVING, de générer une table tampon et de supprimer vos doublons dans un second temps.

DISTINCT n'est pas un fonction utile au dédoublonnage, cela permet juste de visualiser les différentes valeurs d'un champ.... et en plus je soupçonne HF de faire n'importe quoi en présence d'un DISTINCT

[michel.souris]

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
select t1.id
from LaTable t1
left outer join LaTable t2 on t1.id > t2.id and t1.nom = t2.nom and t1.prenom = t2.prenom
where t2.id is not null

=> je ne vois aucun intérêt au LEFT JOIN puisque tu fais une restriction sur la table lefté... donc autant faire un INNER JOIN et supprimer la clause WHERE (ce qui revient exactement au même).

[tatayo]

En fait j'étais parti de la requête qui renvoie les id à garder, et j'ai juste changé le critère pour récupérer les id à jeter:

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
select t1.id
from LaTable t1
left outer join LaTable t2 on t1.id > t2.id and t1.nom = t2.nom and t1.prenom = t2.prenom
where t2.id is null

C'est pour cela que la requête renvoie des doublons, puisque justement elle doit renvoyer les doublons !
Mais je suis d'accord, ici autant prendre une jointure interne.

Tatayo.