Discussion :

[islacoul12]

Bonjour,
J'ai parcouru le forum et a peu près tout internet sans réponse.
Je fait un query sur ma DB MySQL pour trouver les rows ayant une assotiation nom et prénom identiques à une autre ligne (trouver les doublon quoi)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
select * from b_contacts A 
where CONCAT(name,family_name) in 
(select CONCAT(name,family_name) from b_contacts B where B.id<>A.id) 
ORDER BY A.family_name

Cela marche, mais il faut 100 secondes à mon serveur pour exécuter ce query sur une table de 1500 enregistrements, alors que ton mes autres query sont instantanés.
Qu'est ce qui peu bien prendre autant de temps ? Ou est mon erreur ?
Merci pour vos réponses.

[ced]

Bonjour,
J'ai parcouru le forum et a peu près tout internet sans réponse.

Tu aurais dû commencer par ici. Ca traite complètement la question des doublons, avec des requêtes optimisées .

ced

[islacoul12]

Merci bcp Ced.
Je ne m'explique pas de ne pas être tombé sur cet article.
Merci en tt cas.

Bonne journée.

[Antoun]

Plus généralement, il faut absolument éviter le IN (sous-requête) avec MySQL. En effet, il ne cherche pas à détecter si la sous-requête est corrélée ou non, et la lance pour chaque ligne de la requête principale... c'est de l'anti-optimisation !

[islacoul12]

Merci encore. Mais en appliquant le querry sugéré par l'article ci-dessus.

Comme:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
SELECT DISTINCT *
FROM   T_DOUBLON T1
WHERE  EXISTS (SELECT *
               FROM   T_DOUBLON T2
               WHERE  T1.NUM <> T2.NUM
                 AND  T1.NOM    = T2.NOM
                 AND  T1.PRENOM = T2.PRENOM)

Ou:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
SELECT DISTINCT *
FROM   T_DOUBLON T1
WHERE  EXISTS
   (SELECT *
    FROM   T_DOUBLON T2
    WHERE  T1.NUM <> T2.NUM
      AND  (LOWER(T1.NOM)    LIKE '%' + LOWER(T2.NOM) + '%'    OR LOWER(T2.NOM) LIKE '%' + LOWER(T1.NOM)+'%')
      AND  (LOWER(T1.PRENOM) LIKE '%' + LOWER(T2.PRENOM) + '%' OR LOWER(T2.PRENOM) LIKE '%' + LOWER(T1.PRENOM) + '%'))

J'ai toujours des temps de plus d'une minute ! Alors qu'un select classic prend quelques milisecondes.

[SirCed]

Essaie voir ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
SELECT *, COUNT(*) AS nb 
FROM b_contacts
GROUP BY name, family_name
HAVING nb > 1
ORDER BY family_name

Cela devrait être nettement plus rapide vu qu'il n'y a pas de sous-requête. Le désavantage, c'est que tu n'as plus qu'une réponse par couple prénom-nom présent plusieurs fois. Donc MySQL renvoie les données de premier enregistrement qu'il trouve.

Vu le temps que tu cites, je pense néanmoins que c'est toujours plus rapide de faire comme cela, quitte à faire des SELECT avec les réponses que tu obitiens avec la requête ci-dessous pour compléter les informations.