Discussion :

[tuxy]

Bonjour à tous,

Je cherche à trouver et lister les doublons provoqués par la similarité des noms (ou faute, inversions de caractères ect...) d'un champ de table MySql mais me heurte à un problème.

J'ai essayé SOUNDEX mais cela ne me donne pas satisfaction (résultats incomplets) exemples "Au petit marché" et "Aux petit marché" qui ne ressort pas.

J'ai tenté également un MATCH() ... AGAINST(), qui est attractif mais ne me donne apparemment pas la possibilité de retrouver "Tartampion" et "Tatranpion" par exemple

Je suis actuellement en recherche sur les REGEXP mais je tourne en rond.

Désolé pour l'explication mais en gros je souhaiterais pouvoir lister ma table en prenant chaque nom d'entreprise qu'elle contient et vérifier si ce nom à une correspondance quelconque avec un autre situé dans la même table (tant pis s'il y a redondance) afin de trouver par exemple pour "Entreprise Dupont" -> "Entreprise Dupond", "Enteprise Duont", "SARL Dupont", "Dupon EURL", "Mon entrprise Dupont" etc...

PHP Version 4.3.10-22
MySQL 4.1.11-Debian_4sarge7

Merci beaucoup de votre aide et amitiés

[ced]

Bonjour,

Une solution est présentée dans le tutoriel ici.
En MySQL 4.1, ça devrait fonctionner (j'ai un petit doute sur la version d'apparition du EXISTS dans MySQL).

Sinon, il faut s'en inspirer pour créer éventuellement une table temporaire et la croiser aux données.

Bon courage,

ced

[tuxy]

Bonsoir Ced et merci de la réponse,

Oui j'ai bien vu bon tutoriel d'SQLPro, mais voilà, le dernier exemple surtout mais après retouche de celui-ci pour Mysql, il ne me renvoi pas de résultat, ce qui est étonnant dans la mesure ou la base contient bien des doublons, j'en ai même ajouté afin de simuler un doublon relatif. Je me suis peut-être trompé quelque part voici la chose :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
SELECT DISTINCT * FROM employeur AS A WHERE EXISTS (
    SELECT * 
    FROM employeur AS B
    WHERE  'A.id_employeur' <> 'B.id_employeur'
    AND  'A.rs_employeur' LIKE '%B.rs_employeur%' OR 'B.rs_employeur' LIKE '%A.rs_employeur%'
)

De plus, je ne pense pas que cela puisse résoudre mon problème entièrement ? Je crois effectivement que votre 'bon courage' va m'aller comme un gant...

Merci de nouveau et amitiés.

[Maljuna Kris]

Saluton,
Objectivement, les possibilités sont si nombreuses qu'il me semble vain de s'y essayer.
Même avec un REGEXP, ça me semble peine perdu d'avance.

[CinePhil]

Ce qui fait que deux lignes de la même table peuvent en fait représenter la même entreprise, ce n'est pas seulement le nom de l'entreprise mais peut-être aussi que les deux lignes aient :
- la même adresse ;
- le même téléphone ;
- le même SIRET ;
- le même code de TVA intra-communautaire...

Une série de requêtes sur d'autres critères que le nom peut permettre de débusquer les principaux doublons. Il faut ensuite les corriger à la main, en faisant attention aux conséquences sur les tables liées. Si vous supprimez le client 'Entreprise Dupond' parce qu'en réalité il s'agit de 'Entreprise Dupont' et qu'en cascade cela supprime 85 factures, le comptable va vous parler du pays !

Après ce premier tri, il est possible de chercher les lignes pour lesquelles des renseignements importants sont manquants et de voir ensuite pour chacune si une autre entreprise pourrait correspondre parce qu'elle a un nom voisin.

Enfin, il est possible de faire une recherche sur une partie du nom pour obtenir les ressemblances :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
SELECT * 
FROM Entreprises
WHERE NomEntreprise LIKE '%Dupon%'

Mais il y a effectivement tellement de cas que ce sera de toute façon un travail de fourmi.
Bon courage ! Et gare au comptable, il pourrait 'oublier' votre paye en représailles '

[tuxy]

Merci des réponses.

Étonnant cette faculté de tout vouloir trop bien faire... J'aurais au moins essayé d'approcher le Nirvana, mais je me rangerai du même côté que vous. Remarquez qu'il s'agit là d'un vrai casse tête.

Pour CinePhil, si seulement j'avais de bons élèves, le SIRET m'aurait suffit (encore faut-il qu'il soit entré correctement, mais cela peu se faire) seulement voilà,un SIRET ca sert à quoi ? donc on ne le rentre pas. Va falloir que je sois plus strict.

Pour le comptable, en effet va pas être content, mais là c'est plus simple à gérer, on fait ou on ne faitt pas...

Bref on fera comme d'habitude, le maximum raisonnablement possible...

Merci beaucoup en tout cas pour vos réponses.

CinPhil je vous contacte en privé, je viens de voir dans votre profil une chose qui me turlupine...

Amitiés