Discussion :

[exile69]

Bonjour,

Nous voudrions migrer une base client (environ 130 000 comptes clients) sur une nouvelle base de données. L'ensemble sous SQL Server 2012.

Par contre, avant d'effectuer cette migration, nous avons dans les 130 000 comptes clients énormément de doublons, voir des quadruples, des vingtuples et plus !

Existe il une méthode permettant d'enlever tous ces doublons ? Actuellement nous essayons de dé doublonner par nom client + adresse + siret, puis par nom client + adresse puis par nom client.

Le problème étant que nous pouvons avoir des clients avec le même nom mais dont l'adresse ou le siret est complètement différent. A ce moment là je pense, que ce sont les utilisateurs métier qui peuvent uniquement faire le tri.

Merci d'avance

Cordialement

[aieeeuuuuu]

Bonjour,

Oui, il existe des méthodes pour dédoublonner. Mais il faut commencer par définir ce que sont les doublons.
Donc il faut dans premier temps définir ce qu'est un doublon dans votre système, et ce que vous devez en faire.

[exile69]

Nous avons identifié 3 types de doublons :

• nom client + adresse + siret
• nom client + adresse
• nom client

Le but étant de ne plus avoir de doublons.

[aieeeuuuuu]

heu... donc on peut réduire tout ça à un seul type de doublon : les clients qui ont le même nom...

Et que devez-vous en faire ?

[exile69]

Peut être qu'avec un exemple sa sera plus facile :

Soit les clients suivant avec son nom + adresse + siret :

EDF 10 rue de la Villette 45263528996523
EDF chemin du Nord 41256985423698
E.D.F. 10 rue de la Villette 45263528996523
EDF rue de Toto 41256398548965

Le but étant d'avoir un seul client =>

EDF 10 rue de la Villette 45263528996523

Nous avions pensé faire une interface, sur laquelle l'utilisateur pourrais faire le tri dans les doublons, mais trier 130 000 clients c'est beaucoup trop long....

[aieeeuuuuu]

Donc vous voulez "fusionner" les clients qui aurait en commun l'une des propriétés [nom | adresse | siret] ?

[exile69]

oui en faisant un script sql, par contre on proposerai à l'utilisateur ensuite une interface pour qu'il puisse vérifier si les données fusionnées sont juste

[aieeeuuuuu]

Le but étant d'avoir un seul client =>

EDF 10 rue de la Villette 45263528996523

Pourquoi celui-là et pas un des trois autres ?

[exile69]

J'ai pris celui là mais j'aurais pu en prendre un autre, c'est l'utilisateur qui choisi quel client garder. Ensuite il décide si tel ou tel autre client correspond à celui qu'il a choisi en premier pour les fusionner.

[aieeeuuuuu]

vous pouvez partir d'une requête comme celle-ci, à affiner en fonction de vos besoins

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
SELECT *
FROM Client C1
INNER JOIN Client C2
    ON C2.id > C1.id
    AND (
        C2.nom = C1.nom
        OR C2.adresse = C1.adresse
        OR C2.siret= C1.siret
    )
AND NOT EXISTS (
    SELECT 1
    FROM Client C3
    WHERE C3.id < C2.id
    AND (
        C2.nom = C3.nom
        OR C2.adresse = C3.adresse
        OR C2.siret= C3.siret
    )
)

[SQLpro]

Bonjour,

Nous voudrions migrer une base client (environ 130 000 comptes clients) sur une nouvelle base de données. L'ensemble sous SQL Server 2012.

Par contre, avant d'effectuer cette migration, nous avons dans les 130 000 comptes clients énormément de doublons, voir des quadruples, des vingtuples et plus !

Existe il une méthode permettant d'enlever tous ces doublons ? Actuellement nous essayons de dé doublonner par nom client + adresse + siret, puis par nom client + adresse puis par nom client.

Le problème étant que nous pouvons avoir des clients avec le même nom mais dont l'adresse ou le siret est complètement différent. A ce moment là je pense, que ce sont les utilisateurs métier qui peuvent uniquement faire le tri.

Merci d'avance

Cordialement

Votre problématique est ce que l'on appelle communément "identito-vigilance", c'est à dire faire en sorte de ne jamais créer des doublons sémantique par vigilance sur les données d'identification...
Pour cela il faut un modèle de base de données répondant à cet objectif. par exemple pour les personnes (physiques ou morales, le modèle que j'ai donné pour une base dans le domaine de la santé pourrait bien s’adapter à votre problématique : http://blog.developpez.com/exercices-sql/p9438

Pour vous aider dans cette migration, vous pouvez utilisez SSIS qui dispose d'algorithmes en logique flou destinés à rapprocher des données similaires. Il est cependant nécessaire d'établir un standard ce qui peut être faite pas différentes passes successives.

Dans le même esprit, vous aurez sans doute besoin de fonction de rapprochement de motif capable de détecter le niveau de similitude de différentes chaines de caractères candidates.

Regardez les fonctions que j'ai créé à cet effet, en lisant l'article que j'ai rédigé : http://sqlpro.developpez.com/cours/s...aisons-motifs/

En particulier la fonction d’inférence basique donne de bon résultat rapidement. Certes le Levenshtein est plus pointu mais son aspect récursif le rend lent en pratique....

A

[exile69]

Merci de ta réponse SQLPro, je vais regarder tout sa