Comparaison de données pratiquement similaires

**JeanYvette** · 06/09/2018, 16h53

Bonjour bonjour,

J'aimerais savoir si il était possible en sql de sortir une liste de données qui ont des valeurs pratiquement similaires.
Je m'explique. Imaginons une liste de clients, nom, prénom ...
J'aimerais une requête qui compare la concaténation du nom et prénom et retourne la liste des valeurs pratiquement similaires (à 1 ou 2 caractères différents)

Exemple de données

Table tb_client :

Tb_nom tb_prenom

Dupont Jeanne
Dupond Jeanne
Suquet Yves
Sucquet Yves
Croc Odile

Ici, Dupont Jeanne et Dupond Jeanne ont quasi la même écriture, la requête doit les remonter. Pareil pour Suquet Yves et Sucquet Yves.
Par contre Madame Croc Odile n'ayant pas d'homonyme ou d'association possible, elle ne serait pas remontée.

J'ai essayé le mot clé SOUNDEX mais cela ne ramène pas les bons résultats (Je donne la requête utilisé pour tester)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
SELECT *
     FROM tb_client 
     WHERE SOUNDEX(Tb_nom)
         = SOUNDEX('SUCQUET')
    order by 3;

Si quelqu'un aurait une réponse à cela...

Merci d'avance

**Ikebukuro** · 06/09/2018, 17h04

Tu dis "cela ne ramène pas les bons résultats" : et quel est le retour de ton SELECT justement?

Ces liens sont utiles pour comprendre comment fonctionne cette fonction :
https://www.techonthenet.com/oracle/...ns/soundex.php
https://dzone.com/articles/understan...ex-oracle-plsq

Au fait, est-ce que soundex marche pour le français?

Finalement, utilise plutôt utl_match, c'est pile poil ton besoin : https://docs.oracle.com/database/121...h.htm#ARPLS352

**SQLpro** · 06/09/2018, 17h33

Vous pouvez utiliser un des algorithmes de rapprochement de motif que j'ai développé notamment "inférence basique" :
https://sqlpro.developpez.com/cours/...raisons-motifs
C'est plus rapide que le Levenshtein, qui est lui, la référence en la matière.

A +

**Ikebukuro** · 06/09/2018, 21h17

Perso j'aurais plus confiance dans un package certifié Oracle.

**JeanYvette** · 07/09/2018, 12h32

Bonjour et merci pour vos réponses
Je tente d'adapter la solution de SQLPRO pour le moment en Oracle, cela devrait être fait dans l'aprem. Je reviendrais vers vous si c'est bon

Si c'est bon, SQLPRO, souhaites-tu avoir la transcription Oracle ? Autorises-tu a ce que je la poste ici ou autre ?
C'est ton algo, donc je te laisse décider

**Ikebukuro** · 07/09/2018, 12h42

Envoyé par JeanYvette

Je tente d'adapter la solution de SQLPRO pour le moment en Oracle

Est-ce que tu as testé utl_match? A priori pas la peine de réinventer la roue, ce package devrait répondre à ton besoin.

**Waldar** · 07/09/2018, 13h24

J'ai utilisé Jaro-Winkler dans un cas similaire en 2009 :
https://www.developpez.net/forums/d7...-jaro-winkler/

J'avais au final implémenté un package jaro winkler trouvé sur le web qui ne comportait pas le bug de la version Oracle.
Depuis ce bug a été corrigé, donc vous pouvez utiliser le package Oracle.

**escartefigue** · 07/09/2018, 13h24

Envoyé par JeanYvette

J'aimerais savoir si il était possible en sql de sortir une liste de données qui ont des valeurs pratiquement similaires.
Je m'explique. Imaginons une liste de clients, nom, prénom ...
J'aimerais une requête qui compare la concaténation du nom et prénom et retourne la liste des valeurs pratiquement similaires (à 1 ou 2 caractères différents)

La solution à mettre en œuvre dépend surtout du but recherché
Quel est le besoin fonctionnel ? à quoi servira la liste ainsi constituée ?

**JeanYvette** · 07/09/2018, 13h53

Je n'ai pas testé utl_match encore, je me repenche dessus que depuis midi
Merci pour les nouvelles solutions

Sinon pour répondre à ta question, le but ici est de sortir tout les clients qui ont, à quelques différences prêt, le même nom. Cela afin de voir les potentiel doublons qui ont pu s'introduire dans notre table

**escartefigue** · 07/09/2018, 14h02

S'il s'agit d'identifier des doublons fonctionnels, alors il faut fiabiliser sur d'autres critères.
Nom + Prénom est très peu fiable, il existe de très nombreux homonymes (ex : alexandre dumas ou georges bush père et fils)
L'ajout de la date de naissance est un plus, mais c'est très insuffisant.
Le numéro de sécu est déjà nettement plus fiable (et encore ça dépend des S.I.)

**JeanYvette** · 07/09/2018, 14h06

Le premier but est juste de ressortir les noms potentiellement pareil.
L'analyse d'un doublon réel se fait après via différentes informations de champs qui peuvent montrer un doublon. C'est pour cela que la requête doit ramener juste les noms qui peuvent être pareil

**escartefigue** · 07/09/2018, 14h14

Ca peut éventuellement être une première approche, mais sous réserve d'avoir préalablement fiabilisé le cas échéant le mélange nom d'usage / nom de naissance et l'utilisation de pseudonymes.
Pour avoir travaillé sur de nombreux projets de convergence de S.I. , je n'ai jamais commencé sur ce type de liste trop peu fiable : il va vous manquer des cas, et de nombreux cas seront présents à tort.

**Waldar** · 07/09/2018, 14h17

Ce n'est pas bien compliqué à utiliser :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
with mytable as
(
select 1 as id, 'Dupont Jeanne' as nom from dual union all
select 2, 'Dupond Jeanne' from dual union all
select 3, 'Suquet Yves'   from dual union all
select 4, 'Sucquet Yves'  from dual union all
select 5, 'Croc Odile'    from dual
)
select t1.id, t1.nom, t2.nom, t2.id
     , 100 * utl_match.jaro_winkler(t1.nom, t2.nom) as tx_match
  from mytable t1
  join mytable t2 on t2.id > t1.id
 where 100 * utl_match.jaro_winkler(t1.nom, t2.nom) >= 85;
 
 
ID  NOM            NOM            ID  TX_MATCH
--  -------------  -------------  --  ----------------
 1  Dupont Jeanne  Dupond Jeanne   2  96.9230769230769
 3  Suquet Yves    Sucquet Yves    4  97.7777777777778

Par contre attention aux performances si votre table contient beaucoup de lignes, c'est consommateur en CPU et la jointure n'est pas vraiment optimale.

**JeanYvette** · 07/09/2018, 14h26

Oui merci, j'étais en train de perdre de l'esprit dans la partie de requête où je voulais exclure sur l'ID (ne pas comparer le même ID)....

Merci de votre aide et désolé pour le potentiel doublon, j'étais jamais tombé sur l'UTL_MATCH pendant mes recherches

**SQLpro** · 08/09/2018, 09h35

Envoyé par JeanYvette

Bonjour et merci pour vos réponses
Je tente d'adapter la solution de SQLPRO pour le moment en Oracle, cela devrait être fait dans l'aprem. Je reviendrais vers vous si c'est bon

Si c'est bon, SQLPRO, souhaites-tu avoir la transcription Oracle ? Autorises-tu a ce que je la poste ici ou autre ?
C'est ton algo, donc je te laisse décider

OUI, oui, oui... Mes algorithmes sont libre...
Inférence basique est d'ailleurs utilisé par la préfecture de police depuis plus de 10 ans pour assurer un rapprochement phonétique entre la liste des terroristes envoyés par Interpol et les données des suspects de la police...

A +

**mnitu** · 14/09/2018, 11h36

Envoyé par JeanYvette

Bonjour et merci pour vos réponses
Je tente d'adapter la solution de SQLPRO pour le moment en Oracle, cela devrait être fait dans l'aprem. Je reviendrais vers vous si c'est bon

Si c'est bon, SQLPRO, souhaites-tu avoir la transcription Oracle ? Autorises-tu a ce que je la poste ici ou autre ?
C'est ton algo, donc je te laisse décider

https://www.developpez.net/forums/d1...s/#post8432396

Comparaison de données pratiquement similaires [11g]

SQL Oracle

Discussions similaires

Partager

Partager