Quasi Doublons sous postgresql

Version imprimable

28/04/2008, 11h10
Pogny

Quasi Doublons sous postgresql

Bonjour a tous,

je possède une base Postgresql dans laquelle se trouve une table 'Contact'. Ces contacts sont rattachés à une ville. Or ces villes ont été rentrées à la main par des personnes différentes (n'écrivant pas tous de la même manière...)

je me retrouve avec des doublons de ville (quasi-doublons) et je dois épurer ca et créer une table ville avec un indice et un libellé pour chaque villes distinctes.

J'ai isolé les villes et le id_contact correspondant et je cherche à partir d'une requête 'Select distinct * from ville ...' isolé les villes sans les doublons.

J'ai lu les petit papiers du sql sur le site et l'expression régulière fournie ne permet pas de sortir les quasi doublons de la forme :
...
BELLEGARDE
BELLEGARDE-SUR-VALSERINE
BELLEGARDE-SUR VALSERINE
BELLEGARDE SUR VALSERINE
...

la table ayant environ 13000 lignes il est hors de question de traiter cela 'manuellement'. Quelqu'un aurait une idée ou une solution(;)) a mon problème ?
28/04/2008, 13h00
valeryf

Problème classique de qualité de données adresses.
Approches:
1) affecter un code (code insee commune) unique et stable.
-à la saisie: liste de valeurs
-en batch
2) normaliser le libellé par liste de valeurs.

La poste vend un fichier Hexapost de tous les codes postaux avec libellés standardisés des villes (~500€).
Prestation commerciale pour toute l'adresse: http://www.amabis.com/service-web-rnvp.php
Prestation commerciale pour la ville: http://www.amabis.com/service-web-rnvp.php
Normalisation code postal/ville: http://www.amabis.com/service-web-adresse.php
28/04/2008, 14h11
xavier-Pierre

bonjour,
pour les problemes de tirets et d'espaces , une des solutions est de remplacer par exemple les tirets par des espaces
commune=replace (commune, '-', ' ')
28/04/2008, 14h29
Pogny

merci pour vos réponses. Mon principal problème réside dans l'importation des données ^^ (l'élimination des quasi doublons, pour faire un import propre)

Citation:

Envoyé par xavier-Pierre

bonjour,
pour les problemes de tirets et d'espaces , une des solutions est de remplacer par exemple les tirets par des espaces
commune=replace (commune, '-', ' ')

je l'ai fait grâce a Notepad et ses expressions régulières