Discussion :

[Pogny]

Bonjour a tous,

je possède une base Postgresql dans laquelle se trouve une table 'Contact'. Ces contacts sont rattachés à une ville. Or ces villes ont été rentrées à la main par des personnes différentes (n'écrivant pas tous de la même manière...)

je me retrouve avec des doublons de ville (quasi-doublons) et je dois épurer ca et créer une table ville avec un indice et un libellé pour chaque villes distinctes.

J'ai isolé les villes et le id_contact correspondant et je cherche à partir d'une requête 'Select distinct * from ville ...' isolé les villes sans les doublons.

J'ai lu les petit papiers du sql sur le site et l'expression régulière fournie ne permet pas de sortir les quasi doublons de la forme :
...
BELLEGARDE
BELLEGARDE-SUR-VALSERINE
BELLEGARDE-SUR VALSERINE
BELLEGARDE SUR VALSERINE
...

la table ayant environ 13000 lignes il est hors de question de traiter cela 'manuellement'. Quelqu'un aurait une idée ou une solution() a mon problème ?

[valeryf]

Problème classique de qualité de données adresses.
Approches:
1) affecter un code (code insee commune) unique et stable.
-à la saisie: liste de valeurs
-en batch
2) normaliser le libellé par liste de valeurs.

La poste vend un fichier Hexapost de tous les codes postaux avec libellés standardisés des villes (~500€).
Prestation commerciale pour toute l'adresse: http://www.amabis.com/service-web-rnvp.php
Prestation commerciale pour la ville: http://www.amabis.com/service-web-rnvp.php
Normalisation code postal/ville: http://www.amabis.com/service-web-adresse.php

[xavier-Pierre]

bonjour,
pour les problemes de tirets et d'espaces , une des solutions est de remplacer par exemple les tirets par des espaces
commune=replace (commune, '-', ' ')

[Pogny]

merci pour vos réponses. Mon principal problème réside dans l'importation des données ^^ (l'élimination des quasi doublons, pour faire un import propre)

bonjour,
pour les problemes de tirets et d'espaces , une des solutions est de remplacer par exemple les tirets par des espaces
commune=replace (commune, '-', ' ')

je l'ai fait grâce a Notepad et ses expressions régulières