Comparaison de noms de villes

Version imprimable

26/06/2024, 17h57
Judicieusement

1 pièce(s) jointe(s)

Comparaison de noms de villes

Bonjour !

J'aimerais trouver un moyen de comparer deux colonnes. Ici des villes. L'idée est de créer une troisieme colonne qui permette d'obtenir un score de similarité par exemple afin de savoir si une ville est dans la Source 1 et dans le Source 2 ou seulement dans la source 1/seulement dans la source 2.
Je ne sais pas si je m'y prends correctement avec cette histoire de score de similarité, jai entendu parlé des NLP mais je n'en n'ai jamais fait. Pensez vous que ce soit une bonne idée ?

Merci beaucoup :)

(j'utilise google collab pour m'exercer)

Pièce jointe 656519
26/06/2024, 19h43
papajoker

bonjour

c'est un exercice comme l'indique le nom ? alors utiliser un truc (NLP ou autre) est forcément une très mauvaise idée si cela n'a pas été vu en cours.
Et prendre une usine qui construit des bulldozers pour enfoncer un seul clou, est aussi généralement une idée pas très lumineuse.
Dans ta liste, on peut voir une différence majuscule/miniscule entre les colonnes, peut être que c'est ton unique problème ?

"score de similarité" ? un score est directement lié à ta méthode de comparaison, cela ne veux rien dire, c'est a toi de l'inventer. 0/1 true/false est un scrore qui semble pertinent pour un début

Bonjour

Comparer si deux mots sont similaires (à un ratio de similitude près) est facile en Python, grâce à SequenceMatcher du module difflib. Je l'ai beaucoup utilisé pour des recherches de mots dans une liste, en tenant compte d'éventuels fautes de frappe.

Il faut aussi utiliser deux options: sans casse (majuscules/minuscules) et sans accent. Si on voulait comparer des noms de fichiers, il faudrait ajouter une option "sans extension".

Voilà un petit code qui fait ça:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
# -*- coding: utf-8 -*-
 
from difflib import SequenceMatcher  # pour recherche de mot similaire
from unicodedata import normalize, combining # pour supprimer les accents
 
##############################################################################
def supaccents(chaine):
    """Supprime les accents de la chaine de caractères 'chaine' (unicode)
       Utilise unicodedata (.normalize et .combining)
    """
    chnorm = normalize('NFKD', chaine)
    return "".join([car for car in chnorm if not combining(car)])
 
##############################################################################
class Simil(object):
    """Vérifie si un mot est similaire au mot de référence au ratio près
    """
 
    #=========================================================================
    def __init__(self, motref, sanscasse=True, sansaccent=True, ratio=0.75):
        """Initialise le test
           - motref: mot de référence
           - sanscasse: si True => ne tient pas compte de la casse (maj-min)
           - sansaccent: si True => ne tient pas compte des accents
           - ratio: ratio de similitude (1.0: identique, 0.0: accepte tout)
        """
        self.motref = motref
        self.ratio = ratio
        self.sanscasse = sanscasse
        self.sansaccent = sansaccent
 
        # tient compte ou pas de la casse (majuscule/minuscule)
        self.motref = self.motref.lower() if self.sanscasse else self.motref
 
        # tient compte ou pas des accents
        self.motref = supaccents(self.motref) if self.sansaccent else self.motref
 
    #=========================================================================
    def __call__(self, mot):
        """retourne True si la similitude calculée est >= au ratio objectif,
        """
        # tient compte ou pas de la casse (majuscule/minuscule)
        mot = mot.lower() if self.sanscasse else mot
 
        # tient compte ou pas des accents
        mot = supaccents(mot) if self.sansaccent else mot
 
        ratiofic = SequenceMatcher(None, mot, self.motref).ratio()
 
        return ratiofic>=self.ratio, ratiofic

Exemples d'utilisation:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
motref = "Dupont"
mot = "dupond"
 
simil = Simil(motref, ratio=0.80)
print(mot, "ratio=0.80", simil(mot))
 
simil = Simil(motref, ratio=0.90)
print(mot, "ratio=0.90", simil(mot))
 
simil = Simil(motref, sanscasse=False, ratio=1.00)
print(mot, "ratio=1.00", simil(mot))# n'accepte que si les mots sont identiques
 
simil = Simil(motref, sanscasse=False, ratio=1.00)
print("Dupont", "ratio=1.00", simil("Dupont"))# n'accepte que si les mots sont identiques
 
simil = Simil(motref, sanscasse=False, ratio=0.0)
print(mot, "ratio=0.00", simil(mot)) # accepte dans tous les cas
 
simil = Simil(motref, sanscasse=False, ratio=0.0)
print("abcdef", "ratio=0.00", simil("abcdef")) # accepte dans tous les cas

Ce qui donne:

Code:

1
2
3
4
5
6
dupond ratio=0.80 (True, 0.8333333333333334)
dupond ratio=0.90 (False, 0.8333333333333334)
dupond ratio=1.00 (False, 0.6666666666666666)
Dupont ratio=1.00 (True, 1.0)
dupond ratio=0.00 (True, 0.6666666666666666)
abcdef ratio=0.00 (True, 0.0)

Bonjour,

Je ne connais pas la complexité de la source 2, mais je commencerai par quelque chose de simple
Code:

1 2 3 4 5 6 7 8 9 10 11 12 from difflib import SequenceMatcher import unicodedata def normalize(text): text = unicodedata.normalize('NFKD', text).encode('ASCII', 'ignore').decode('ASCII') return text.lower() def similarity(*cities): return SequenceMatcher(None, *map(normalize, cities)).ratio() print(similarity('Bézier', 'BEZier'))
Si tu vois que certaines villes ne sont pas correctement comparées, il faudra créer des tests unitaires et faire du cas par cas, jusqu'à trouver la fonction parfaite qui te conviendra...

Citation:

Envoyé par fred1599

connais pas la complexité de la source 2, mais je commencerai par quelque chose de simple

Le fichier est fourni :? Et tous les 2 vous ne partez pas vers une "chose de simple", moi, je ne vois aucun rapport entre les 2 colonnes (sources) ! Soit la ville est la même mais en minuscule, soit il n'y a aucun rapport (je suppose vu les datas)
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 SOURCE 1 SOURCE 2 ZURICH Zurich WUXI West Palm Beach WUPPERTAL-OBERBARMEN Wellington WUHAN Waterloo WUERZBURG Waterford WROCLAW Washington DC WINTERTHUR Warszawa WINDHOEK Warrington WIESBADEN Waco WIEN (AUSTRIA) Vitoria-Gasteiz WIEN Vitória WHISTLER Visalia WHENZHOU Visakhapatnam WEST PERTH Villahermosa WENTWORTHVILLE Vigo WELLINGTON Victoria WEINAN Verona WEIFANG Veracruz WAVRE Ventura County WATSON ACT Venezia WATERLOO Vancouver WASQUEHAL Valparaíso WASHINGTON, D. C. Valladolid WARSZAWA Valenciennes WARSAW Valencia WARRAGUL Utsunomiya WAKAYAMA Utrecht VIRY Tours VINA DEL MAR Toulouse VILNUS Toulon TORONTO Seattle TOKYO Savannah TOKAJ Saskatoon
De plus lorsque l'on lit la demande, pour moi cela n'a pas de sens

Citation:

score de similarité par exemple afin de savoir si une ville est dans la Source 1 et dans le Source 2 ou seulement dans la source 1/seulement dans la source 2.

Il écrit bien que le score c'est pour savoir si une (nouvelle) villle est uniquement en colonne 1 ou colonne 2 (ou dans les 2). Donc 3 possibilités : 3 scores

A comprendre que s'il entre "Paris". Et en réponse , ?? il réaffiche ces 2 colonnes avec une troisième qui dit si paris est (présent) dans la colonne 1 OU 2 ou, présente dans 1 ET 2

Avec les datas, si on cherche "zurich", on va avoir un scrore "ET" à la première ligne

27/06/2024, 12h29
fred1599

Citation:

Envoyé par papajoker

Le fichier est fourni :?

Pour moi le fichier représente la source 1.

La source 2 n'est donc pas présente dans le post du PO. Mais je peux me tromper et dans ce cas j'ai pas compris le problème.

Citation:

Envoyé par papajoker

je ne vois aucun rapport entre les 2 colonnes

Il n'y en a pas, et du coup je me demande si c'est moi qui n'est pas compris le problème ;)

Citation:

Envoyé par papajoker

Soit la ville est la même mais en minuscule, soit il n'y a aucun rapport (je suppose vu les datas)

Ah, les problèmes sont souvent sous estimé dans leur difficulté. N'ayant pas tous les tenants et les aboutissants, je ne m'avancerai pas sur la simplicité du problème.
C'est pour cela que je parle de tests unitaires dans le cas où un résultat ne convient pas, on ajoute un test.

Citation:

Envoyé par papajoker

Créer une 3ème colonne pour dire que WUHAN et Waterloo ont 2 caractères commum ?

Là on se rejoint...
27/06/2024, 12h34
papajoker

Citation:

Envoyé par fred1599

Pour moi le fichier représente la source 1.
La source 2 n'est donc pas présente

J'ai réédité mon message (désolé)
Si, la source 2 est la colonne 2 (je ne fais que lire l'entete)

Et (réédité maintenant), pour moi, son "score" ne prend que 3 valeurs (false, "ou" , "et") : une ville (à saisir) est présente dans une,deux colonne
27/06/2024, 12h39
fred1599

Citation:

Envoyé par papajoker

Si, la source 2 est la colonne 2 (je ne fais que lire l'entete)

Citation:

Envoyé par Judicieursement

J'aimerais trouver un moyen de comparer deux colonnes. Ici des villes.

Si la 2ème colonne ne concerne pas des villes, alors il me semble que le terme source 2 représente un fichier.
27/06/2024, 12h48
N_BaH

s'il est question de créer une troisième colonne, cela ne veut-il pas dire que l'intégralité des données est dans un seul fichier de deux colonnes ?
27/06/2024, 12h53
papajoker

Citation:

Envoyé par Judicieusement

comparer deux colonnes

C'est cela qui fait mal à la tête :oops: dans ce sujet.
puisque qu'ensuite il décrit le score comme une simple recherche (d'un mot) dans ces 2 colonnes
Que ce soit des villes, prénoms ou noms , cela ne change rien. Moi, je ne vois qu'un petit exercice python de premier niveau avec une boucle sur chaque ligne
il faut "comparer" (pour chaque ligne) un mot avec le contenu de deux colonnes et donner le résultat en troisième colonne
27/06/2024, 12h56
fred1599

Citation:

Envoyé par N_Bah

s'il est question de créer une troisième colonne, cela ne veut-il pas dire que l'intégralité des données est dans un seul fichier de deux colonnes ?

Bah non
27/06/2024, 12h58
N_BaH

Citation:

Envoyé par fred1599

Bah non

ça c'est de l'argumentation. :ptdr:
27/06/2024, 13h11
fred1599

Citation:

Envoyé par N_Bah

ça c'est de l'argumentation.

Peut-être que c'est un manque d'argumentation qui mène à une réflexion ;)