Recherche des villes dans une phrase

Bonjour,

Je possède une base mysql de 36 000 noms de villes, je souhaiterai faire un script afin de détecter un nom de ville (présent dans ma base) dans des phrases.

Je ne vois pas comment procéder, sans faire quelque chose de lourd, pourriez-vous m'aider ?

Merci d'avance
nico

J'ai pas vraiment compris : tu veux vérifier si ton texte contient au moins une fois le nom d'une ville en particulier ? le nom de n'importe laquelle des villes ?

Salut,

1- recuperer les mots presentes dans tes phrase (mot dont la taille est > 2 lettres par exp)

Code:

---

1 2 3

$phrases = 'Cras suscipit eleifend enim id tristique. Donec rhoncus facilisis euismod'; preg_match_all('/([^\s]{2,})/i', $phrases, $mots); $villes = $mots[1];

---

2- requete

Code:

---

select * from villes where ville in (1)

---

Bonjour

Mieux vaut espérer que les noms de villes dans tes phrases commencent par une majuscule sinon la commune de Y, et de manière générale toutes celles dont le nom est un mot de la langue française(Bouée, Champs,Charmes, Gland,La bouteille,Le sourd, Perles, Pont, Puits, Vue,...) vont te poser problème.
De plus, il est insuffisant de comparer chaque mot de ta phrase à ta liste puisque certaines communes sont composées de deux mots : Le Pellerin.

@Deuzz : à considérer aussi : tous les noms de la forme "Machin sur Truc" ou "Saint Bidule", et ceux qui sont théoriquement reliés par des traits d'union et qui en pratique sont souvent écrits sans les traits d'union... (sans compter Saint-Remy-en-Bouzemont-Saint-Genest-et-Isson, plus long nom de ville française d'après M. Wikipédia :aie:)

Citation:

---

1- recuperer les mots presentes dans tes phrase (mot dont la taille est > 2 lettres par exp)

---

Je connais au moins une commune française dont le nom ne contient que deux lettres : Eu

Citation:

---

Envoyé par nicoreims

sans faire quelque chose de lourd

---

J'imagine qu'avec ces réponses (mais d'autres écueils peuvent être évoqués au besoin), tu te rends compte que cette condition ne sera jamais remplie. ;)

Quelle est la justification de ce besoin ?

Est-ce à faire en interactif avec réponse rapide à l'utilisateur ?
Est-ce au contraire pour repérer des données potentiellement intéressantes, ce travail pouvant être long et même sans interaction directe avec l'utilisateur ?

Bonsoir à tous, merci beaucoup pour vos réponses.

En gros mes visiteurs vont parler de leur ville dans une phrase, et si la personne écris par exemple "à nice il fait beau" , que je puisse détecter "nice" pour le passer en hastag ;) #nice
Donc je pense mettre mes villes à détecter dans un tableau ? et faire une boucle le soir pour tester toutes les phrases.

Alors effectivement les 36000 villes de ma base, je vais éviter, je vais faire comme pour mon nuage de villes, resortir uniquement les 25 ou 50 plus grandes.

Le plus simple, plutôt que de vouloir détecter la ville à leur place, ce serait pas de leur demander directement de quelle ville ils parlent au moment de soumettre leur commentaire.

;-)

...en fait cette partie c'est quand je récupère des tweets twitter à partir d'un hashtag qui varie...

Donc je vais me retrouver avec 100 ou 200 lignes dans ma base, que je devrai traiter.

Citation:

---

Donc je pense mettre mes villes à détecter dans un tableau ? et faire une boucle le soir pour tester toutes les phrases.

---

Alors puisque c'est un travail décalé sans interaction avec l'utilisateur, tu peux, pour chaque phrase, essayer cette requête :

Code:

---

1 2 3 4

SELECT p.phr_id, p.phr_texte, v.vil_id, v.vil_nom FROM te_phrase_phr p INNER JOIN te_ville_vil v ON p.phr_texte LIKE CONCAT('%', v.vil_nom, '%')

---

Nota : Aucun index ne sera utilisé par cette requête et le SGBD devra donc balayer les 36000 villes pour chaque phrase.

Si tu insères le résultat dans une table temporaire, tu pourras ensuite regarder les résultats et éliminer manuellement les mauvaises détections. Par exemple, ma requête va détecter la ville d'Eu, déjà évoquée, dans la phrase suivante : "J'ai eu 20 à mon partiel de bio cel !!! Trop content ! :)".

Pour insérer, inutile bien sûr de passer par une boucle en PHP sur le résultat de la requête ; il suffit de faire ceci :

Code:

---

1 2 3 4

INSERT INTO te_ville_detectee_vdt(vdt_id_phrase, vdt_id_ville) SELECT p.phr_id, v.vil_id FROM te_phrase_phr p INNER JOIN te_ville_vil v ON p.phr_texte LIKE CONCAT('%', v.vil_nom, '%')

---

Puis tu fais une vue pour rassembler les morceaux afin d'analyser les villes détectées :

Code:

---

1 2 3 4 5 6

CREATE VIEW v_villes_detectees AS SELECT v.vil_id, v.vil_nom, p.phr_id, p.phr_texte FROM te_ville_detectee vd INNER JOIN te_ville_vil v ON v.vil_id = vd.vil_id INNER JOIN te_phrase_phr p ON p.phr_id = vd.phr_id

---

Là, par contre, la table te_ville_detectee_vdt peut très bien être indexée (c'est même conseillé) et les index seront utilisés par la vue qui sera donc exécutée très rapidement.

À partir de ça, tu peux faire une interface d'administration qui affiche les villes détectées avec une case à cocher pour sélectionner les pertinentes qui méritent un tag puis la suite du processus pour affecter le tag ou les tags à la phrase.

Merci beaucoup CinePhil, je vais étudier cela, et réviser les requêtes mysql par la même occasion :roll: