Discussion :

[nicoreims]

Bonjour,

Je possède une base mysql de 36 000 noms de villes, je souhaiterai faire un script afin de détecter un nom de ville (présent dans ma base) dans des phrases.

Je ne vois pas comment procéder, sans faire quelque chose de lourd, pourriez-vous m'aider ?

Merci d'avance
nico

[Celira]

J'ai pas vraiment compris : tu veux vérifier si ton texte contient au moins une fois le nom d'une ville en particulier ? le nom de n'importe laquelle des villes ?

[selmouadin]

Salut,

1- recuperer les mots presentes dans tes phrase (mot dont la taille est > 2 lettres par exp)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$phrases = 'Cras suscipit eleifend enim id tristique. Donec rhoncus facilisis euismod';
preg_match_all('/([^\s]{2,})/i', $phrases, $mots);
$villes = $mots[1];

2- requete

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

select * from villes where ville in (1)

[Deuzz]

Bonjour

Mieux vaut espérer que les noms de villes dans tes phrases commencent par une majuscule sinon la commune de Y, et de manière générale toutes celles dont le nom est un mot de la langue française(Bouée, Champs,Charmes, Gland,La bouteille,Le sourd, Perles, Pont, Puits, Vue,...) vont te poser problème.
De plus, il est insuffisant de comparer chaque mot de ta phrase à ta liste puisque certaines communes sont composées de deux mots : Le Pellerin.

[Celira]

@Deuzz : à considérer aussi : tous les noms de la forme "Machin sur Truc" ou "Saint Bidule", et ceux qui sont théoriquement reliés par des traits d'union et qui en pratique sont souvent écrits sans les traits d'union... (sans compter Saint-Remy-en-Bouzemont-Saint-Genest-et-Isson, plus long nom de ville française d'après M. Wikipédia )

[CinePhil]

1- recuperer les mots presentes dans tes phrase (mot dont la taille est > 2 lettres par exp)

Je connais au moins une commune française dont le nom ne contient que deux lettres : Eu

[Bovino]

sans faire quelque chose de lourd

J'imagine qu'avec ces réponses (mais d'autres écueils peuvent être évoqués au besoin), tu te rends compte que cette condition ne sera jamais remplie.

[CinePhil]

Quelle est la justification de ce besoin ?

Est-ce à faire en interactif avec réponse rapide à l'utilisateur ?
Est-ce au contraire pour repérer des données potentiellement intéressantes, ce travail pouvant être long et même sans interaction directe avec l'utilisateur ?

[nicoreims]

Bonsoir à tous, merci beaucoup pour vos réponses.

En gros mes visiteurs vont parler de leur ville dans une phrase, et si la personne écris par exemple "à nice il fait beau" , que je puisse détecter "nice" pour le passer en hastag #nice
Donc je pense mettre mes villes à détecter dans un tableau ? et faire une boucle le soir pour tester toutes les phrases.

Alors effectivement les 36000 villes de ma base, je vais éviter, je vais faire comme pour mon nuage de villes, resortir uniquement les 25 ou 50 plus grandes.

[Bovino]

Le plus simple, plutôt que de vouloir détecter la ville à leur place, ce serait pas de leur demander directement de quelle ville ils parlent au moment de soumettre leur commentaire.

[nicoreims]

;-)

...en fait cette partie c'est quand je récupère des tweets twitter à partir d'un hashtag qui varie...

Donc je vais me retrouver avec 100 ou 200 lignes dans ma base, que je devrai traiter.

[CinePhil]

Donc je pense mettre mes villes à détecter dans un tableau ? et faire une boucle le soir pour tester toutes les phrases.

Alors puisque c'est un travail décalé sans interaction avec l'utilisateur, tu peux, pour chaque phrase, essayer cette requête :

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
SELECT p.phr_id, p.phr_texte,
	v.vil_id, v.vil_nom
FROM te_phrase_phr p
INNER JOIN te_ville_vil v ON p.phr_texte LIKE CONCAT('%', v.vil_nom, '%')

Nota : Aucun index ne sera utilisé par cette requête et le SGBD devra donc balayer les 36000 villes pour chaque phrase.

Si tu insères le résultat dans une table temporaire, tu pourras ensuite regarder les résultats et éliminer manuellement les mauvaises détections. Par exemple, ma requête va détecter la ville d'Eu, déjà évoquée, dans la phrase suivante : "J'ai eu 20 à mon partiel de bio cel !!! Trop content ! ".

Pour insérer, inutile bien sûr de passer par une boucle en PHP sur le résultat de la requête ; il suffit de faire ceci :

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
INSERT INTO te_ville_detectee_vdt(vdt_id_phrase, vdt_id_ville)
SELECT p.phr_id, v.vil_id
FROM te_phrase_phr p
INNER JOIN te_ville_vil v ON p.phr_texte LIKE CONCAT('%', v.vil_nom, '%')

Puis tu fais une vue pour rassembler les morceaux afin d'analyser les villes détectées :

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
CREATE VIEW v_villes_detectees AS
SELECT v.vil_id, v.vil_nom,
	p.phr_id, p.phr_texte
FROM te_ville_detectee vd
INNER JOIN te_ville_vil v ON v.vil_id = vd.vil_id
INNER JOIN te_phrase_phr p ON p.phr_id = vd.phr_id

Là, par contre, la table te_ville_detectee_vdt peut très bien être indexée (c'est même conseillé) et les index seront utilisés par la vue qui sera donc exécutée très rapidement.

À partir de ça, tu peux faire une interface d'administration qui affiche les villes détectées avec une case à cocher pour sélectionner les pertinentes qui méritent un tag puis la suite du processus pour affecter le tag ou les tags à la phrase.

[nicoreims]

Merci beaucoup CinePhil, je vais étudier cela, et réviser les requêtes mysql par la même occasion