Version imprimable
Bonjour,
je me retrouve confronté à une demande singulière.
Dans une base contenant plus de 45 000 entrées d'actualités, je dois pouvoir faire un top 10 des mots les écrits
j'ai de suite penser à un regex mais après je ne vois pas trop quel chemin suivre pour aboutir à ce top 10 des mots les plus écrits dans les actualités en évitant les mots tel que 'le, la, les, et, etc...'
Vous auriez des pistes ?
Merci
Kenji
salut,
une proposition qui n'a pas la prétention d'être LA solution:
* créér un tableau dont les clés seront les mots et les valeurs le nombre d'occurence.
* tu passes tes enregistrements un par un et tu isoles chaque mot.
* si le tableau ne contient pas la clé (le mot courant) tu la crées avec la valeur un
* sinon tu incrémentes de un
pour éviter les le, la, des..., je vois trois possibilités:
* soit tu détermines un longueur de mot minimum (par exemple 4)
* soit, plus exhaustif, tu te crées un tableau contenant tous les mots à exclure
* soit un mix des deux solutions: éliminer tous les mots de 2 caractères, plus d'autres plus longs mais non pertinent.
voilà premières idées à enrichir...
Salut,
en effet c'est une solution mais le risque en passant par un tableau est qu'il va être assez important , la table fait 130 mo de texte.
un tableau pourrais t il supporter autant d'enregistrement avec un temps d'exécution rapide ?
merci
Peut être qu'il faut procéder en plusieurs requêtes pour ne pas tout charger d'un coup... 20 enregistrements par 20 ?
je vais suivre cette piste de tableau
en mettant un javascript avec timeout sur 5 sec en bas de page pour relancer le script automatiquement ensuite.
surtout que ce ne sera utile que pour une seule fois a des fins statistiques donc je vais chercher au plus rapide
merci pour les pistes
Kenji
je ne suis pas sûr que tu aies besoin de javascript (ou j'ai mal compris ce que tu veux faire). Tu peux faire une boucle qui s'incrémente de 20 à chaque tour. Et dans cette boucle du fait ta requête et ton traitement. Qu'en penses-tu?
en faisant une boucle qui s'incremente , le script ne s'arrête pas et sur le serveur il y a le limit a 30 secondes.
du coup pour éviter de surcharger le serveur en modifiant le set time dans un htaccess, je pensais faire la boucle sur x entrées, ensuite une fois finis je met un javascript avec un time out de 1 sec par exemple et cela rappelle la page jusqu'à épuisement.
bon ok je reconnais que c'est une méthode très barbare :mrgreen:
ou tu te fait une table avec seulement un champ : mot
tu y met tous les mots de tous tes articles, sans te soucier des doublons et en supprimant les mots trop courants.
après, tu utilise une requete du genre : (de tête, donc à vérifier)
Code:SELECT mot, COUNT(mot) AS valeur FROM mots GROUP BY valeur ORDER BY valeur DESC LIMIT 10;
ok, je comprends, c'est vrai qu'il y a la contrainte de temps.
intéressant.Citation:
Envoyé par parksto
je sors les texte, fait un explode sur l'espace blanc, et faire une requête d'insert à la suite sur le mot
je vais étudier cette solution qui semble plus rapide pour extraire le résultat ensuite
merci
deux petites précisions,Citation:
Envoyé par kenji33
- n'oublie pas de supprimer la ponctuation
- n'oublie pas que tu peux inserer plusieurs valeurs en une seule requete
Code:INSERT INTO mots (mot) VALUES ('plusieurs'), ('mots'), ('en'), ('une'), ('seule'), ('requete')