Discussion :

[kenji33]

Bonjour,

je me retrouve confronté à une demande singulière.
Dans une base contenant plus de 45 000 entrées d'actualités, je dois pouvoir faire un top 10 des mots les écrits
j'ai de suite penser à un regex mais après je ne vois pas trop quel chemin suivre pour aboutir à ce top 10 des mots les plus écrits dans les actualités en évitant les mots tel que 'le, la, les, et, etc...'
Vous auriez des pistes ?

Merci
Kenji

[julien.63]

salut,
une proposition qui n'a pas la prétention d'être LA solution:
* créér un tableau dont les clés seront les mots et les valeurs le nombre d'occurence.
* tu passes tes enregistrements un par un et tu isoles chaque mot.
* si le tableau ne contient pas la clé (le mot courant) tu la crées avec la valeur un
* sinon tu incrémentes de un

pour éviter les le, la, des..., je vois trois possibilités:
* soit tu détermines un longueur de mot minimum (par exemple 4)
* soit, plus exhaustif, tu te crées un tableau contenant tous les mots à exclure
* soit un mix des deux solutions: éliminer tous les mots de 2 caractères, plus d'autres plus longs mais non pertinent.

voilà premières idées à enrichir...

[kenji33]

Salut,

en effet c'est une solution mais le risque en passant par un tableau est qu'il va être assez important , la table fait 130 mo de texte.
un tableau pourrais t il supporter autant d'enregistrement avec un temps d'exécution rapide ?

merci

[julien.63]

Peut être qu'il faut procéder en plusieurs requêtes pour ne pas tout charger d'un coup... 20 enregistrements par 20 ?

[kenji33]

je vais suivre cette piste de tableau
en mettant un javascript avec timeout sur 5 sec en bas de page pour relancer le script automatiquement ensuite.
surtout que ce ne sera utile que pour une seule fois a des fins statistiques donc je vais chercher au plus rapide

merci pour les pistes

Kenji

[julien.63]

je ne suis pas sûr que tu aies besoin de javascript (ou j'ai mal compris ce que tu veux faire). Tu peux faire une boucle qui s'incrémente de 20 à chaque tour. Et dans cette boucle du fait ta requête et ton traitement. Qu'en penses-tu?