Nombre d'occurrences des mots

Bonjour,

J'ai un ensemble des documents qui contiennent des textes en anglais. Il me faut déterminer tout d'abord tous les mots qui existe dans ces textes (qui sont des centaines de milliers) et après déterminer pour chaque mot le nombre d'occurrences. Pourriez-vous me proposer la solution la plus simple et qui n'exige pas beaucoup d'espace mémoire et de calcul, si non j'imagine que ça va durer des jours pour être terminer.


Toute information sera le bien venue et Merci d'avance

S'il y a tellement de mots, le plus simple serait peut etre de passer par une base de données comme sqlite pour eviter d'avoir à construire des arbres

Une première solution naïve serait une HashMap<String, Integer>. Tu peux faire un essai et voir ce que ça donne.

Bonjour,

Cet exercice est un exemple classique d'utilisation de systèmes de calcul distribués tels que Hadoop ou Storm.
Il y a des tutoriels qui implémentent précisément cet exercice pour ces deux plateformes.

Citation:

---

Envoyé par hwoarang

S'il y a tellement de mots, le plus simple serait peut etre de passer par une base de données comme sqlite pour eviter d'avoir à construire des arbres

---

Tout d'abord, je vous remercie pour votre réponse rapide !

Les textes sont déjà dans des enregistrements d'un table de base de données. Oui j'ai pensé également à utiliser une table de base de donnés pour sauvegarder la valeur tf ou idf de chaque mot.

Mais avant ça, comment déterminer les mots qui existent dans ces textes ? J'ai trouvé un fichier qui contient les stopwords (noise words) mais avant ça il me faut déterminer tous les mots qui existent et ensuite supprimer ces stopwords et enfin calculer le nombre d'occurrence de chacun de ces mots

Pardon, j'ai pas bien compris pourquoi vous parlez des arbres

Citation:

---

Envoyé par Sharcoux

Une première solution naïve serait une HashMap<String, Integer>. Tu peux faire un essai et voir ce que ça donne.

---

Oui c'est une bonne solution pour manipuler et déterminer le nombre d'occurrencesv des mots mais avant ça comment je peux déterminer les mots qui trouvent dans tous les textes ?

Citation:

---

Envoyé par Nudger

Bonjour,

Cet exercice est un exemple classique d'utilisation de systèmes de calcul distribués tels que Hadoop ou Storm.
Il y a des tutoriels qui implémentent précisément cet exercice pour ces deux plateformes.

---

Si j'ai bien compris Storm and Hadoop permettent de manipuler des grosses quantités des données d'une manière intelligente. Pourriez-vous me donner un récap, j'ai trouvé que des tutoriaux en anglais et apparemment c'est ça le rôle principale de ce deux techniques, non ? Merci d'avance

Slt.
Pour déterminer le nombre de ligne dans une chaine de caractère (distinction des saut de ligne) :

Code:

---

1 2	String [] tab = str.split ("\n"); System.out.println ("Nb ligne : " + tab.length);

---

Pour déterminer les mots présents dans une ligne (distinction des espaces) :

Code:

---

String [] ens_mot = tab [0].split (" ");

---

Bon courage

Citation:

---

Envoyé par daniel1985

Oui c'est une bonne solution pour manipuler et déterminer le nombre d'occurrencesv des mots mais avant ça comment je peux déterminer les mots qui trouvent dans tous les textes ?

---

Pour ça, il va falloir que tu lises tes fichiers. Tu peux utiliser ce que t'a proposé mohamine : lecture ligne par ligne puis utilisation d'un split(" "). Par contre, il va aussi falloir que tu fasses attention à la ponctuation (la supprimer), aux majuscules (tout mettre en minuscule), peut-être à d'autres choses encore.

Ensuite, si tu utilises une hashMap, pour chaque mot que tu lis tu fais un truc du genre :

Code:

---

1 2 3 4 5

if(map.get("truc")==null) { map.put("truc", 1); } else { map.put("truc", map.get("truc")+1); }

---

Il y a peut-être une meilleure façon d'écrire ça avec un opérateur ternaire :

Code:

---

1 2 3

Integer i = map.get("truc"); map.put("truc", i==null ? 1 : i+1);

---

Une fois ton parcourt terminé, tu peux obtenir la liste des mots lus en faisant map.keySet()

Je te remercie infiniment Sharcoux pour tes prescients, je tien juste a rajouter que mieux vaut passer par une base de données a la fin de lecture de chaque ligne pour éviter une saturation de la mémoire (tu manipule des documents volumineux), pour ça tu peut tenter une insertion dans la base, et si une exception est générée, donc le mot est y est déjà, tu fait une incrémentation de son nombre d'appartion :

Code:

---

1 2 3 4 5 6

try { connection.createStatement ().execute ("Insert into Table (mot, nb_appr) Values ('" + mot + "', 1)"); } catch (SQLExecption ex) { connection.createStatement ().execute ("Update Table set nb_appr = " + nb_appr + " WHERE mot = '" + mot + "'"); }

---

Cordialement Amine.

Citation:

---

Envoyé par daniel1985

Si j'ai bien compris Storm and Hadoop permettent de manipuler des grosses quantités des données d'une manière intelligente. Pourriez-vous me donner un récap, j'ai trouvé que des tutoriaux en anglais et apparemment c'est ça le rôle principale de ce deux techniques, non ? Merci d'avance

---

C'est ça, en effet.

Hadoop est basé sur deux technologies: HDFS pour le stockage distribué des données et Map/Reduce pour le calcul distribué.
C'est une technologie dont les bases ont été mises au point par Google (d'ailleurs à l'origine HDFS s'appelait GFS).

Il y a dans wikipedia un article qui explique les mécanismes:
http://fr.wikipedia.org/wiki/MapRedu...C3%A9mentation

Et dans le wiki d'apache un exemple de Mapper et de Reducer pour un calcul de nombre de mots:
http://wiki.apache.org/hadoop/WordCount

Storm est beaucoup plus jeune et il n'y a pas beaucoup de documentation en français pour le moment.

Citation:

---

Envoyé par daniel1985

Les textes sont déjà dans des enregistrements d'un table de base de données. Oui j'ai pensé également à utiliser une table de base de donnés pour sauvegarder la valeur tf ou idf de chaque mot.

---

Oui, c'est bien de stocker le nombre d’occurrence dans la base que je propose. Contrairement à l'utilisation d'un arbre ou d'une map, les bases de données ne consomment pas beaucoup de mémoire et sont rapides pour effectuer des recherches. Ca me semble donc adapté à ton besoin.

Citation:

---

Envoyé par daniel1985

Mais avant ça, comment déterminer les mots qui existent dans ces textes ? J'ai trouvé un fichier qui contient les stopwords (noise words) mais avant ça il me faut déterminer tous les mots qui existent et ensuite supprimer ces stopwords et enfin calculer le nombre d'occurrence de chacun de ces mots

---

Ok donc ton probleme, c'est de retrouver les mots à partir du texte. Je suppose que tu arrives à extraire le texte dans un String. A partir de la, le plus simple (à mon avis) est d'utiliser une expression régulière qui te sortirait la liste des mots (car les solutions à base de split vont sortir des chaines vides s'il y a plusieurs espaces et la ponctuation ne sera pas prise en compte). Un truc de ce genre :

Code:

---

1 2 3 4 5 6 7 8

String maPhrase = "Les regex, ça marche bien\nEt c'est pas si compliqué."; Pattern pattern = Pattern.compile("\\b\\p{javaLetter}+\\b");   Matcher matcher = pattern.matcher(maPhrase); while (matcher.find()) { System.out.println(matcher.group()); }

---

Citation:

---

Envoyé par daniel1985

Pardon, j'ai pas bien compris pourquoi vous parlez des arbres

---

Parce que je pensais que ta demande etait sous quelle forme stocker les mots pour pouvoir ensuite les compter. Pour un probleme de ce type, on pourrait penser à l'utilisation d'un arbre mais si le nombre de mots est important, la base de données me semble plus appropriée.

EDIT : faute de frappe