faire des n grammes

Bonjour, ça fait 4 jours que je n'arrive pas à trouver comment faire des n grammes dans R, si vous pouviez m'aider.

J'ai un corpus qui se présente comme suit :

Code:

---

1 2 3 4 5

> inspect(moncorpus) $ '1' dfervdvcrvdfvdvdfverf $'2' cezcdecedvervrfeverfv

---

Je voudrais utiliser un TermDocumentMatrix afin d'avoir en ligne des 2 grammes comme "df" , "fe", "er", etc.. et en colonne, mes deux documents, Doc 1 et Doc 2.

Or le souci, c'est que quand on a des lettres collées, la commande DocumentTermMatrix ne fonctionne pas en essayant ces commandes :

Code:

---

1 2 3 4 5

library("RWeka") library("tm")   BigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min = 2, max = 2)) tdm <- TermDocumentMatrix(moncorpus, control = list(tokenize = BigramTokenizer))

---

Comment faire ?

Merci de votre aide.

As-tu regardé en direction des expressions régulières pour extraire les termes que tu souhaites ?

J'ai essayé avec strsplit mais sans succès par exemple j'ai essayé ça :

Code:

---

1 2 3 4

splitter<- function(x){ strsplit(x,"") } moncorpus<- tm_map(moncorpus,splitter)

---

ça me donne un truc comme ça :

Code:

---

1 2 3 4

inspect(moncorpus) $ '1' $ '1' [[1]] [1] d f e r v d v c r v d f v d v d f v e r f

---

Et puis après en utilisant le DocumentTermMatrix ça marche pas.

En fait avec des mots ça marche car entre chaque mot il y a un espace et donc en utilisant le NGramTokenizer ça fonctionne, on peut avoir en utilisant le DocumentTermMatrix par la suite, en ligne deux mots si on veut 2 grammes et en colonnes mes deux Docs.
Or là j'ai voulu faire un peu pareils et mettre des espaces entre chaque lettre et puis pouvoir utiliser le NGramtokenizer en prenant 2 grammes, donc par exemple "df", "fe" etc... mais ça fonctionne pas.

De façon plus général quel est la structure de ta phrase ou de tes documents pour en extraire l'information que tu souhaite. Tu devras probablement refaire un programme de tokenisation. Par exemple, connais tu tout ton vocabulaire, car dans se cas tu peux faire une fonction qui d'extrait les termes un à un.

Cordialement.

Bonjour,

Tu pourrais regarder la fonction

Code:

---

1 2 3 4 5

textmatrix( mydir, stemming=FALSE, language="english", minWordLength=2, maxWordLength=FALSE, minDocFreq=1, maxDocFreq=FALSE, minGlobFreq=FALSE, maxGlobFreq=FALSE, stopwords=NULL, vocabulary=NULL, phrases=NULL, removeXML=FALSE, removeNumbers=FALSE)

---

du package lsa, en parametrant sur les arguments

Citation:

---

minWordLength, maxWordLength

---

BC