Version imprimable
Bonjour ,
bon maintenant tout marche nikel, sauf que le code n'est pas optimisé: le probleme est dans le calcul de la frequence : a chaque iteration on relit tout le fichier pour determiner la frequence d'un mot: c'est redondant :roll:
la solution est de metre toutes les seqeunces des mots dans une table de hachage .
Après discussion <strike>MSN</strike> Windows Live, il semblerait que la meilleure méthode soit de parser le fichier une fois pas Nseq, en oubliant complètement à chaque fois les données des séquences précédentes (on les écrit dans le fichier de sortie, et hop).
En clair, faire un passage pour les séquences de 1, puis un passage pour les séquences de 2, un pour les séquences de 3, etc.
Les fonctions de hachage et de liste n'auront pas à être modifiées, mais si l'on se retrouve un peu trop short en mémoire, il faudra faire des chaînons de taille variable.
Merci Medinoc,Citation:
Envoyé par Médinoc
c'est à dire maintenant j'extrait toutes les sequences dans des fichiers : liste des seqeunecs de 2mots dans 1 fichier, seqeunecs de 3mots dans 1 fichier, ...
comme ca ?
Tu extraits tout du même fichier, et pour l'écriture des résultats, ben... c'est toi qui choisis...
bonjour,
ben j'ai une idée et je sais pas si c'est la bonne ou pas :
si on enregistre pour chaque mot dans la table de hachage sa liste de position dans la phrase où il apparait, comme ca on evite le retour à chaque fois pour relir tt le texte pour savoir la frequence pour chaque sequence de mot.
non,?
Je ne pense pas que ça soit faisable.
Laisse-moi t'expliquer ma théorie en prenant comme exemple les 3seq:
- Début de lecture
- On lit les mots en gardant en mémoire les trois derniers mots lus
- À chaque fois qu'on lit un mot, on crée une chaîne avec les trois derniers lus
- On ajoute/incrémente cette chaîne de trois dans la table de hachage
- Fin de lecture
- Maintenant, dans la table de hachage, on a tous les 3seq et leurs fréquences!
- On nettoie, et on écrit le tout dans un fichier
Maintenant, si le fichier n'est pas assez répétitif, il est possible que ça ne tienne pas en mémoire, auquel cas il faudra ruser pour le stockage des nseq dans la table (par exemple, stocker tous les mots dans une autre table de hachage, et stocker seulement des listes de pointeurs dans la table de hachage de nseq.
merci Medinoc, mais là ya des point que j'arrive pas à les saisir.
bon je suis au stade j'ai mon fichier texte qui contient le texte, et la j'ai extrait les liste des 2 seq que j'ai stockes dans une table de hachage avec leurs frequence et qui sont filtres .
bon la je dois creeer les liste des 3 seq tt en faisant la jointure des listet des 2 seq ensemble.
là je bloque sincerement :cry:
j'attends ta reponse
cordialement cyrine
Comme je te l'ai dit,
maintenant on n'utilise plus la liste des 2seq pour faire les 3seq: On relit le fichier à la place.
D'accord Medinoc, c'est a dire je refais le meme processus que j'ai fait pour extrait les 2seq, et là la question qu'on pose c'est est ce qu'on stocke des nseqdans des table de hachage separement?:roll:
et là un autre probleme c'est comment faire pour faore l'elagage entre les liste de n sequence et le liste des n-1 sequence sachant qu'il se trouvent pas dans la meme structure de données ?
tu vois ce que je veux dire?
Euh...
En fait, non, je ne vois pas. J'avais complètement oublié l'élagage...
donc pas d'idées?Citation:
Envoyé par Médinoc
bonjour,
enfin je pense que je vais changer un peu dans l'idee de l'algo de facon que j'extrait pour chaque paire des mot leurs listede position(num-ligne, position dans la phrase), comme ca je relit pas tt le texte à chaque fois pour determiner la frequence 'une sequence de mots: on peut la determiner à partir de la liste des positions .
non?:roll:
La fréquence, on peut la déterminer directement à partir de la fréquence stockée.
D'ailleurs, dans les dernières versions, la liste de positions n'était plus qu'un souvenir...
Bonjour Medinoc,Citation:
Envoyé par Médinoc
merci
oui c'est vrai la liste des position n'est qu'un souvenir de la version de la version du mois de juin .
mais là je comprends pas ton idee de dire qu'on peut determiner la frequence à partir des celles stockees.
j'ai la frequence seulement des liste de 2 mots, mais pour les autres je sais pas la determiner?
cordialement cyrine
Je reprends au vol. Mais une solution ne serait pas tout simplement de calculer tes fréquences à la fin dans un seul parcours de ton fichier?
merci 3D Archi, mais comment ca se fait en 1 seul parcours?Citation:
Envoyé par 3DArchi
si tu peux me donner un exemple ?
merci
Mais n'a-t-on pas déjà la fréquence de toute façon quand on fait des insertions/incrémentations dans la table de hachage pour toute séquence qu'on trouve ?
1/Sequence courante = vide
2/Tant que fichier non épuisé
2.1/ Lire mot
2.2/ Ajouter mot à sequence courante
2.3/ Pour chaque sous-séquence de la séquence courante (une sous-séquence par de la séquence et enlève des mots à gauche):
2.3.1/ Dans la liste de séquences de même taille que la sous-séquence courante: recherché le match et ++ de sa fréquence.
2.4/ La séquence courante devient la plus grande sous-séquence pour laquelle un match a été trouvé.
Non?
oui, pour l'instant j'ai seulement la table de hachage qui contient la liste des 2 seq, bon là j'hesite est ce que j'extarit les autes sequence et les mettre dans la meme table de hachage ou bien chaque type de sequence dans une table de hachage à part??:roll:
tu vois mon probleme ,
:aie:Citation:
Envoyé par 3DArchi
oula c'est trop compliqué comme idée, oubien c'est moi qui reflechit trop reduit:cry:
jai
bonjour les amis du monde
les amis
voila les 1sequence:
bonjour les (1)
les amis (2)
amis du (1)
du monde (1)
là je bloque
comment extraire
bonjour les amis en determinant sa frequence sans avoir à acceder à chaque fois au fichier,