Discussion :

[user_azerty]

Bonjour,

Je dois analyser un corpus avec Python mais j'ai un souci dès le départ. Les données du corpus se trouvent dans plusieurs fichiers. Il faudrait donc que j'ouvre tous les fichiers en même temps. Mais avec "open()", on ne peut en ouvrir qu'un à la fois (et je dois en ouvrir 278!). Que faire?
(J'ai aussi une liste (en .txt) des noms de tous les fichiers, ça peut peut-être servir)

[fred1599]

Il faudrait donc que j'ouvre tous les fichiers en même temps

Pourquoi?

Mais avec "open()", on ne peut en ouvrir qu'un à la fois (et je dois en ouvrir 278!)

N'ayant pas fait de cours informatique, tout ce qui touche à la mémoire j'y connais pas grand chose, mais 278 tâche en même temps, va pas y avoir un soucis de RAM quelquepart?

[tyrtamos]

Bonjour,

Tout dépend de la taille du buffer, et les mémoires actuelles sont importantes: il faut essayer!

Je n'ai pas testé, mais on pourrait faire comme ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
F = [None]*278
 
for i in range(len(F)):
    F[i] = open(NF[i], "r")
    ...
    ...
...
 
for i in range(len(F)):
    F[i].close()

Le nom du fichier à ouvrir NF[i] devant, lui aussi, être pris dans la liste NF des 278 noms de fichier à ouvrir.

Mais bon. Peut-être faudrait-il vérifier avant que ces ouvertures multiples sont bien nécessaires!

[pfeuh]

Salut,

278 tâche en même temps, va pas y avoir un soucis de RAM quelque part?

Ouvrir un fichier ne crée pas une tâche mais un objet. Pour lire le fichier, on appelle un méthode de l'objet, ce qui peut très bien être fait par la tâche principale. Je pense comme Tyrtamos qu'il n'y a aucun problème de mémoire avec les machines actuelles. Mais la question principale est toujours là: Est ce bien nécessaire de les ouvrir tous en même temps?

A+

Pfeuh

[tyrtamos]

Bonjour,

Finalement, ce n'est pas la mémoire sous Python qui coince, mais l'OS: le nombre de descripteurs de fichiers, donc de fichiers ouverts en même temps, a un maxi. Sous Windows, c'est 512 (http://msdn.microsoft.com/en-us/libr...VS.100%29.aspx).

J'ai essayé: j'arrive à ouvrir 509 fichiers en même temps sans erreur. Mais à 510, j'ai l'exception: "IOError: [Errno 24] Too many open files". La différence entre 512 et 509 est probablement dûe à stdin, stdout et stderr.

[wiztricks]

Je dois analyser un corpus avec Python mais j'ai un souci dès le départ. Les données du corpus se trouvent dans plusieurs fichiers. Il faudrait donc que j'ouvre tous les fichiers en même temps. Mais avec "open()", on ne peut en ouvrir qu'un à la fois (et je dois en ouvrir 278!).

La programmation est essentiellement l'organisation d'activités séquentielles et le parallélisme des traitements s'obtient avec des "organisations" particulières mais sont souvent "illusion" - pas toujours.

Mais il faut "décomposer"...
Une fois le fichier "ouvert" (1), il faudra lire (2) et "organiser" (3) les données qu'il contient pour les analyser(4). Littéralement mettre en forme une variante d'"informatique".

Nous avons une séquentialité horizontale des traitements (1)=>(2)=>(3)=>(4).

Il est possible que vous ne puissiez effectuer (4) qu'après avoir lu l'ensemble des fichiers. i.e devoir effectuer N fois la séquence (1)=>(2)=>(3) avant de pouvoir commencer (4). N*((1)=>(2)=>(3)) => (4)

-W

[utopman]

hello,

je t'ai fait un script python qui fait ce dont tu as besoin

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import sys,os
 
def merge_files(path,outpath):	
	c = open(path+outpath,'w')
	for f in os.listdir(path):
		t = open(path + f)
		c.write(t.read())
		t.close()
	c.close()
 
try:
	path = sys.argv[1]
	outpath = sys.argv[2]
	merge_files(path,outpath)
except:
	print 'error with input directory'
	#the path must be of the following form: c:\path\to\files\

tu le lances avec :
python c:\chemin\vers\les\fichiers\ nom_de_sortie.txt
(ne pas oublier d'ajouter le \ de fin)
le nom de sortie permet de produire un fichier mergé avec les 278 autres dans le répertoire où ils se trouvent. si il y a d'autres fichiers que les 278 ils seront mergé aussi, alors attention...

PS : pour utiliser la commande python sous windows, il faut faire comme je l'indique ici : lien (en bas)

[plxpy]

Raoul Volfoni, alias Bernard Blier, dans "Les Tontons Flingueurs" : Faut r'connaître... c'est du brutal !

Ah ben oui ! Résoudre l'utilisation simultanée (à voir) de 278 fichiers en créant un monstre qui serait la juxtaposition des dits 278 fichiers, c'est, effectivement, du brutal ! Ca part surement d'un bon sentiment, mais ...

Déjà, un "corpus" ça a l'air d'être assez spécial (j'aimerais bien en voir un "en vrai", je n'arrive pas à imaginer à quoi ça ressemble, malgré les infos Wikipedia), mais si quelqu'un a organisé (enfin j'espère) les informations en plusieurs fichiers, ce n'est certainement pas pour, au final, tous les mettre à la queue-leu-leu dans un même et gros "machin".

En procédant de la sorte, on oublie que :

• des fichiers peuvent avoir des types différents (texte, XML, binaire, que sais-je, ...),
• qu'on a pu les organiser en une arborescence et pas, forcément, dans le même répertoire,
• l'organisation d'un fichier (offsets, taille des champs, ...) est donnée au sein d'un même fichier, sans avoir à se préoccuper de là où il se trouve,
• à compléter ...

Donc, je n'ai pas de solution (d'ailleurs user_azerty, tu es assez avare en renseignements qui pourraient nous aider à ... t'aider) mais la dernière solution proposée n'est franchement pas à suivre !

[utopman]

Donc, je n'ai pas de solution (d'ailleurs user_azerty, tu es assez avare en renseignements qui pourraient nous aider à ... t'aider) mais la dernière solution proposée n'est franchement pas à suivre !

Si tu parles de mon code, je ne vois pas en quoi il est a jeter, j'ouvre tous les fichiers , je les merge et je les ferme ensuite. il y a au maximum deux fichiers d'ouvert en simultané, donc pas d'inquiétudes

Sinon, le corpus c'est un texte a analyser, je suppose que les données sont de même type.
De toutes facon peu importe étant donné que user_azerty voulais merger des fichier, point barre./

[plxpy]

wikipedia : "Un corpus est un ensemble de documents, artistiques ou non (textes, images, vidéos, etc.), regroupés dans une optique précise. On peut utiliser des corpus dans plusieurs domaines : études littéraires, linguistiques, scientifiques, etc."

Je persiste à dire qu'agglomérer tout ça brutalement n'est pas une bonne idée et que le résultat est ingérable : on passe de données structurées - enfin, je pense - à un gros paquets d'octets.

De toutes facon peu importe étant donné que user_azerty voulais merger des fichier

A aucun moment il n'a dit ça !

[pfeuh]

j'ouvre tous les fichiers , je les merge et je les ferme ensuite. il y a au maximum deux fichiers d'ouvert en simultané

je dois en ouvrir 278!

Tu avoueras quand même qu'on peut se poser des questions...

[plxpy]

si c'est vrai : "en simultané"

Celui créé est ouvert de bout en bout, un seul est ouvert en lecture à un moment donné.

Par contre, ouvrir en écriture le fichier résultat dans le répertoire à traiter (ligne 4) puis traiter l'ensemble des fichiers qui sont dans ce répertoire (ligne suivante, no 5) va poser quelques problèmes ... ça se mord la queue ! Qu'est-ce qui se passera quand ça ouvrira le fichier résultat en lecture pour réécrire son contenu dans ... lui-même ?

[Pymento]

Bonjour à tous, je confirme que le détenteur du post n'aide pas trop à ce qu'on l'aide !
Bref moi en premier jet j'aurai crée une classe fichier qui s'instancie en récupérant le contenu et le titre au minimum ( on pourra récupérer d'autres infos par la suite)
Puis on l'ajoute dans une collection générale -> 1 ouverture de fichier à la fois, à moins qu'on le mette en multithreading pour aller plus vite ( càd 40 threads par exemple qui ouvrent les fichiers ). Et puis voila.
La seule chose qui va peut être poser pb, c'est la taille mémoire de la collection, mais de ce coté là je ne maitrise pas.

[utopman]

Par contre, ouvrir en écriture le fichier résultat dans le répertoire à traiter (ligne 4) puis traiter l'ensemble des fichiers qui sont dans ce répertoire (ligne suivante, no 5) va poser quelques problèmes ... ça se mord la queue ! Qu'est-ce qui se passera quand ça ouvrira le fichier résultat en lecture pour réécrire son contenu dans ... lui-même ?

en effet, j'en ai fait l'expérience cette semaine dans l'autre sens. j'ai fait un script qui remplis tout les fichiers du répertoire avec des chaines au hasard. j'ai exécuté le script depuis le répertoire. résultat : mon script a été rempli de chaines au hasard.

Pour ce cas, il est judicieux d'exécuter le script a un niveau différent en modifiant les chemins de lecture et d'écriture en conséquence. Il est aussi possible d'exclure les extensions .py du traitement...

[plxpy]

ou alors, sur la base de ta fonction merge_files :

1. récupérer la liste des fichiers dans une variable
2. ouvrir le fichier résultat en écriture
3. boucler sur les noms récupérés précédemment.

J'utiliserais bien aussi, pour construire le chemin du fichier résultat, os.path.join ce qui permet de ne pas avoir à mettre le '\' final dans les arguments mais surtout d'avoir une fonction qui s'exécute aussi sous Unix/Linux, avec des '/' comme séparateurs. Pour le coup, c'est os.path.join qui s'en débrouille.

Laisser le choix à l'utilisateur de mettre le fichier résultat ailleurs que dans le répertoire où se trouvent les fichiers à fusionner est, il me semble, plus judicieux. Ca permet de laisser les données d'origine "en l'état" pour les réutiliser ultérieurement sans avoir à se soucier de la présence, ou non, de ce fichier résultat de la fusion.

[user_azerty]

Merci beaucoup tout le monde pour vos réponses!

[user_azerty]

C'est pour de la recherche en linguistique en fait

En fait, je ne dois pas ouvrir tous les fichiers d'un coup mais appliquer ma fonction à tous les fichiers (cela dit, je ne vois pas comment faire cela sans ouvrir les fichiers)

(pour ceux qui voulaient voir:

<au id="1" s="V60921" tb="0.000">
ik <VNW(pers,pron,nomin,vol,1,ev);ik>
had <WW(pv,verl,ev);hebben>
het <LID(bep,stan,evon);het>
flauwe <ADJ(prenom,basis,met-e,stan);flauw>
vermoeden <N(soort,ev,basis,onz,stan);vermoeden>
. <LET();.>
<au id="2" s="V60907" tb="1.244">
dat <VNW(aanw,pron,stan,vol,3o,ev);dat>
dacht <WW(pv,verl,ev);denken>
ik <VNW(pers,pron,nomin,vol,1,ev);ik>
wel <BW();wel>
dat <VNW(betr,pron,stan,vol,3,ev);dat>
gij <VNW(pers,pron,nomin,vol,2,getal);gij>
zo <BW();zo>
intelligent <ADJ(vrij,basis,zonder);intelligent>
waart <WW(pv,verl,met-t);zijn>
. <LET();.>

Ca représente deux phrases, et il y a des dizaines et des dizaines de phrases dans chaque fichiers. les mots sont les uns en dessous des autres et entre crochets, des info sur les mots, pour que ça soit possible de retrouver tous les verbes par exemples. Voili voilou!)

[fred1599]

En fait, je ne dois pas ouvrir tous les fichiers d'un coup mais appliquer ma fonction à tous les fichiers

Je me disais bien...

cela dit, je ne vois pas comment faire cela sans ouvrir les fichiers

Mais si...

Une boucle for tout simplement

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
for fichier in ...:
    # traitement

Ca représente deux phrases, et il y a des dizaines et des dizaines de phrases dans chaque fichiers. les mots sont les uns en dessous des autres et entre crochets, des info sur les mots, pour que ça soit possible de retrouver tous les verbes par exemples. Voili voilou!)

Je vois pas de phrases, j'entend par phrase sujet, verbe + complément

Les verbes je ne les vois pas non plus, bref je vois pas quoi récupérer dans tout ce bordel.

Un exemple d'entrée sortie?

[user_azerty]

<au id="1" s="V60921" tb="0.000">
ik <VNW(pers,pron,nomin,vol,1,ev);ik>
had <WW(pv,verl,ev);hebben>
het <LID(bep,stan,evon);het>
flauwe <ADJ(prenom,basis,met-e,stan);flauw>
vermoeden <N(soort,ev,basis,onz,stan);vermoeden>

"Ik had het flauwe vermoeden" est la phrase (c'est du néerlandais ^^)

Ik, c'est "je", donc le sujet, c'est pour ca qu'il est marqué VNW (voornaamwoord (sujet)).

Mais bon, j'ai réussi à récupérer tout ce qu'il me faut là-dedans, pfiou! Je dois le mettre dans un fichier .txt, mais bon, j'abandonne pour l'instant

[Sve@r]

C'est pour de la recherche en linguistique en fait

En fait, je ne dois pas ouvrir tous les fichiers d'un coup mais appliquer ma fonction à tous les fichiers (cela dit, je ne vois pas comment faire cela sans ouvrir les fichiers)

Salut

Ce n'est pas parce que tu dois traiter 278 fichiers (ou 278000) qu'ils seront ouverts en même temps !!!

<au id="1" s="V60921" tb="0.000">
ik <VNW(pers,pron,nomin,vol,1,ev);ik>
had <WW(pv,verl,ev);hebben>
het <LID(bep,stan,evon);het>
flauwe <ADJ(prenom,basis,met-e,stan);flauw>
vermoeden <N(soort,ev,basis,onz,stan);vermoeden>

"Ik had het flauwe vermoeden" est la phrase (c'est du néerlandais ^^)

Ik, c'est "je", donc le sujet, c'est pour ca qu'il est marqué VNW (voornaamwoord (sujet)).

Ouh, l'analyse linguistique c'est un gros travail. Généralement ça se fait avec des arbres pour représenter la grammaire...