Ecrire et lire rapidement des données

Version imprimable

19/04/2009, 00h17
rambc

Ecrire et lire rapidement des données

Bonjour,
je voudrais avoir une méthode rapide pour écrire et lire des données. Je suis en train de me faire un outil qui va parser des documents pour les mettre en forme (export PDF, HTML et Tout en Texte pour les aveugles). L'écriture et la lecture dans le fichier de stockage se feront lignes par lignes dans l'ordre.

Pour le moment j'ai opté pour un stockage ligne par ligne des lignes parsées avec des infos complémentaires dans un tableau, mais si le fichier à parser est trop gros cela va vite poser problème. D'où ma question.

Toute info. est la bienvenue.
19/04/2009, 14h57
arnaudk

Salut,

Suis pas sûr d'avoir tout compris, mais ce ne serait pas plus simple de stocker les lignes directement dans un fichier plutôt que dans un tableau ?
19/04/2009, 18h57
rambc

Citation:

Envoyé par arnaudk

Suis pas sûr d'avoir tout compris, mais ce ne serait pas plus simple de stocker les lignes directement dans un fichier plutôt que dans un tableau ?

L'intérêt du tableau c'est qu'il fonctionne au sein du programme tandis qu'un fichier extérieur est modifiable par l'utilisateur (même si cela a peu de chance d'arriver).

En fait, je vais effectivement mettre dans un fichier les lignes décortiquées. Cela n'empêche pas ma question, à savoir : existe-t-il une méthode rapide en terme d'exécution pour stocker les données ? Quel mode d'écriture faut-il privilégier ?
19/04/2009, 21h22
Antoine_935
Citation:

Envoyé par rambc

existe-t-il une méthode rapide en terme d'exécution pour stocker les données ?

Un accès disque peut (et doit) toujours être considéré comme lent, extrèmement lent.
A moins de n'avoir un réel besoin de ce fichier, comme le traitement d'une quantité énorme de données (plus que la ram raisonnablement exploitable, style 1/5 du total) ou le besoin d'une persistance, c'est bien mieux pour les performances de l'éviter.

D'ailleurs, si le pc vient à manquer de mémoire, il passera lui-même par des fichiers.

Mais si malgré tout tu as besoin de ces fichiers, je crois que le plus efficace serait d'utiliser pickle en écriture et lecture séquentielle. A toi de comparer les performances avec et sans pickle.
Code:

1 2 3 4 5 >>> import cPickle as pickle >>> a = ["Hello", "World"] >>> s = pickle.dumps(a, pickle.HIGHEST_PROTOCOL) >>> s '\x80\x02]q\x01(U\x05Helloq\x02U\x05Worldq\x03e.'
Edit: Tout dépend de ce dont tu as besoin évidemment. Si tu stockes du texte simple, tu n'auras sans doute pas besoin de pickle. A toi de trouver la solution qui convient le mieux à tes besoins.
20/04/2009, 13h02
rambc

Citation:

Envoyé par Antoine_935

D'ailleurs, si le pc vient à manquer de mémoire, il passera lui-même par des fichiers.

Je ne le savais pas...

Pour cPickle, comment lit-on un tableau stocké ? Je vais opter pour cette solution car j'ai plusieurs scripts qui vont avoir besoin de mes données à des niveaux différents.

Voila un exemple concret d'utilisation ;)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
>>> try:
...     import cPickle as pickle
... except ImportError: # cPickle n'est pas disponible
...     import pickle
... 
>>> f = open("testPickle.dat", "wb") # Ouvrir en ecriture binaire
>>> tableau = ["Hello", "World", "!"]
>>> pickle.dump(tableau, f, pickle.HIGHEST_PROTOCOL)
>>> tableau2 = ["Good", "Bye"]
>>> pickle.dump(tableau2, f, pickle.HIGHEST_PROTOCOL)
>>> 
>>> f.close()
>>> 
>>> f = open("testPickle.dat", "rb")
>>> print(pickle.load(f))
['Hello', 'World', '!']
>>> print(pickle.load(f))
['Good', 'Bye']

20/04/2009, 20h15
rambc

Merci pour cet exemple concret. :mrgreen: Je vais essayer d'adapter mon code ce soir en espérant ne pas me heurter à des difficultés inattendues...

Encore merci pour les infos.