Discussion :

[ptrs32]

Bonjour,

Pour un programme en python qui assure entre autres le décodage de code, je récupère un recueil au format txt de chaque code que je peux rencontrer.
Le fichier se présente tout simplement comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
code1    décodage1
code2    décodage2
code3    décodage3
code4    décodage4
code5    décodage5
...

avec une tabulation entre chaque code/décodage.

Je vois deux solutions pour exploiter ce fichier :

option 1 : A chaque code rencontré par le programme, je parcours les lignes du txt depuis le début jusqu'à retrouver son décodage.

option 2 : En début de script, grâce à une boucle qui parcours toutes les lignes je stocke les code/décodage dans une variable dictionnaire.


A première vu la deuxième option semble évidente mais peut être avez vous une autre idée plus "propre" que ça, et sinon avez vous une idée de comment convertir ce fichier en dictionnaire plus simplement qu'en parcourant les lignes une à une ?
Il s'agit d'un très gros fichier texte ( env. 700 000 lignes)

merci d'avance !

[wiztricks]

Salut,

sinon avez vous une idée de comment convertir ce fichier en dictionnaire plus simplement qu'en parcourant les lignes une à une ?
Il s'agit d'un très gros fichier texte ( env. 700 000 lignes)

Un fichier texte est construit sur la base d'une séquence de lignes. Et détecter la fin de ligne, c'est balayer la suite d'octets jusqu'à la rencontrer. Et ce n'est qu'avec cette ligne que vous allez pouvoir séparer clef/valeur à ajouter au dictionnaire.
Je n'ai aucune idée de combien de temps peut prendre la fabrication du dictionnaire (et la lecture du fichier) mais çà ne devrait pas dépasser une poignée de secondes (sur une machine normale): testez... et poser vous des questions si çà vous paraît long.

- W

[jurassic pork]

hello,
voici une solution possible :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
def writeBigFile():
    with open('bigFile.txt', 'w') as f:
        for i in range(1, 700000 ):
            f.write("code" + str(i) + "\tdécodage" + str(i))
            f.write('\n')

def bigFile2dict():
    with open("bigFile.txt") as f:
        Dict = dict((x.strip(), y.strip())
                    for x, y in (line.split('\t')
                                 for line in f))
#    print(Dict)

print("début")
writeBigFile()
bigFile2dict()
print("fin")

Cela met une dizaine de secondes pour générer le fichier et le lire avec la conversion en dictionnaire. Le fichier généré fait dans les 18Mo. Je déconseille le print(Dict)
Ami calmant, J.P

[VinsS]

hello,
Cela met une dizaine de secondes pour générer le fichier et le lire avec la conversion en dictionnaire.
Ami calmant, J.P[/COLOR]

Je trouve ça encore rapide pour un ZX81.

[jurassic pork]

Je trouve ça encore rapide pour un ZX81.

je l'ai beaucoup boosté pour avoir des temps corrects.

[Sve@r]

Bonjour

Je vois deux solutions pour exploiter ce fichier :

option 1 : A chaque code rencontré par le programme, je parcours les lignes du txt depuis le début jusqu'à retrouver son décodage.

option 2 : En début de script, grâce à une boucle qui parcours toutes les lignes je stocke les code/décodage dans une variable dictionnaire.

Un traitement qui prend ses données en mémoire sera 1000 fois plus rapide qu'un traitement qui doit les chercher dans un fichier. Mais en contrepartie il doit avoir l'espace mémoire suffisant pour tout stocker. C'est un dilemne que tous les devs se posent à chaque nouveau projet.

et sinon avez vous une idée de comment convertir ce fichier en dictionnaire plus simplement qu'en parcourant les lignes une à une ?

Impossible. Quelle que soit la méthode, elle devra passer par une lecture du fichier. Même si celle-ci est cachée dans une librairie "machin" qui se charge de tout mettre au propre, celle-ci passera obligatoirement par une lecture du fichier. Il y a des principes incontournables quand on traite un fichier et l'un deux c'est que pour traiter le fichier, il faut lire le fichier...

[tyrtamos]

Bonjour,

J'entrevois plusieurs solutions, mais on manque d'informations pour savoir quelle est la meilleure.

- avoir les données dans une base de données sqlite3 au lieu d'un fichier texte. Les extractions de données seront plus rapides.

- lire le fichier texte une 1ère fois et créer un fichier d'index trié sur le code. La recherche est faite ensuite par dichotomie pour trouver le code et donc son décodage. A noter que si le fichier texte n'évolue pas entre 2 cessions, on peut stocker le fichier index sur disque et ne lire que lui à la cession suivante..

- lire le fichier texte une 1ère fois et mettre en mémoire un dictionnaire dont la clé serait le code et sa valeur l'adresse disque du décodage. Même chose que précédemment: si le fichier texte n'évolue pas entre 2 cessions.

- etc...

[ptrs32]

Alors déjà merci beaucoup pour tous vos retours,

Merci jurassic pork pour ta proposition.

Pour donner un peu plus d'infos ce fichier texte est récupérable sur internet, et il peut changer car il est régulièrement mis à jour, le date de dernière mise à jour est d’ailleurs en première ligne du fichier.

Donc soit je re-crée mon dictionnaire à chaque run même si le fichier est le même que pour le précédent run. Ça ne devrait prendre qu'une poignée de secondes mais bon c'est un peu inutile.
Soit je stocke ces données quelque part et je vérifie la date de mise à jour à chaque run pour déterminer si je dois re-créer le dictionnaire.

Je dis peut être n'importe quoi mais est ce qu'il est envisageable de stocker le dictionnaire sous forme de chaine de caractère dans un txt, avec sa date de mise à jour, pour ensuite le récupérer dans mon script si cette date est identique ?

[Arioch]

Je dis peut être n'importe quoi mais est ce qu'il est envisageable de stocker le dictionnaire sous forme de chaine de caractère dans un txt, avec sa date de mise à jour, pour ensuite le récupérer dans mon script si cette date est identique ?

Peut être voir du côté du format JSON ?

[wiztricks]

Peut être voir du côté du format JSON ?

ou de pickle...

- W

[ptrs32]

Finalement je converti le fichier texte en fichier JSON pour le stocker d'un run à un autre et dans le script je le passe en dictionnaire pour l'utiliser.

Merci à tous pour vos propositions.

Pour info, voici comment je récupère le fichier txt et crée le JSON :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
import urllib
 
txtdata = list(urllib.request.urlopen(url))
 
for line in txtdata:
      line = line.decode("utf-8").split('\t')
      dic[str(line[0].strip())] = str(line[1].strip())
 
out_file = open("dicSave.json", "w")
json.dump(dic, out_file, indent = 4, sort_keys = False)
out_file.close()

Si vous avez des remarques sur la syntaxe ou autre n'hésitez pas.
Toujours bon d'améliorer l'écriture de son code.

[Arioch]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
      dic[str(line[0].strip())] = str(line[1].strip())

Si vous avez des remarques sur la syntaxe ou autre n'hésitez pas.
Toujours bon d'améliorer l'écriture de son code.

Je pense que tu n'as pas besoin de faire appel à la méthode strip() sur line[0].

Chaque ligne de ton fichier est splitée mais le carriage return est en fin de ligne, pas au milieu

[Sve@r]

Je pense que tu n'as pas besoin de faire appel à la méthode strip() sur line[0].

Ca dépend. Si cette partie de ligne contient des espaces inutiles (parce que strip() n'est pas fait que pour le '\n' )
Sinon si c'est juste pour le "\n" alors rstrip() suffit et dans ce cas, autant le faire avant le split()...

[Arioch]

Ca dépend. Si cette partie de ligne contient des espaces inutiles (parce que strip() n'est pas fait que pour le '\n' )

J'ai tendance à oublier ce détail souvent, merci pour le rappel

Donc, mettons que je n'ai rien dit en commentaire plus haut