Discussion :

[gingko41]

Bonjour,

Je souhaiterais savoir comment je peux sauvegarder un dictionnaire créé à partir de la lecture d'un fichier texte dans un autre fichier.

Pour illustrer mon problème, j'ai en entrée un looooooong fichier texte du style :

chien animal
chat animal
iris fleur
...

Dans un premier programme, j'extrais les données et je les stocke dans un dictionnaire du style

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

{'animal': [chien,chat], "fleur" : [iris]}

Mais j'aimerais bien créer un fichier 'monFichierDico' indépendant de ce programme qui se comporte comme un dictionnaire de façon à ce que si je fais depuis n'importe quel programme

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 print(monFichierDico[animal])

j'obtienne aussitôt le résultat [chien,chat].

J'espère que vous comprendrez ce que je veux faire Comme mon fichier est très gros, ça m'arrangerait d'avoir un accès direct à chaque clé.

Merci !!

[Sve@r]

Bonjour

Tu mélanges allègrement deux problèmes qui, pris individuellement, ont chacun des solutions distinctes.
1) pour exporter un dictionnaire (ou plus généralement un objet Python) il existe le module "pickle" pour Python3 et "cPickle" pour Python2. Ca t'exporte un objet en binaire et/ou importe un flux binaire analogue en objet Python. Tu peux y rajouter le module "zlib" qui te permet de compresser le résultat et éventuellement le module "hexlify" qui te permet de convertir un flux binaire en flux texte. Ensuite tu écris le tout dans un fichier et pour le récupérer ben tu passes le tout dans l'autre sens.
2) la façon dont tu utilise(rai)s ton fichier ressemble fortement à une interrogation SQL. Tu peux donc utiliser le module "sqlite3" qui te permet de créer un fichier se comportant exactement comme une base de données. Tu peux y créer des tables, des index, des clefs primaires, étrangères et bien entendu effectuer des requêtes

Chacune de ces solutions est optimale pour chaque problème. Ca veut dire que bien entendu rien ne t'empêche de te créer ton propre fichier à ta sauce avec ton outil de requêtage mais quoi que tu fasses, tu seras toujours moins performant que ce qui t'es offert en standard.

[VinsS]

Salut,

Les deux formats les plus courants sont pickle et json.

pickle produira un binaire illisible dans un éditeur mais il permet d'enregistrer des objets (classes) ce que ne permet pas json.

Exemple basique:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
# -*- coding: utf-8 -*-
 
import pickle
import json
 
dict = {"fruits": ["pomme", "orange", "poire"], 
        "animaux": ["mouton", "chien", "cheval"]}
 
# Avec pickle
with open("mydict_pickle", "wb") as outf:
    pickle.dump(dict, outf)
 
# Avec json
with open("mydict_json", "wb") as outf:
    jsn = json.dumps(dict, sort_keys=True, indent=4, 
                     separators=(',', ': '), ensure_ascii=False)
    outf.write(jsn.encode('utf-8', 'replace'))
 
# Lecture
with open("mydict_pickle", "rb") as inf:
    data = pickle.load(inf)
print(data)
 
with open("mydict_json", "rb") as inf:
    content = inf.read()
    data = json.loads(content)
print(data)

Personnellement, j'utilise journellement un json de plus de 3000 lignes de données et il est chargé en mémoire quasi instantanément.

[tyrtamos]

Bonjour,

Pour stocker des données, je préfère pour ma part le module shelve, qui stocke et récupère les données sous forme de dictionnaire.

Voilà un petit exemple qui montre que tous les types de données de base de Python sont bien conservés, ce qui est très pratique:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
# -*- coding: utf-8 -*-
# Python 3.5
 
import shelve
 
# objets a sauvegarder sur disque et à récupérer
L0 = True
L1 = 123456
L2 = 1.789e5
L3 = complex(1,2)
L4 = "ABC"
L5 = 'DEF'
L6 = [L0, L1, L2, L3, L4, L5]
L7 = (L0, L1, L2, L3, L4, L5)
L8 = {'L0':L0, 'L1':L1, 'L2':L2, 'L3':L3, 'L4':L4, 'L5':L5, 'L6':L6}
L9 = set([L0, L1, L2, L3, L4, L5])
 
# sauvegarde des objets
with shelve.open('historiquedbm') as d:
    d['L0'] = L0
    d['L1'] = L1
    d['L2'] = L2
    d['L3'] = L3
    d['L4'] = L4
    d['L5'] = L5
    d['L6'] = L6
    d['L7'] = L7
    d['L8'] = L8
    d['L9'] = L9
 
# récupération des objets sauvegardés
with shelve.open('historiquedbm') as d:
    R0 = d['L0']
    R1 = d['L1']
    R2 = d['L2']
    R3 = d['L3']
    R4 = d['L4']
    R5 = d['L5']
    R6 = d['L6']
    R7 = d['L7']
    R8 = d['L8']
    R9 = d['L9']
 
# affichage des objets récupérés
print(R0, type(R0))
print(R1, type(R1))
print(R2, type(R2))
print(R3, type(R3))
print(R4, type(R4))
print(R5, type(R5))
print(R6, type(R6))
print(R7, type(R7))
print(R8, type(R8))
print(R9, type(R9))
print()

Ce qui affiche:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
True <class 'bool'>
123456 <class 'int'>
178900.0 <class 'float'>
(1+2j) <class 'complex'>
ABC <class 'str'>
DEF <class 'str'>
[True, 123456, 178900.0, (1+2j), 'ABC', 'DEF'] <class 'list'>
(True, 123456, 178900.0, (1+2j), 'ABC', 'DEF') <class 'tuple'>
{'L6': [True, 123456, 178900.0, (1+2j), 'ABC', 'DEF'], 'L2': 178900.0, 'L4': 'ABC', 'L0': True, 'L3': (1+2j), 'L5': 'DEF', 'L1': 123456} <class 'dict'>
{123456, True, (1+2j), 'ABC', 178900.0, 'DEF'} <class 'set'>

[gingko41]

Bonjour,

Super !! Merci pour les différentes solutions que vous proposez, je vais regarder tout ça de plus près;

Encore merci, je ne savais pas de quel côté rechercher !!

[Tagashy]

Petite info complémentaire vu que personne en as parlé mais Pickle c'est dangereux, c'est vulnérable à de l’exécution de code lors du load donc si tu ne trust pas la source il faut éviter de l'utiliser.
Json est aussi vulnérable à une faille d’exécution de code mais contrairement à pickle cela peut être corriger en utilisant safe_load à la place de load.
Sqlite est parfait pour ce que tu veux en faire je pense.
Shelve je connais pas ^^

pickle produira un binaire illisible dans un éditeur mais il permet d'enregistrer des objets (classes) ce que ne permet pas json.

json permet de sauvegarder des objets ^^ c'est d'ailleurs pour ça qu'ils est vulnérable à de l’exécution de code cf https://docs.python.org/2/library/json.html (la v3 est pareil) :

Note

JSON is a subset of YAML 1.2. The JSON produced by this module’s default settings (in particular, the default separators value) is also a subset of YAML 1.0 and 1.1. This module can thus also be used as a YAML serializer.

et yaml est vulnérable à de l’exécution de code aussi. c.f https://blogs.cisco.com/security/tal...ulnerabilities

P.S c'est pas pour faire peur juste informé ^^

[gingko41]

Merci Tagashy,

Bon, j'ai commencé à utiliser Pickle (j'ai tenté sqlite mais j'ai rencontré un problème pour accéder aux données, j'ai d'ailleurs posté sur le sujet :
https://www.developpez.net/forums/d1...-affiche-rien/
)

J'espère que Pickle fonctionnera bien quand même

Bonne journée

[Sve@r]

J'espère que Pickle fonctionnera bien quand même

J'aime bien le "roll"... comme si les outils qu'on propose étaient foireux !!!
Alors déjà si j'en crois ton titre tu es sous Python3 donc le module ne se nomme pas "Pickle" mais "pickle" (déjà dit en plus). C'est sûr que si tu te trompes de nom ça fonctionnera évidemment moins bien mais ce ne sera pas la faute du module.
Et pour ton souci sqlite, j'ai répondu. Et bien évidemment le souci ne vient absolument pas du module (qui lui aussi fonctionne parfaitement) mais plutôt du développeur qui l'utilise.

[gingko41]

Bonjour Sve@r,

Je précise que le "roll" n'est en aucun cas utilisé pour signaler que les "outils proposés sont foireux", je ne me le permettrai pas vu que je ne suis pas informaticienne et que vous tous en savez bien plus que moi !

c'est juste que j'espère que mon utilisation de novice ne fera pas que je l'utiliserai de façon non optimale et que ça bloquera à un moment donné (genre trop de données à stocker...)

Et pour P/pickle, j'ai recopié le code proposé plus haut, là encore je ne savais pas qu'il pouvait y avoir des différences selon qu'on utilise des majuscules ou pas.

Merci et bonne journée.