Discussion :

[toma28]

Bonjour à vous tous,

Je cherche actuellement une solution en python pour exploiter/récupérer des données stocké dans un dictionnaire hiéarchique.
Mon fichier de base est un pickle que j'exploite.

Mon dictionnaire est constitué de la façon, suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
{
   'IdBloc1': {
      'action': '', 'cves': ['CVE-1','CVE-N'],'descritpion': "", 'id': 'IdBloc1', 'isummary': '', 
         'releases': {
 
            'NomReleases1': {
               'archs': {
                  'amd64': {
                     'urls': {
                        'http://source': {'md5': '', 'size': 0 },
                        'http://sourceN': {...}
                     }
                  },
                  'i386': {...},
                  'N': {...}
               },
               'binaries': {'NomBinaries1': {'version': ''}, 'NomBinariesN': {'version': ''} ...},
               'sources': {'': {'description': '','version': ''}}
            },
            'NomReleasesN': {...}
         },
      'summary': '',
      'timestamp': 128,
      'title': ''
   },
   'IdBlocN': {...}
}

J'ai essayé plusieurs choses mais rien de concluant, je m'en remet donc à vous qui je pense, vous etes déjà confronté à ce genre de problème.

Je précise que mon but final est de récupérer certaine données du dictionnaire pour après les mettre dans un format XML (j'ai aussi tenté de transformer directement mon dict en xml, certaine donnée sont retourné en tant que balise et cela ne facilite pas la tâche).

Merci de m'aider, m'orienter dans mon périple.

Je suis en python-2.6, j'arrive à afficher les items mais je n'arrive pas à afficher les data associées.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/usr/bin/python
data = "database.pickle"
loadtexte = open(data, 'r')
obj = dict(cPickle.load(loadtexte))
loadtexte.close()
 
for cle in obj.keys():
     print cle
     for keys in obj[cle]:
          print keys

Mon résultat est le suivant :
IdBloc1
description
releases
title
timestamp
summary
action
cves
id
isummary

[toma28]

Comme je vous l'ai dis plus haut, j'ai essayé aussi de transformer mon dictionnaire directement en XML.
Voici le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
import copy, pprint, cPickle
from xml.dom.minidom import Document

class dict2xml(object):
    doc     = Document()
    def __init__(self, structure):
        if type(structure) == dict:
	   compte = len(structure) #1045-1
	   rootName    = str(structure.keys()[1])
	   self.root   = self.doc.createElement(rootName)
	   self.doc.appendChild(self.root)
	   self.build(self.root, structure[rootName])

    def build(self, father, structure):
        if type(structure) == dict:
            for k in structure:
                tag = self.doc.createElement(k)
                father.appendChild(tag)
                self.build(tag, structure[k])

        elif type(structure) == list:
            grandFather = father.parentNode
            tagName     = father.tagName
            grandFather.removeChild(father)
            for l in structure:
                tag = self.doc.createElement(tagName)
                self.build(tag, l)
                grandFather.appendChild(tag)

        else:
            data    = str(structure)
            tag     = self.doc.createTextNode(data)
            father.appendChild(tag)

    def affichexml(self):
        print self.doc.toprettyxml(indent="  ")


if __name__ == '__main__':
	filepickle = "database.pickle"
	loadpickle = open(filepickle, 'r')
	dictionnaire = dict(cPickle.load(loadpickle))
#	pprint.pprint(dictionnaire)
#	print type(dictionnaire)
	xml = dict2xml(dictionnaire)
	xml.affichexml()
	loadpickle.close()

Mais comme vous pouvez le voir je n'effectue la convertion que sur la premier IdBloc1 "rootName = str(structure.keys()[1])".
J'ai tenté de faire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for debut in range(len(structure)):
		rootName    = str(structure.keys()[debut])
		self.root   = self.doc.createElement(rootName)
		self.doc.appendChild(self.root)
	        self.build(self.root, structure[rootName])

Mais cela me retourne une erreur sur "self.doc.appendChild(self.root)".
File "/usr/lib/python2.6/xml/dom/minidom.py", line 1552, in appendChild "two document elements disallowed")
xml.dom.HierarchyRequestErr: two document elements disallowed

[wiztricks]

Peut être regarder ce qui a été fait ici?
Votre dictionnaire n'est pas un schéma "simple": il faudra définir des règles pour transformer des valeurs qui sont des agrégats (autres que simples) en éléments XML (et réciproquement).
Le cas général est décrit ici.
Bon courage,
- W

[toma28]

Merci "wiztricks", je regards ça de suite.

J'ai trouvé comment récupérer les valeurs, par contre je n'arrive pas à récupérer 3 items -une liste dans un item, un numérique et une valeur qui peut etre nul)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
for cle in obj.keys():
	ids = (obj[cle]['id'])
	descriptions = (obj[cle]['description'])
	titles = (obj[cle]['title'])
	summarys = (obj[cle]['summary'])
	actions = (obj[cle]['action'])
	print "id : " + ids
	print "description :" + descriptions
	print "title :" + titles
	print "summary :" + summarys
	print "action :" + actions
#	print "timestamp :" + obj[cle][timestamp]
#	print "cves :" + obj[cle][cves]
#	print "isummary :" + obj[cle]['isummary']

Donc pour l'instant pour les trois derniers je ne sais pas vraiment comment faire.

[toma28]

J'ai réussi à parser mon dictionnaire, pour l'instant ce n'est pas vraiment trés beau. je vais créer des class def.
N'hésitez pas à me faire part de vos impressions, optimisations, critiques.

Je vais aussi le convertir en XML.

Voici mon code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
#!/usr/bin/python
import os, xmlrpclib, urllib, bz2, hashlib, cPickle, pprint, contextlib, sys
data = "database.pickle"
loadtexte = open(data, 'r')
obj = dict(cPickle.load(loadtexte))
loadtexte.close()
 
 
for cle in obj.keys():
	ids = (obj[cle]['id'])
	descriptions = (obj[cle]['description'])
	descriptions = descriptions.replace("\n", " ")
	titles = (obj[cle]['title'])
	summarys = (obj[cle]['summary'])
	actions = (obj[cle]['action'])
	actions = actions.replace("\n", " ")
	print "ID : "+ids
	print "Description : "+descriptions
	print "Titre : "+titles
	print "Summary : "+summarys
	print "Action : "+actions
 
	listcve = list(obj[cle]['cves'])
	for key in obj[cle]: # isummary
 		if (key) == 'isummary' :
			isummarys = (obj[cle]['isummary'])
			print "isummary : "+obj[cle]['isummary']
		if (key) == 'cves' :
			print listcve
 
	dictreleases = dict(obj[cle]['releases'])
	for key in dictreleases.keys(): # OS (lucid, precise, ...)
		if (key) == ('precise' or 'lucid') : 
			print "RELEASE : "+key
			dictarchs = dict(dictreleases[key]['archs'])
			for cle in dictarchs.keys(): # Architectutre (amd64, powerpc, ...)
				print "ARCH : "+cle
				dicturls = dict(dictarchs[cle]['urls'])
				for urls in dicturls.keys(): # URLS sources
					print "URL : "+urls
					dictinfo = dict(dicturls[urls])
					for info in sorted(dictinfo.iterkeys()):
						print "%s: %s" % (info, dictinfo[info])

[toma28]

Quelqu'un serait comment spliter un résultat?
J'ai dans ma variable URL une adresse http ou je dois récupérer certaines infos.
Exemple:
http://ports.ubuntu.com/pool/main/r/....1_powerpc.deb

Je dois récupérer séparément:
http://ports.ubuntu.com
libruby1.8-dbg_1.8.7.352-2ubuntu1.1_powerpc.deb

Merci