Correspondance entre du texte et des données

Version imprimable

07/12/2017, 12h07
Xam29870

Correspondance entre du texte et des données

Bonjour,

j'aimerais faire correspondre du texte d'un fichier avec des données d'un autre fichier.

En gros, à partir d'un fichier texte (ci-dessous), j'aimerais que la partie ("idBatiment" : Volume) du fichier ne soit pas juste du texte mais qu'il corresponde à des données.

[
{
"identification": {
"producer": "<reseau>"
},
"coordinates": {
"timestamp": "1512479309"
},
"meta": {
"name": "<consoBatiment>",
"tags": {
}
},
"values": {
"idBatiment" : Volume,
}
}
]

Ses données sont de la forme :

094200 39.04 MB
095500 58.79 MB
053700 27.46 MB
082000 70.58 MB
073800 26.95 MB
096200 216.76 MB
075100 14.48 MB
052300 27.02 MB
058700 19.22 MB
058300 15.43 MB
052800 35.13 MB
018000 15.29 MB
000000 16.13 MB
060500 1.10 KB
060600 1.10 KB
061600 1.09 KB
063300 1.04 KB
063500 1.10 KB

La première colonne du fichier ci-dessus correspond à l'idBatiment du premier fichier et la deuxième colonne du fichier ci-dessus correspond au Volume du premier fichier.

Est-ce possible de faire correspondre le texte du fichier 1 avec les données du fichier 2 ? Si oui, pouvez-vous m'aider à faire correspondre le texte du premier fichier "idBatiment" : Volume avec les données du deuxième fichier ?

Merci d'avance et bonne journée ! :)

PS : je débute en python
08/12/2017, 09h01
Xam29870

J'ai besoin de remplacer le texte par les données, personne ne peut m'aider ?

J'ai essayer en ouvrant le fichier en lecture et en faisant un .replace sur le texte pour le remplacer par les données mais il n'y a que la première ou la dernière donnée qui est inscrite à la place du texte.
08/12/2017, 09h48
DonKnacki

Bonjour

Montre nous ton code et précise un peu ce que tu attend en résultat. J'ai du mal à comprendre comment tu fais le rapprochement ?

Mon code pour le moment :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
 
# ouverture du fichier avec le format
s = open("fichier_tmp3","r")
 
#ouverture du fichier contenant les donnees
t = open("fichier-donnee","r")
 
 
for line in s:
 
 
	for ligne in t:
		#Divise le fichier des donnees en 2 parties grace a l'espace	
		ligne = ligne.rstrip().split(" ")
		#affiche l'id : la valeur
		print ligne[1]	+ " : " + ligne[2]		
 
	#Remplace le texte par les donnees
	line = line.replace(' "idCaisse" : Volume, ', ligne[1] + " : " + ligne[2] )
	print line 
 
 
s.close()
t.close()

Voici le resultat :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
 
 
056100 : 386578513.92
058400 : 230235832.32
051600 : 286103961.6
051800 : 214349905.92
052300 : 271130296.32
094200 : 262206914.56
075800 : 207953592.32
052800 : 280903024.64
053000 : 179589611.52
053700 : 260308992.0
058900 : 117220311.04
061600 : 101659443.2
082000 : 267932139.52
050500 : 77825310.72
000000 : 121372672.0
[ 
 
  { 
 
    "identification": {  
 
     "producer": "<network.infra>"  
 
    }, 
 
    "coordinates": { 
 
      "timestamp": "1512479309"  
 
    }, 
 
    "meta": { 
 
      "name": "<squid.conso.caisse>", 
 
      "tags": { 
 
      } 
 
    }, 
 
    "values": { 
 
    000000 : 121372672.0
 
    } 
 
  } 
 
]

Donc la valeur 000000 : 121372672.0 est la dernière donnée récupérée et c'est la seule que j'arrive à afficher, j'aimerais afficher en gros :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
 
 
[ 
 
  { 
 
    "identification": {  
 
     "producer": "<network.infra>"  
 
    }, 
 
    "coordinates": { 
 
      "timestamp": "1512479309"  
 
    }, 
 
    "meta": { 
 
      "name": "<squid.conso.caisse>", 
 
      "tags": { 
 
      } 
 
    }, 
 
    "values": { 
    056100 : 386578513.92
    058400 : 230235832.32
    051600 : 286103961.6
    051800 : 214349905.92
    052300 : 271130296.32
    094200 : 262206914.56
    075800 : 207953592.32
    052800 : 280903024.64
    053000 : 179589611.52
    053700 : 260308992.0
    058900 : 117220311.04
    061600 : 101659443.2
    082000 : 267932139.52
    050500 : 77825310.72
    000000 : 121372672.0
 
    } 
 
  } 
 
]

Je ne comprend toujours pas le rapprochement mais peut importe
Code:

1 2 3 4 5 6 7 8 9 for ligne in t: #Divise le fichier des donnees en 2 parties grace a l'espace ligne = ligne.rstrip().split(" ") #affiche l'id : la valeur print ligne[1] + " : " + ligne[2] #Remplace le texte par les donnees line = line.replace(' "idCaisse" : Volume, ', ligne[1] + " : " + ligne[2] ) print line
Au niveau du replace; ligne[1] et ligne[2] ont pour valeur la dernière du fichier (car tu fais le replace hors de la boucle)

Je pense qu'il suffit de cumuler les données (dans une liste ou bien en concaténant) et appliquer le replace à ce cumul et tu auras ce que tu veux

Un truc comme ça ? :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
 
for line in s:
 
 
	for ligne in t:
		#Divise le fichier des donnees en 2 parties grace a l'espace	
		ligne = ligne.rstrip().split(" ")
		#affiche l'id : la valeur
		print ligne[1]	+ " : " + ligne[2]
		tableau1 = []
		tableau1.append(ligne[1]) 
		tableau2 = []
		tableau2.append(ligne[2])		
 
		#Remplace le texte par les valeurs
		line = line.replace(' "idCaisse" : Volume, ', str(tableau1) + " : " + str(tableau2))
		print line

Pas tout à fait :)

là tu as remis le replace dans la boucle qui lis les données du fichier de données
Attention à l'indentation en python :)
De plus, tableau1 et 2 sont redéfis à chaque boucle donc on perd les données :(
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 for line in s: tableau = [] for ligne in t: #Divise le fichier des donnees en 2 parties grace a l'espace ligne = ligne.rstrip().split(" ") #affiche l'id : la valeur print ligne[1] + " : " + ligne[2] tableau1.append(ligne[1] + " : " + ligne[2]) #Remplace le texte par les valeurs line = line.replace(' "idCaisse" : Volume, ', "\n".join(tableau)) print line

Merci de la réponse :)

J'ai donc remplacé ce que j'ai fais par ton code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
 
# ouverture du fichier avec le format
s = open("fichier_tmp3","r")
 
#ouverture du fichier contenant les donnees
t = open("fichier-donnee","r")
 
 
for line in s:
 
 	tableau = []
	for ligne in t:
		#Divise le fichier des donnees en 2 parties grace a l'espace	
		ligne = ligne.rstrip().split(" ")
		#affiche l'id : la valeur
		print ligne[1]	+ " : " + ligne[2]
 
		tableau.append(ligne[1] + " : " + ligne[2]) 
 
    	#Remplace le texte par les valeurs
    	line = line.replace(' "idCaisse" : Volume, ', "\n".join(tableau))
    	print line
 
 
s.close()
t.close()

Le problème c'est maintenant toutes les données sont inscrites avant et il y a une partie blanche à la place du texte à remplacer :(

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
 
 
056100 : 386578513.92
058400 : 230235832.32
051600 : 286103961.6
051800 : 214349905.92
052300 : 271130296.32
094200 : 262206914.56
075800 : 207953592.32
052800 : 280903024.64
053000 : 179589611.52
053700 : 260308992.0
058900 : 117220311.04
061600 : 101659443.2
082000 : 267932139.52
050500 : 77825310.72
000000 : 121372672.0
[ 
 
  { 
 
    "identification": {  
 
     "producer": "<network.infra>"  
 
    }, 
 
    "coordinates": { 
 
      "timestamp": "1512479309"  
 
    }, 
 
    "meta": { 
 
      "name": "<squid.conso.caisse>", 
 
      "tags": { 
 
      } 
 
    }, 
 
    "values": { 
 
 
 
    } 
 
  } 
 
]

11/12/2017, 09h36
DonKnacki
Bonjour

Ce que tu vois est le résultat du premier print
print ligne[1] + " : " + ligne[2]
Pour moi, tu faisais ce print uniquement pour vérification ...

Sinon il y a des incohérences entre tes posts

dans ton premier post, tu nous donnais la structure du fichier tmp
Code:

1 2 3 "values": { "idBatiment" : Volume, }
Ensuite tu nous donne un code avec un replace

Code:

line = line.replace(' "idCaisse" : Volume, ', ligne[1] + " : " + ligne[2] )

c'est idBatiment ou idCaisse ?

J'ai surement mal compris une partie de la problématique :aie:

Effectivement, je m'étais trompé au niveau du texte, donc en gros au niveau de la problématique. C'est de pouvoir mettre ces données là :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
058400 230235832.32
051600 286103961.6
051800 214349905.92
052300 271130296.32
094200 262206914.56
075800 207953592.32
052800 280903024.64
053000 179589611.52
053700 260308992.0
058900 117220311.04
061600 101659443.2
082000 267932139.52
050500 77825310.72
000000 121372672.0

à la place de ce texte là :

Code:

1
2
 
"idCaisse" : Volume

à partir de ce format là :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
[ 
  { 
    "identification": {  
     "producer": "<network.infra>"  
    }, 
    "coordinates": { 
      "timestamp": "1512479309"  
    }, 
    "meta": { 
      "name": "<squid.conso.caisse>", 
      "tags": { 
      } 
    }, 
    "values": { 
     "idCaisse" : Volume, 
    } 
  } 
]

de tels sortes que le résultat soit :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
 
[ 
  { 
    "identification": {  
     "producer": "<network.infra>"  
    }, 
    "coordinates": { 
      "timestamp": "1512479309"  
    }, 
    "meta": { 
      "name": "<squid.conso.caisse>", 
      "tags": { 
      } 
    }, 
    "values": { 
     058400 : 230235832.32,
     051600 : 286103961.6,
     051800 : 214349905.92,
     052300 : 271130296.32,
     094200 : 262206914.56,
     075800 : 207953592.32,
     052800 : 280903024.64,
     053000 : 179589611.52,
     053700 : 260308992.0,
     058900 : 117220311.04,
     061600 : 101659443.2,
     082000 : 267932139.52,
     050500 : 77825310.72,
     000000 : 121372672.0, 
    } 
  } 
]

Et dont voici le code actuellement :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
 
# ouverture du fichier avec le format
s = open("fichier_tmp3","r")
 
#ouverture du fichier contenant les donnees
t = open("fichier-donnee","r")
 
 
for line in s:
 
 	tableau = []
	for ligne in t:
		#Divise le fichier des donnees en 2 parties grace a l'espace	
		ligne = ligne.rstrip().split(" ")
		#affiche l'id : la valeur
		print ligne[1]	+ " : " + ligne[2]
 
		tableau.append(ligne[1] + " : " + ligne[2]) 
 
    	#Remplace le texte par les valeurs
    	line = line.replace(' "idCaisse" : Volume, ', "\n".join(tableau))
    	print line
 
 
s.close()
t.close()

salut,

ton "fichier texte" vu d'ici c'est du json, donc si on considère qu'on part d'un fichier fichier.txt comme celui là :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[
   {
      "identification": {
         "producer": "<reseau>"
      },
      "coordinates": {
         "timestamp": "1512479309"
      },
      "meta": {
         "name": "<consoBatiment>",
         "tags": {
         }
      },
      "values": {
      }
   }
]

et d'un fichier datas.txt comme celui là :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
094200 39.04 MB
095500 58.79 MB
053700 27.46 MB
082000 70.58 MB
073800 26.95 MB
096200 216.76 MB
075100 14.48 MB
052300 27.02 MB
058700 19.22 MB
058300 15.43 MB
052800 35.13 MB
018000 15.29 MB
000000 16.13 MB
060500 1.10 KB
060600 1.10 KB
061600 1.09 KB
063300 1.04 KB
063500 1.10 KB

on peut simplement écrire :

Code:

1
2
3
4
>>> import json
>>> with open('fichier.txt', 'r') as f: fichier = json.load(f)
>>> with open('datas.txt',   'r') as f:   datas = dict([line.rstrip().split(' ', 1) for line in f])
>>> fichier[0]['values'].update(datas)

et le résultat :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[{u'coordinates': {u'timestamp': u'1512479309'},
  u'identification': {u'producer': u'<reseau>'},
  u'meta': {u'name': u'<consoBatiment>', u'tags': {}},
  u'values': {'000000': '16.13 MB',
              '018000': '15.29 MB',
              '052300': '27.02 MB',
              '052800': '35.13 MB',
              '053700': '27.46 MB',
              '058300': '15.43 MB',
              '058700': '19.22 MB',
              '060500': '1.10 KB',
              '060600': '1.10 KB',
              '061600': '1.09 KB',
              '063300': '1.04 KB',
              '063500': '1.10 KB',
              '073800': '26.95 MB',
              '075100': '14.48 MB',
              '082000': '70.58 MB',
              '094200': '39.04 MB',
              '095500': '58.79 MB',
              '096200': '216.76 MB'}}]

Salut, merci de ta réponse :)

J'ai un fichier "fichier.txt" contenant le json équivalent au tien. J'ai un fichier datas.txt contenant mes données équivalent au tien et j'ai mon code qui est presque équivalent au tien :
Code:

1 2 3 4 5 6 7 8 9 import json as simplejson with open('fichier_tmp3', 'r') as f: fichier = simplejson.load(f) with open('datas.txt', 'r') as f: datas = dict([line.rstrip().split(' ', 1) for line in f]) test = fichier[0]['values'].update(datas) print test
Cependant j'ai une erreur : ValueError: dictionary update sequence element #0 has length 1; 2 is required

Tu as moyen de m'aider ? Le résultat que tu as obtenu, est exactement ce que j'ai envie d'avoir ! :)

11/12/2017, 15h24
BufferBob

Citation:

Envoyé par Xam29870

Cependant j'ai une erreur : ValueError: dictionary update sequence element #0 has length 1; 2 is required

Tu as moyen de m'aider ? Le résultat que tu as obtenu, est exactement ce que j'ai envie d'avoir ! :)

difficile à dire, au delà de la recopie du code il convient d'investiguer et voir la tête des données (avec json.dumps() ou pprint.pprint() par exemple)
si j'ai reprécisé le contenu des fichiers c'est justement parce que le tiens contenait quelques erreurs à l'origine, idem pour le fichier de données pour lequel j'avais convertit les   en espaces
c'est donc à adapter plus qu'à recopier, en fonction du format réel de tes fichiers et de leurs spécificités
11/12/2017, 15h35
Xam29870
C'est pour cela que j'ai modifié mes fichiers pour faire en sorte qu'ils soient équivalent au tiens ;)

Je vais essayer de résoudre le problème du coup.

Le truc c'est qu'à partir de ton premier post, j'ai crée exactement les même fichiers que toi. Et lorsque j'ai lancé le programme, ça n'a rien fait. J'ai donc modifié ta ligne :
Code:

1 2 fichier[0]['values'].update(datas)
en ;
Code:

1 2 3 4 test = fichier[0]['values'].update(datas) print test
et là, ça me retourne "None", je pensais que ça allait m'afficher le résultat de ton premier post.
11/12/2017, 19h00
BufferBob

Citation:

Envoyé par Xam29870

ça me retourne "None", je pensais que ça allait m'afficher le résultat de ton premier post.

non, c'est plutôt un print fichier qu'il faut faire dans ce cas, ta variable test vaudra toujours None

Merci beaucoup pour ton aide, ça marche bien, il me reste plus qu'à mettre en forme.

Parce que ça me donne un truc comme ça :

Code:

1
2
 
[{u'values': {'058300': '15.43 MB', '052800': '35.13 MB', '058700': '19.22 MB', '060600': '1.10 KB', '060500': '1.10 KB', '018000': '15.29 MB', '061600': '1.09 KB', '063300': '1.04 KB', '082000': '70.58 MB', '063500': '1.10 KB', '096200': '216.76 MB', '073800': '26.95 MB', '075100': '14.48 MB', '052300': '27.02 MB', '000000': '16.13 MB', '094200': '39.04 MB', '095500': '58.79 MB', '053700': '27.46 MB'}, u'meta': {u'name': u'<squid.conso.caisse>', u'tags': {}}, u'identification': {u'producer': u'<network.infra>'}, u'coordinates': {u'timestamp': u'1512479309'}}]

Donc c'est un poil différent du format de base en terme de mise en forme :)

Citation:

Envoyé par Xam29870

il me reste plus qu'à mettre en forme.

à ce stade le bon réflexe à avoir c'est d'aller lire la doc du module incriminé:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
>>> with open('nouveau.txt', 'w') as f:
...    json.dump(fichier, f, indent=3, sort_keys=True)
 
>>> print json.dumps(fichier, indent=3, sort_keys=True)
[
   {
      "coordinates": {
         "timestamp": "1512479309"
      },
      "identification": {
         "producer": "<reseau>"
      },
      "meta": {
         "name": "<consoBatiment>",
         "tags": {}
      },
      "values": {
         "000000": "16.13 MB",
         "018000": "15.29 MB",
         "052300": "27.02 MB",
         "052800": "35.13 MB",
         "053700": "27.46 MB",
         "058300": "15.43 MB",
         "058700": "19.22 MB",
         "060500": "1.10 KB",
         "060600": "1.10 KB",
         "061600": "1.09 KB",
         "063300": "1.04 KB",
         "063500": "1.10 KB",
         "073800": "26.95 MB",
         "075100": "14.48 MB",
         "082000": "70.58 MB",
         "094200": "39.04 MB",
         "095500": "58.79 MB",
         "096200": "216.76 MB"
      }
   }
]

(note la différence entre json.dump() et json.dumps())

12/12/2017, 11h38
Xam29870

Merci beaucoup, ça marche parfaitement !

En te souhaitant une bonne journée.

Salut,

désolé de remettre le sujet en non-résolu, j'ai encore une petite question.

J'aurais voulu faire en sorte d'avoir un format comme ça :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
[
   {
      "coordinates": {
         "timestamp": "1512479309"
      },
      "identification": {
         "producer": "<reseau>"
      },
      "meta": {
         "name": "<consoBatiment>",
         "tags": {
         "Caisse": "000000"
         }
      },
      "values": {
         'default": 16.13
      }
   }
]

à partir des données :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
094200 39.04 MB
095500 58.79 MB
053700 27.46 MB
082000 70.58 MB
073800 26.95 MB
096200 216.76 MB
075100 14.48 MB
052300 27.02 MB
058700 19.22 MB
058300 15.43 MB
052800 35.13 MB
018000 15.29 MB
000000 16.13 MB
060500 1.10 KB
060600 1.10 KB
061600 1.09 KB
063300 1.04 KB
063500 1.10 KB

et pouvoir faire un fichier JSON, par paire de données, donc le fichier JSON suivant serait :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
[
   {
      "coordinates": {
         "timestamp": "1512479309"
      },
      "identification": {
         "producer": "<reseau>"
      },
      "meta": {
         "name": "<consoBatiment>",
         "tags": {
         "Caisse": "018000"
         }
      },
      "values": {
         'default": 15.29
      }
   }
]

Et j'aimerais ne pas avoir de " " pour la valeur default.

Désolé encore du dérangement et merci d'avance pour la / les réponse(s) :)

14/12/2017, 16h04
DonKnacki

Bonjour,

Avec l'utilisation de json et le code suggéré par BufferBob, datas est un dictionnaire avec pour clé la première colonne du fichier de donnée et en valeur la seconde
Tu peux donc itérer dessus et compléter "values" et "tags" comme bon te semble (fichier[0] est lui aussi un dictionnaire et "values" et "tags" sont des clés de dictionnaire)
14/12/2017, 17h11
Xam29870
Ouep, je comprends ce que tu dis mais je vois juste pas comment différencié la partie clé de la partie valeur de cette ligne là :
Code:

1 2 datas = dict([line.rstrip().split(' ', 1) for line in f])
j'ai bien compris qu'elle est divisé par l'espace entre les 2 termes mais je sais pas comment retrouver les 2 parties bien distinctes.
14/12/2017, 17h25
DonKnacki
comme je l'ai dis; datas est un dictionnaire donc utilises les méthodes des dictionnaires
Code:

1 2 for key, value in datas.iteritems(): print(key, value)
14/12/2017, 17h32
Xam29870

Merci bien, c'est exactement ce qu'il me fallait :)