csv en json imbriqués (nested)

Version imprimable

Bonjour,

Je ne trouve pas la solution à partir d'un csv je cherche à obtenir un json imbriqué, j'ai essayé pas mal de chose avec pandas etc,

voici un échantillon de mon csv:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
Language,IsoPays,Pays,Region,Departement,Commune,Massif,Bassin,Courseau
en,FR,France,Auvergne-Rhône-Alpes,Isère,Saint-Michel-les-Portes,Vercors,Drac,
en,FR,France,Auvergne-Rhône-Alpes,Isère,Saint-Andéol,Vercors,Drac,Le Ruisseau de Berrièves
en,FR,France,Auvergne-Rhône-Alpes,Isère,Varces-Allières-et-Risset,Vercors,Drac,
en,FR,France,Auvergne-Rhône-Alpes,Isère,Engins,Vercors,Isère,
en,FR,France,Auvergne-Rhône-Alpes,Isère,Sassenage,Vercors,Isère,
en,FR,France,Auvergne-Rhône-Alpes,Isère,Montaud,Vercors,Isère,Ruisseau des Gorges
en,FR,France,Auvergne-Rhône-Alpes,Isère,La Rivière,Vercors,Isère,
en,FR,France,Auvergne-Rhône-Alpes,Isère,Saint-Gervais,Vercors,Isère,La Drevenne
en,FR,France,Auvergne-Rhône-Alpes,Isère,Saint-Gervais,Vercors,Isère,Le ruisseau des grandes routes
en,FR,France,Auvergne-Rhône-Alpes,Isère,Rovon,Vercors,Isère,
en,FR,France,Auvergne-Rhône-Alpes,Isère,Malleval-en-Vercors,Vercors,Isère,La Gerlette
en,FR,France,Auvergne-Rhône-Alpes,Isère,Malleval-en-Vercors,Vercors,Isère,La Serve
en,FR,France,Auvergne-Rhône-Alpes,Isère,Izeron,Vercors,Isère,
en,FR,France,Auvergne-Rhône-Alpes,Isère,Rencurel,Vercors,Bourne,
en,FR,France,Auvergne-Rhône-Alpes,Ain,Seillonnaz,Bugey,,
en,FR,France,Auvergne-Rhône-Alpes,Ain,Champagne-en-Valromey,Bugey,,
en,FR,France,Auvergne-Rhône-Alpes,Ain,Bénonces,Bugey,Rhône,La Pernaz
en,FR,France,Auvergne-Rhône-Alpes,Ain,Villebois,Bugey,,
en,FR,France,Auvergne-Rhône-Alpes,Ain,Surjoux,,Rhône,
en,FR,France,Auvergne-Rhône-Alpes,Haute-Savoie,Servoz,Chablais - Platé - Aiguilles Rouges,Arve,
en,FR,France,Auvergne-Rhône-Alpes,Haute-Savoie,Lovagny,Bornes - Aravis,,
en,FR,France,Auvergne-Rhône-Alpes,Haute-Savoie,Mieussy,Chablais - Platé - Aiguilles Rouges,Giffre,Le Giffre
en,FR,France,Occitanie,Pyrénées-Orientales,Vernet-les-Bains,Canigou,La Tet,
en,FR,France,Occitanie,Pyrénées-Orientales,Thuès-Entre-Valls,Canigou,La Tet,Fajet
en,FR,France,Occitanie,Pyrénées-Orientales,Saint-Paul-de-Fenouillet,Corbières,,L'Agly
en,FR,France,Occitanie,Pyrénées-Orientales,Prats-de-Mollo-la-Preste,Canigou,Le Tech - Vallespir,Le Tech
en,FR,France,Occitanie,Pyrénées-Orientales,Arles-sur-Tech,Albères,Le Tech - Vallespir,Ravin de la Seignoural

J'aimerais obtenir un json comme celui-ci, je veux ensuite l'intégrer dans une base Sql mais je galère un peu... Normalement je n'aurais pas de doublons

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
{
 
  "language": "string",
  "name": "string",
  "regions": [
    {
      "name": "string",
      "states": [
        {
          "name": "string",
          "cities": [
            {
              "name": "string",
              "moutains": [
                {
                  "name": "string",
                  "bassins": [
                    {
                      "name": "string",
                      "rivers": [
                        {
                          "name": "string"
                        }
                      ]
                    }
                  ]
                }
              ]
            }
          ]
        }
      ]
    }
  ]
}

Sur un autre projet j'avais un json que je devais mettre en forme en csv et c'était bizarrement bien plus simple.

Merci d'avance pour votre aide !!!

22/04/2020, 15h23
wiztricks

Salut,

Citation:

Envoyé par Bigoudi88

J'aimerais obtenir un json comme celui-ci, je veux ensuite l'intégrer dans une base Sql mais je galère un peu...

Côté Python, c'est juste construire une structure composée de listes et de dictionnaires que l'on convertit en JSON avec le module json.

Sûr que faire le mapping du CSV dans la structure JSON évoquée, c'est du boulot (et de la méthode) mais plus du boulot "avant" de programmer qu'un sujet de programmation Python.

- W

Oui c'est de la méthode plus qu'un sujet de programmation... mais je ne la trouve pas... J'ai essayer plein de trucs mais je n'arrive pas à voir la solution d'où mon message...
J'ai essayé ceci que j'ai du mal à comprendre d'ailleurs:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# coding: utf8
 
import pandas as pd
import json
 
df = pd.read_csv ('testjsoncountry.csv')
 
#print(df.columns)
 
s = df.set_index(df.columns[:-1].tolist())[df.columns[-1]]
 
 
def redict(s):
    if s.index.nlevels == 1:
        return s.to_dict()
 
    else:
        return {k: redict(g.xs(k)) for k, g in s.groupby(level=0)}
 
redict(s)

qui me donne quasiment ce que je veux mais je n'arrive pas à modifier le code pour avoir le résultat voulu:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
{'en': {'FR': {'France': {'Auvergne-Rhône-Alpes': {'Ain': {'Belleydoux': {'Jura': {'Rhône': 'Semine'}},
      'Boyeux-Saint-Jérôme': {'Bugey': {nan: nan}},
      'Bénonces': {'Bugey': {'Rhône': nan}},
      'Cerdon': {'Bugey': {nan: nan}},
      'Chaley': {'Bugey': {nan: 'Albarine'}},
      'Champagne-en-Valromey': {'Bugey': {nan: nan}},
      'Champfromier': {'Jura': {nan: nan}},
      'Chézery-Forens': {'Jura': {nan: nan}},
      'Contrevoz': {'Bugey': {nan: nan}},
      'Dortan': {'Jura': {'Bienne': nan}},
      'Hauteville-Lompnes': {'Bugey': {nan: nan}},
      'La Burbanche': {'Bugey': {nan: nan}},
      'Lompnas': {'Bugey': {nan: 'La Brive'}},

La je suis parti sur ce genre d'idée... Mais je tatonne encore...:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
 
import pandas as pd
import json
pd.options.display.max_columns = None
pd.options.display.max_rows = None
 
jsondeouf=[]
df = pd.read_csv ('all_paysdatacanyoncsv.csv', encoding='utf-8')
 
LangueUnique = pd.unique(df['Language'])
IsoPaysUnique = pd.unique(df['IsoPays'])
PaysUnique = pd.unique(df['Pays'])
RegionsUnique = pd.unique(df['Regions'])
StatesUnique = pd.unique(df['States'])
CitiesUnique = pd.unique(df['Cities'])
MountainsUnique = pd.unique(df['Mountains'])
BassinsUnique = pd.unique(df['Bassins'])
RiversUnique = pd.unique(df['Rivers'])
 
df2=df[df['Pays']=='France']
df3=df2[df2['States']=='Isère']
df4=df3[df3['Cities']=='Clara']
 
 
 
if df4.empty:
    print("c'estvide")
 
for l in LangueUnique:
    df1=df[df['Language']==l]
    for p in PaysUnique:
        df2=df1[df1['Pays']==p]
        for r in RegionsUnique:
            df3=df2[df2['Regions']==r]
            for s in StatesUnique:
                df4=df3[df3['States']==s]
                for c in CitiesUnique:
                    df5=df4[df4['Cities']==c]
                    for m in MountainsUnique:
                        df6=df5[df5['Mountains']==m]
                        for b in BassinsUnique:
                            df7=df6[df6['Bassins']==b]
                            for ri in  RiversUnique:
                                df8=df7[df7['Rivers']==ri]
                                print(ri)

24/04/2020, 09h46
wiztricks

Salut,

Déjà je ne vois pas pourquoi vous partez à utiliser Panda pour çà.
Lire un fichier CSV peut se faire "à la main" ou en utilisant le module CSV (standard).

Et pour créer un composite de dictionnaires et de listes, dict et list du Python de base suffisent.

- W
24/04/2020, 11h24
Bigoudi88

je ne suis pas un expert en python mais je pensais que ça serait peut être plus facile avec les outils panda...
Je vais regarder d'autres solutions, je test, comme je le dit je ne vois pas la solution sinon je ne serais pas là...
24/04/2020, 11h40
wiztricks

Citation:

Envoyé par Bigoudi88

Je vais regarder d'autres solutions, je test, comme je le dit je ne vois pas la solution sinon je ne serais pas là...

Si vous ne connaissez pas trop les objets et les constructions de base du langage... vous ne vous en sortirez pas sauf si çà amuse quelqu'un de coder çà pour vous.

Ca arrive... si le sujet intéresse quelqu'un qui trouve matière à faire un exercice intéressant. Mais globalement, on ne va pas votre boulot...

- W
24/04/2020, 12h14
Bigoudi88

Oui je ne connais pas trop du coup je cherche des conseils et je ne connaissais pas le module csv, et ce que je cherche c'est à faire un parsing... je viens de trouver le terme, c'est peut être basique pour vous mais pas pour moi qui suis géologue et pas informaticien ;) ça me change de mes cailloux :lol: Mais je vais trouver la solution à force ;)

J'ai trouvé ;)

Ca va rensembler à ça :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
 
# coding: utf8
import csv
import json
test=[]
 
with open("all_paysdatacanyoncsv.csv") as csvfile:
    reader = csv.DictReader(csvfile)
    for row in reader:
        test=[dict([(c, row[c]) for c in ['Language','IsoPays','NameCountry']]+[('Regions',
        dict([(c,row[c]) for c in ['NameRegion']]+[('States',dict([(c,row[c]) for c in ['NameStates']]))]))])]
        print(test)
print(test)

J'ai pas encore terminé mais cela devrait fonctionner... Après je peux surement améliorer le code pour quelque chose de plus propre...

J'ai trouvé et c'était pas facile vu qu'il n'y a rien sur le net, j'espère que cela servira à quelqu'un qui à le même problème !!!

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
 
import pprint, json
 
res = []
 
coalesce = lambda x: x if x else 'undefined'
 
country = lambda item: (coalesce(item['NameCountry']), {
    'language': coalesce(item['Language'])
    ,'isoPays': coalesce(item['IsoPays'])
    ,'pays': coalesce(item['NameCountry'])
    ,'Regions': []
})
 
region = lambda item: (coalesce(item['NameRegion']), {
    'name': coalesce(item['NameRegion'])
    ,'States': []
})
 
state = lambda item: (coalesce(item['NameStates']), {
    'name': coalesce(item['NameStates'])
    ,'Cities': []
})
 
city = lambda item: (coalesce(item['NameCity']), {
    'name': coalesce(item['NameCity'])
    ,'Mountains': []
})
 
mountain = lambda item: (coalesce(item['NameMountain']), {
    'name': coalesce(item['NameMountain'])
    ,'Bassins': []
})
 
bassin = lambda item: (coalesce(item['NameBassin']), {
    'name': coalesce(item['NameBassin'])
    ,'Rivers': []
})
 
river = lambda item: (coalesce(item['NameRiver']), {
    'name': coalesce(item['NameRiver'])
})
 
tree_conf = [
    (country, 'Regions', {})
    ,(region, 'States', {})
    ,(state, 'Cities', {})
    ,(city, 'Mountains', {})
    ,(mountain, 'Bassins', {})
    ,(bassin, 'Rivers', {})
    ,(river, None, {})
]
 
with open('all_paysdatacanyoncomplete.csv', 'r') as f:
    header = f.readline().strip().split(',')
    for row in f.readlines():
        item = dict(zip(header, row.strip().split(',')))
        last = res
        for conf in tree_conf:
            key, value = conf[0](item)
            if not key in conf[2]:
                conf[2][key] = value
                last.append(value)
            if conf[1]:
                last = conf[2][key][conf[1]]
 
with open('res.json', 'w') as f:
    json.dump(res, f, ensure_ascii=False)

26/04/2020, 11h13
wiztricks

Bravo!

Maintenant que votre solution est sur Internet...

Quels mots clefs taper pour tomber dessus?
Pas facile hein?

En fait, mouliner des données récupèrer suivant un schéma et les mettre en forme dans un autre schéma est une activité qui occupe pas mal. On dit même "faire une moulinette pour"...

Solutions particulières à des problèmes particuliers, on a "industrialisé" cette activité en fabriquant des ETL.
Des outils couteux qui demandent un long apprentissage.

Et ceux qui n'ont pas les moyens de s'en offrir continuent à écrire des moulinettes difficilement réutilisables.

- W