Manipulation de structures de données (pandas)

Version imprimable

30/08/2019, 16h41
Mathusalem

Manipulation de structures de données (pandas)
Hello,

Je suis en train d'écrire mon premier code Panda depuis... 10 ans, et je bloque honteusement...

1°) J'ai un web services qui me retourne un json, que je transforme en pandas avec json_normalize()

2°) J'obtiens qqch comme ça :
Code:

1 2 3 4 data = [('toto', [{'effect': 'delta', 'value': 0}, {'effect':'gamma', 'value': 1}]), ('tata', [{'effect': 'delta', 'value': 1}, {'effect':'gamma', 'value': 2}]) ]
Ma question :
Dans un premier temps, je voudrais obtenir un dataframe avec le même nombre de ligne et 2 colonnes : une nommée "delta" et l'autre "gamma"

Citation:

Book delta gamma
toto 0 1
tata 1 2

Ensuite dans un deuxième temps, je vais avoir un nombre d'effets variable en fonction des lignes : il me faut autant de colonnes qu'il y a d'effets différents et des NaN quand la donnée n'est pas dispo...

Auriez une piste ou deux ?

Merci !!
30/08/2019, 19h11
wiztricks

Salut,

Citation:

Envoyé par Mathusalem

Auriez une piste ou deux ?

Vous pouvez toujours transformer votre composite en liste de listes puis en faire un dataframe Pandas.
Vous pouvez aussi essayer de lire le json directement avec Pandas via .read_json (vos données sont loin d'un tableau mais il y a tellement d'options à cette fonction que peut être que...).

- W

salut,

Citation:

Envoyé par Mathusalem

Je suis en train d'écrire mon premier code Panda depuis... 10 ans

ou encore "le dernier code Pandas que j'ai écrit remonte à moi-même" :lol:
:dehors:

tes données de base ressemblent à un truc dans ce goût là :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[  (     'toto', [{
            'effect': 'delta',
            'value': 0
         }, {
            'effect': 'gamma',
            'value': 1
         }]
   ), (  'tata', [{
            'effect': 'delta',
            'value': 1
         }, {
            'effect': 'gamma',
            'value': 2
         }]
   )]

ce pourrait être une bonne idée de se ramener à quelque chose de plus simple comme :

Code:

1
2
3
4
{
   'toto': { 'delta': 0, 'gamma': 1 },
   'tata' : { 'delta': 1, 'gamma': 2 }
}

le tout devient ensuite facilement digeste pour .read_json(), exemple (à la volée) :

Code:

1
2
3
4
5
6
7
8
9
10
11
>>> import pandas as pd
>>> data = [('toto', [{'effect': 'delta', 'value': 0}, {'effect': 'gamma', 'value': 1}]), ('tata', [{'effect': 'delta', 'value': 1}, {'effect': 'gamma', 'value': 2}, {'effect': 'painpita', 'value': 5}])]
>>> pd.read_json( pd.io.json.dumps( {
...    field[0]: {
...       column['effect']: column['value'] for column in field[1]
...    } for field in data
... }), orient='index')
 
      delta  gamma  painpita
tata      1      2       5.0
toto      0      1       NaN

02/09/2019, 11h41
Mathusalem

Merci de vos réponses et de l'exemple de code.

Je n'ai pas pensé à explorer le read_json, c'est trop bête :oops:.
Je me voyais déjà transformer ma structure de données "à la main".

Je vais chercher un peu et je reviens :)
02/09/2019, 15h45
Mathusalem

J'ai réussi à m'en sortir.

d'abord avec un

Code:

effects = json_normalize(data,'effects','book')

A ce stade le df est propre mais j'ai toujours mes effets en ligne.

Alors avec un

Code:

pd.pivot_table(effects,index='book',columns='effect', aggfunc=np.sum)

j'obtiens exactement la structure attendue.

Seul défaut : l'agrégation que j'aurais souhaité éviter, pour éviter tout effet de bord indésirable.
Mais j'ai pas trouvé comment faire une pivot_table sans agrégation.