Discussion :

[FadeToBlack]

Bonjour,

Je récupère une base de données Mariadb pour faire des "stats" dessus. Dans une des tables, il y a champ JSON, évidemment avec des données.

Je n'arrive pas à savoir s'il est possible de récupérer ce champ, et surtout les données à l'intérieur des dictionnaires Json, pour les intégrer dans mon dataframe.

Auriez vous une idée ou une piste que je puisse exploiter pour arriver à mon but.
Merci à tous pour votre aide

[wiztricks]

Salut,

Auriez vous une idée ou une piste que je puisse exploiter pour arriver à mon but.

Chercher sur Internet avec les mots clefs "pandas json column"?

- W

[FadeToBlack]

Merci de ta réponse,

Effectivement j'avais déjà un peu regarder mais, en fait, j'avais surtout trouvé des infos sur l'import de fichier "json".

Je n'est rien vu qui m'ait convaincu.(Par ailleurs, je débute avec Pandas).

La seule chose, j'ai retenu c'est pd.io.json.json_normalize. Mais je ne sais pas si c'est une bonne piste.

[wiztricks]

La seule chose, j'ai retenu c'est pd.io.json.json_normalize. Mais je ne sais pas si c'est une bonne piste.

Créez un fichier texte de quelques lignes qui ressemble à vos données, puis vous essayez.
Au pire, vous aurez quelque chose à poster qui permettra de travailler sur quelque chose de concret.

- W

[FadeToBlack]

Voici mon code

l

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
import pandas as pd
from matplotlib import pyplot as plt
from connect import * # connexion à la BDD
import json
 
 
df = pd.read_sql_query("SELECT content from Table1", con=engine)
print(df.head())
pd.io.json.json_normalize(df.content.apply(json.loads))

Est-ce que cette erreur apparait, lorsque j'ai des éléments vide ( [] ) dans mon champ JSON qui dans les faits est un champ "LONGTEXT"


Là j'ai une erreur en retour qui me précise :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
    if any([isinstance(x, dict) for x in y.values()] for y in data):
AttributeError: 'list' object has no attribute 'values'

[FadeToBlack]

mon champ LONGTEXT (json) contient en gros la structure suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
[{"id":"1",
  "dot":"XXXXX",
  "start":"00:00:00",
  "end":"00:6:52",
  "time":"00:06:52",
  "details":[{
      "ext":"1",
      "start":"00:03:00",
      "end":"00:04:45",
      "ori":"Fla"
        },
      {"ext":"2",
       "start":"00:06:40",
       "end":"00:08:30",
       "ori":"Fla"
       }]
(etc...)
}]