Discussion :

[flapili]

ne serait t'il pas possible de structurer vos fichiers autrement ou rajouter une étape du genre vous lisez le fichier caractère par caractère, dès que vous avez un objet vous le mettez dans une base de donnée et puis vous laissé la magie des SGBR opérer, quel est la taille du json en question ? partez du principe qu'il faudra le stocker en mémoire donc si vous avez 10Go de fichier on va dire que la mémoire nécessaire est d'au moins 10go

[wiztricks]

partez du principe qu'il faudra le stocker en mémoire donc si vous avez 10Go de fichier on va dire que la mémoire nécessaire est d'au moins 10go

Le format JSON est très bavard comparé à un CSV.
Le fichier de départ doit être mis en forme pour être un JSON comestible.

Ajouter un filtre à cette étape pour ne récupérer que les données intéressantes (celles sur lesquelles on veut faire des calculs) permettrait de réduire la taille du problème. (en générant un fichier CSV par exemple).

Puis si on est encore limité (en puissance de calcul), on pourrait jeter un œil du côté de Dask.

- W

[bm]

Peut-on savoir quels calculs tu veux faire ?
Il te faut obligatoirement utiliser Pandas pour faire ces calculs ?

Pandas est requis pour manipuler un gros volume de data.
Il faut participer à des défits Kaggle pour se rendre compte de cette évolution.
Le format json est utilisé pour du stockage, et ce fichier est un moyen d'en savoir
plus.

En postant, je pouvais avoir des réponses diverses, et inattendus.
Découper en morceau avec une entête n'était pas prévu.
Au niveau calcul, il n'y a pas plan établi. C'est un entraînement
pour manipuler du volume json.

Pandas classe et fait ressortir les critères du json ( 66 champs )
1350x66 = 89 100 cellules dans un méga tableau

Ensuite estimations de tendance ou graphismes seront développés.

[bm]

Dash est un outil de virtualisation
C'est comme créer un cloud interne qui montre le temps de réponse
avant publication

https://dash.plotly.com/

https://dash-gallery.plotly.host/Portal/