Discussion :

[pierrot10]

Bonjour,

J'ai un fichier json qui contient 1 millions de lignes. Il comprend des mesures de plusieurs capteurs sur une longue période.
Je voulais importer ces données dans une base MySQL pour filtrer ce que l'on veut affciher. Ce qui éviterait de traiter 1 millions de ligne.

Simplement, pour importer ce fichier dans MySQL, je suppose que l'on ne le fait pas comme-ca.

Que me recommenderiez-vous afin de le faire le plus simplement et optimal?

J'ai pensé à faire un script php, mais il va y avoir un timeout...

Merci

[mathieu]

est ce que le fichier contient un seul objet JSON avec tous les enregistrements ? ou alors il y a un objet par ligne ?

[pierrot10]

Bonjour
Je ne sais pas trop quoi répondre.
Voici un extrait du fichier. Il m'a extrait une semaine de donné pour un station avec 12 capteurs:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
 
[
    {
        "Pond": "7A",
        "ID": 2,
        "Time": "2017-10-17 00:10:00",
        "Waterlevel": 822.9023384000001,
        "Waterlevel normalized": 4.146638400000029,
        "Heatflux Shallow": 0.0,
        "Heatflux Bottom": 2.572495480310656,
        "T-Air": 8.88,
        "T-Surface": 13.84,
        "T-30mm": 14.61,
        "T-60mm": 14.63,
        "T-100mm": 14.63,
        "T-200mm": 14.61,
        "T-500mm": 14.7,
        "T-1200mm": 14.61
    },
    {
        "Pond": "7A",
        "ID": 3,
        "Time": "2017-10-17 00:20:00",
        "Waterlevel": 822.8327780000001,
        "Waterlevel normalized": 4.077078000000029,
        "Heatflux Shallow": 0.0,
        "Heatflux Bottom": 2.498340778500441,
        "T-Air": 8.66,
        "T-Surface": 14.02,
        "T-30mm": 14.57,
        "T-60mm": 14.61,
        "T-100mm": 14.61,
        "T-200mm": 14.6,
        "T-500mm": 14.58,
        "T-1200mm": 14.6
    },
    {
        "Pond": "7A",
        "ID": 4,
        "Time": "2017-10-17 00:30:00",
        "Waterlevel": 822.8916368000001,
        "Waterlevel normalized": 4.135936800000081,
        "Heatflux Shallow": 0.0,
        "Heatflux Bottom": 2.5429511600630104,
        "T-Air": 8.85,
        "T-Surface": 13.86,
        "T-30mm": 14.58,
        "T-60mm": 14.58,
        "T-100mm": 14.58,
        "T-200mm": 14.58,
        "T-500mm": 14.64,
        "T-1200mm": 14.57
    }]

il y a 20000 lignes, alors je n'ai mis que les premières mesures

Merci

[mathieu]

votre extrait ressemble plutôt à la fin d'une liste JSON avec le "]".

pour savoir si PHP arrive à lire le contenu, utilisez cette fonction*:
https://secure.php.net/manual/fr/fun...son-decode.php

Si cette fonction fait la conversion avec succès, affichez la taille du résultat pour vérifier que vous recevez tout.

[pierrot10]

Oui pardon, j'avais mal copié le code

[Celira]

Concernant le problème du timeout, la question est de savoir si tu vas exécuter ce script souvent.

Si c'est une exécution unique (ou peu fréquente, du genre tous les 1ers du mois, ou quelque chose du genre), tant pis si ton script prend des heures à s'exécuter. Tu as juste à configurer le temps max d'exécution pour permettre à ton script de s'exécuter dans son intégralité, et éventuellement prévoir une reprise de traitement de façon à pouvoir interrompre ton script et repartir là tout il s'est arrêté.

Pour la petite histoire, j'ai une fois travaillé sur un script de transfert de données qui s'alimentait sur plusieurs sources. On m'avait bien dit qu'une des sources avait plus de données que les autres, mais pas à quel point : L'exécution pour cette source a pris plus de 10h pour s'exécuter (contre moins d'une heure pour les autres). Je vous laisse imaginer ma journée : 9h : "C'est bon, ça tourne", 10h : "Ah ça tourne toujours" 11h : "oui, on a bien les données qui s'insèrent en base", 14h : "ça tourne encore", 15h : "Quelqu'un a accès à la source ? Ouh la ! Et donc, on en est à quelle donnée là ? ", 17h : "bon chef, d'après mon estimation, il en a encore pour plusieurs heures, alors je vais rentrer chez moi, hein..."

Aparté mis à part, ton problème risque moins d'être le temps d'exécution que la mémoire nécessaire pour lire tout le fichier. Et là, le plus simple pour tester est de faire ce que conseille mathieu : tu essayes de lire le fichier et de le convertir par json_decode.

[pierrot10]

Bonjour,

Mais si je dois encore éclairecir ceci, oui, il s'agit de "transférer" les valeurs du json dans une base MySQL. Dont l'opération dera faite qu'une fois.
Mais je voulais justement éviter de reprendre l'opération parce que le script est victime d'un timeout.

Et vu qu'il y a un million de ligne (ce qui me semble énorme), je dois m'attendree a ce que ceci ne se passe pas en un seul coup....

Faudrait alors, que je crée un script php qui va décoder mon json puis avec une requête MySQL, l'injecter dans ma base? Mais ca ne change rien, ceci ca ne pas se faire en 60 secondes

Ou alors faire un job, qui va m'envoyer 500 lignes toutes les 10 secondes, mais là, j'en ai pour un moment aussi... . Et puis la machine est sous Windows

[pierrot10]

Ce que je souhaite c'est d'afficher sous forme de graphique mes valeurs des capteurs qui me sont fournis dans un fichier json.

Mais vu qu'il y en a tellement, il y aura tellement de points dans mon graphe. Donc je souhaite filtrer les points en fonction d'une date de début et de fin.

Mas libraririre chartjs, lit très bien les fichiers json, mais elle ne filtre pas en fonction des dates et je voulais éviter qu'elle lise 1 million de lignes pour en afficher 500...

C'est pourquoi, je voulais mettre tout ce petit monde dans une base de donnée, pour filtrer plus facilement ce que je souhaite afficher. Ca me semble être une bonne idée.

[Invité]

Bonjour,

inutile de répéter 10 fois, on a compris.

...Tu as juste à configurer le temps max d'exécution pour permettre à ton script de s'exécuter dans son intégralité...

• set_time_limit().

Écris ton script, fais un essai. Tu verras bien...

[Celira]

Au passage, je suis totalement d'accord avec toi : je ne pense pas que travailler directement avec ton fichier soit viable.

Une alternative à ton script de chargement : Convertir ton JSON en CSV et ensuite charger le CSV dans la base, soit par un script PHP classique du type "je lis une ligne du fichier, je créé la ligne en base", soit par la fonction de MySQL LOAD DATA INFILE.