Discussion :

[pierrot10]

Bonjour,

J'ai un fichier json qui contient 1 millions de lignes. Il comprend des mesures de plusieurs capteurs sur une longue période.
Je voulais importer ces données dans une base MySQL pour filtrer ce que l'on veut affciher. Ce qui éviterait de traiter 1 millions de ligne.

Simplement, pour importer ce fichier dans MySQL, je suppose que l'on ne le fait pas comme-ca.

Que me recommenderiez-vous afin de le faire le plus simplement et optimal?

J'ai pensé à faire un script php, mais il va y avoir un timeout...

Merci

[mathieu]

est ce que le fichier contient un seul objet JSON avec tous les enregistrements ? ou alors il y a un objet par ligne ?

[pierrot10]

Bonjour
Je ne sais pas trop quoi répondre.
Voici un extrait du fichier. Il m'a extrait une semaine de donné pour un station avec 12 capteurs:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
 
[
    {
        "Pond": "7A",
        "ID": 2,
        "Time": "2017-10-17 00:10:00",
        "Waterlevel": 822.9023384000001,
        "Waterlevel normalized": 4.146638400000029,
        "Heatflux Shallow": 0.0,
        "Heatflux Bottom": 2.572495480310656,
        "T-Air": 8.88,
        "T-Surface": 13.84,
        "T-30mm": 14.61,
        "T-60mm": 14.63,
        "T-100mm": 14.63,
        "T-200mm": 14.61,
        "T-500mm": 14.7,
        "T-1200mm": 14.61
    },
    {
        "Pond": "7A",
        "ID": 3,
        "Time": "2017-10-17 00:20:00",
        "Waterlevel": 822.8327780000001,
        "Waterlevel normalized": 4.077078000000029,
        "Heatflux Shallow": 0.0,
        "Heatflux Bottom": 2.498340778500441,
        "T-Air": 8.66,
        "T-Surface": 14.02,
        "T-30mm": 14.57,
        "T-60mm": 14.61,
        "T-100mm": 14.61,
        "T-200mm": 14.6,
        "T-500mm": 14.58,
        "T-1200mm": 14.6
    },
    {
        "Pond": "7A",
        "ID": 4,
        "Time": "2017-10-17 00:30:00",
        "Waterlevel": 822.8916368000001,
        "Waterlevel normalized": 4.135936800000081,
        "Heatflux Shallow": 0.0,
        "Heatflux Bottom": 2.5429511600630104,
        "T-Air": 8.85,
        "T-Surface": 13.86,
        "T-30mm": 14.58,
        "T-60mm": 14.58,
        "T-100mm": 14.58,
        "T-200mm": 14.58,
        "T-500mm": 14.64,
        "T-1200mm": 14.57
    }]

il y a 20000 lignes, alors je n'ai mis que les premières mesures

Merci

[mathieu]

votre extrait ressemble plutôt à la fin d'une liste JSON avec le "]".

pour savoir si PHP arrive à lire le contenu, utilisez cette fonction*:
https://secure.php.net/manual/fr/fun...son-decode.php

Si cette fonction fait la conversion avec succès, affichez la taille du résultat pour vérifier que vous recevez tout.

[pierrot10]

Oui pardon, j'avais mal copié le code

[Celira]

Concernant le problème du timeout, la question est de savoir si tu vas exécuter ce script souvent.

Si c'est une exécution unique (ou peu fréquente, du genre tous les 1ers du mois, ou quelque chose du genre), tant pis si ton script prend des heures à s'exécuter. Tu as juste à configurer le temps max d'exécution pour permettre à ton script de s'exécuter dans son intégralité, et éventuellement prévoir une reprise de traitement de façon à pouvoir interrompre ton script et repartir là tout il s'est arrêté.

Pour la petite histoire, j'ai une fois travaillé sur un script de transfert de données qui s'alimentait sur plusieurs sources. On m'avait bien dit qu'une des sources avait plus de données que les autres, mais pas à quel point : L'exécution pour cette source a pris plus de 10h pour s'exécuter (contre moins d'une heure pour les autres). Je vous laisse imaginer ma journée : 9h : "C'est bon, ça tourne", 10h : "Ah ça tourne toujours" 11h : "oui, on a bien les données qui s'insèrent en base", 14h : "ça tourne encore", 15h : "Quelqu'un a accès à la source ? Ouh la ! Et donc, on en est à quelle donnée là ? ", 17h : "bon chef, d'après mon estimation, il en a encore pour plusieurs heures, alors je vais rentrer chez moi, hein..."

Aparté mis à part, ton problème risque moins d'être le temps d'exécution que la mémoire nécessaire pour lire tout le fichier. Et là, le plus simple pour tester est de faire ce que conseille mathieu : tu essayes de lire le fichier et de le convertir par json_decode.