Discussion :

[nicolas2603]

Bonjour,

J'ai besoin de construire des fichiers JSON à partir d'un traitement de plusieurs fichiers en entrée
Pour 1 cas, le modèle est le suivant : 10 JSON en entrée (layers) -> traitement -> 1 JSON en sortie.
J'ai un premier lot de 19 000 cas.

Lors du démarrage du script, les fichiers sont traités très rapidement (2 voire 3 cas par seconde), mais au fur et à mesure de l'avancée, le script est de plus en plus lent, comme si il saturait, et il faut vers la fin plusieurs dizaines de secondes pour traiter un seul cas, donc 10 fichiers. Voici la structure de mon script. Avez-vous une idée de ce que je pourrais améliorer pour éviter cette saturation ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
function IsJSONValid($json) {
	$string = json_decode(file_get_contents($json), true);
	$key = array_keys($string); // Clé dynamique en cas de changement de structure du JSON
	if (count($string[$key[0]]) > 0) {
		return true;
	} else {
		return false;
	}
}
 
foreach ($cas_tab as $cas) {
	$json_export = "{\"MyJSON\":[";
	$parameters = array();
	$file_output = 'MYJSON_'.$cas.'.json';
 
	foreach ($layers_tab as $layers) {
		$file_input = 'JSON'.$layers.'.json';
 
		if (file_exists($file_input) && IsJSONValid($file_input)) {
			$json = file_get_contents($file_input);
			$json_content = json_decode($json, true);
			$json_key = array_keys($json_content);
 
			foreach ($json_content[$json_key[0]] as $value) {
				// Traitements
				// $parameters[$id] = ...
			}
		}
	}
 
	$json_export .= json_encode($parameters);
	$json_export .= "]}";
	if (count($parameters) > 0) {
		echo "\r\n[ ".count($parameters)." IDs traités ] Génération du fichier";
		file_put_contents($file_output, $json_export);
		echo " => OK";
		@file_put_contents(URL_LOG_FILE, count($parameters)." IDs traités\r\n", FILE_APPEND);
	}
}

Merci par avance.

[rawsrc]

Salut,

Il faudrait préciser quelle version de PHP sert à exécuter ce travail.
Sinon clearstatcache() devrait être ton ami (une piste dans la mesure ou tu ne fais aucun profilage)

[nicolas2603]

Bonjour,
C'est du PHP 5.

[rawsrc]

Version exacte stp

[nicolas2603]

Php 5.3.14

[CosmoKnacki]

Déjà je vois que ton code fait deux fois la même chose pour chaque fichier:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
function IsJSONValid($json) {
	$string = json_decode(file_get_contents($json), true);
	$key = array_keys($string); // Clé dynamique en cas de changement de structure du JSON
	if (count($string[$key[0]]) > 0) {
		return true;
	} else {
		return false;
	}
}
...
if (file_exists($file_input) && IsJSONValid($file_input)) {
    $json = file_get_contents($file_input);
    $json_content = json_decode($json, true);
    $json_key = array_keys($json_content);
...

Les mêmes opérations (dont un chargement de fichier) sont faites une fois dans ta fonction IsJSONValid et une autre fois après le if.

Tu devrais virer cette fonction IsJSONValid et faire le test sur le premier item après:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
if ( file_exists($file_input) ) {
    $json = file_get_contents($file_input);
    $json_content = json_decode($json, true);
    $json_key = array_keys($json_content);
 
    if ( count($json_content[$json_key[0]]) > 0 ) {
        foreach ($json_content[$json_key[0]] as $value) {
            // Traitements
            // $parameters[$id] = ...
        }
    }
}

Ça t'évite déjà 19000 chargements de fichier et 19000 décodages.

[CosmoKnacki]

Autre chose, au lieu de tout engranger dans ta variable $json_export puis d'écrire le fichier résultat d'un coup, tu devrais essayer d'ouvrir le fichier $file_output avec fopen en écriture et de le remplir au fur et à mesure avec fwrite pour voir ce que ça donne. Si tes fichiers json sont de taille importante tu gagneras en mémoire.

[nicolas2603]

Effectivement c'est plus simple comme ça.
J'ai retiré la fonction et je vérifie la validité directement dans la boucle, et j'ai ajouté un clearstatcache après l'export, à la fin de chaque boucle.
On va voir ce que ça donne !

[nicolas2603]

Bon ça ne change rien, script lancé à 14h30, il tournait en moyenne à 0.05 sec pour traiter un cas.
2h après et 2660 cas traités, je suis à 30 ou 40 sec pour un cas...

[rawsrc]

Salut,

tu n'as pas moyen de changer de version de PHP ?
Jusqu'à la 5.4, la manip de fichiers n'était pas optimisée du tout

[nicolas2603]

Bientôt je vais pouvoir passer sur PHP 7, mais d'ici-là !!

[Celira]

Il y a peut-être des choses qui s'accumulent en mémoire. Essaye d'ajouter un affichage de la mémoire au début de la boucle pour vérifier (memory_​get_​usage).

[nicolas2603]

Oui, la mémoire utilisée augmente, et au bout d'un moment elle est saturée à 100%.
Mais je ne comprends pas ce qui la sature.

[-Rpass-]

19000 entrées traitées en php ne devraient pas poser de problème de lenteur. D'expérience, c'est soit un problème d'optimisation, soit une erreur générée du à l'environnement apache.
Pour pousser le diagnostic dis nous plus précisément ce qu'il se passe : le script se termine t-il correctement au bout d'un moment ou tourne t il indéfiniment ?

S'il tourne indéfiniment, vérifie les logs d'erreur sur ton serveur et poste les ici .

Cdt

[Celira]

Et si c'est un problème d'optimisation, il va falloir nous montrer la dernière version de ton script, histoire qu'on puisse regarder si on voit quelque chose à corriger