Discussion :

[nicolas2603]

Bonjour,

J'ai besoin de construire des fichiers JSON à partir d'un traitement de plusieurs fichiers en entrée
Pour 1 cas, le modèle est le suivant : 10 JSON en entrée (layers) -> traitement -> 1 JSON en sortie.
J'ai un premier lot de 19 000 cas.

Lors du démarrage du script, les fichiers sont traités très rapidement (2 voire 3 cas par seconde), mais au fur et à mesure de l'avancée, le script est de plus en plus lent, comme si il saturait, et il faut vers la fin plusieurs dizaines de secondes pour traiter un seul cas, donc 10 fichiers. Voici la structure de mon script. Avez-vous une idée de ce que je pourrais améliorer pour éviter cette saturation ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
function IsJSONValid($json) {
	$string = json_decode(file_get_contents($json), true);
	$key = array_keys($string); // Clé dynamique en cas de changement de structure du JSON
	if (count($string[$key[0]]) > 0) {
		return true;
	} else {
		return false;
	}
}
 
foreach ($cas_tab as $cas) {
	$json_export = "{\"MyJSON\":[";
	$parameters = array();
	$file_output = 'MYJSON_'.$cas.'.json';
 
	foreach ($layers_tab as $layers) {
		$file_input = 'JSON'.$layers.'.json';
 
		if (file_exists($file_input) && IsJSONValid($file_input)) {
			$json = file_get_contents($file_input);
			$json_content = json_decode($json, true);
			$json_key = array_keys($json_content);
 
			foreach ($json_content[$json_key[0]] as $value) {
				// Traitements
				// $parameters[$id] = ...
			}
		}
	}
 
	$json_export .= json_encode($parameters);
	$json_export .= "]}";
	if (count($parameters) > 0) {
		echo "\r\n[ ".count($parameters)." IDs traités ] Génération du fichier";
		file_put_contents($file_output, $json_export);
		echo " => OK";
		@file_put_contents(URL_LOG_FILE, count($parameters)." IDs traités\r\n", FILE_APPEND);
	}
}

Merci par avance.

[rawsrc]

Salut,

Il faudrait préciser quelle version de PHP sert à exécuter ce travail.
Sinon clearstatcache() devrait être ton ami (une piste dans la mesure ou tu ne fais aucun profilage)

[nicolas2603]

Bonjour,
C'est du PHP 5.

[rawsrc]

Version exacte stp

[nicolas2603]

Php 5.3.14

[CosmoKnacki]

Déjà je vois que ton code fait deux fois la même chose pour chaque fichier:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
function IsJSONValid($json) {
	$string = json_decode(file_get_contents($json), true);
	$key = array_keys($string); // Clé dynamique en cas de changement de structure du JSON
	if (count($string[$key[0]]) > 0) {
		return true;
	} else {
		return false;
	}
}
...
if (file_exists($file_input) && IsJSONValid($file_input)) {
    $json = file_get_contents($file_input);
    $json_content = json_decode($json, true);
    $json_key = array_keys($json_content);
...

Les mêmes opérations (dont un chargement de fichier) sont faites une fois dans ta fonction IsJSONValid et une autre fois après le if.

Tu devrais virer cette fonction IsJSONValid et faire le test sur le premier item après:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
if ( file_exists($file_input) ) {
    $json = file_get_contents($file_input);
    $json_content = json_decode($json, true);
    $json_key = array_keys($json_content);
 
    if ( count($json_content[$json_key[0]]) > 0 ) {
        foreach ($json_content[$json_key[0]] as $value) {
            // Traitements
            // $parameters[$id] = ...
        }
    }
}

Ça t'évite déjà 19000 chargements de fichier et 19000 décodages.