Table de données volumineuse

[okoweb]

Bonjour,
J'ai un script qui communique avec une table. En local, la table avec 1000 entrées tout roule bien. En production en ligne, la table renferme environ 200 000 entrées, du coup le script plante.

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
//Array des census
function getCensus() {
	global $db;
	$sql = 'SELECT a.idagent as agent_id, a.nom as nom, a.prenom as prenom, a.sexe as sexe, a.matricule as matricule, a.telephone as tel, a.email as email, c.libellecorps as corps, c1.libellecadre as cadre, p.libelleposte as poste, r1.libellerang as rang, r.date_affectation as date_affectation, r.validation as validation, r.administration as administration, r.service as service, r.structure as structure, r.region as region, r.dpt as dpt, r.arr as arr FROM recensement r 
				INNER JOIN agents a ON a.idagent = r.agent
				INNER JOIN corps c ON c.idcorps = r.corps
				INNER JOIN cadres c1 ON c1.idcadre = r.cadre
				INNER JOIN postes p ON p.idposte = r.poste
				INNER JOIN rangs r1 ON r1.idrang = r.rang';
	$statement = $db->prepare($sql);
	$statement->execute();
	$tabl_results = $statement->fetchAll();	
	return $tabl_results;
}
 
//Appel de la fonction
$arrayCensus = getCensus();

Avec $arrayCensus je fais des traitements divers par exemple regrouper des census de sexe masculin et féminin

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
$arrayCensusMan = array();
$arrayCensusWoman = array();
foreach ($arrayCensus as $census) {
	if ( $census['sexe'] == 1 ) {
		array_push($arrayCensusMan, $census);
	}
	else {
		array_push($arrayCensusWoman, $census);
	}
}
//Affichage
echo count($arrayCensusMan);//les hommes
echo count($arrayCensusWoman);//les femmes

Ce n'est que un exemple de traitement j'en fais plusieurs autres pour faire des
états à base de cet array initial. Chaque traitement me retourne un array et je fais un count() pour retourner le nombre d'items. Du coup la page page plante.

Quelqu'un pourrait me venir en aide résoudre ce dilemme ?

Merci d'avance...

[Séb.]

Quand est-ce que ça plante exactement ?
Quel est le msg d'erreur ?

Code :

$tabl_results = $statement->fetchAll();

Si ta requête retourne 200 000 lignes pesant chacune 300 octets alors le tableau $tabl_results pèsera à lui seul 200 000 * 300 = ~60 mégaoctets. Il va probablement falloir être moins gourmand.

Essaie de restreindre les résultats au maximum, de n'extraire que le strict nécessaire au traitement.
Essaie de faire faire les traitements par MySQL (procédures stockées).
Au pire traite tes données MySQL dans un while qui parcourera le jeu de résultat sans le stocker entièrement en mémoire.

[Sekigawa]

Quel est exactement le but de votre requête ?

Un affichage de toutes les lignes ? Si c'est la cas pourquoi ne pas faire un système de pagination ?

Juste affichage le nombre de ligne ? Si c'est le cas pourquoi ne pas faire une requête avec un count ?

A+

[okoweb]

Envoyé par Séb.

Essaie de faire les traitements par MySQL (procédures stockées).

Bonne idée.
C'est quoi les procédures stockées et à quoi elles peuvent bien être utiles ?

[okoweb]

Envoyé par Sekigawa

Quel est exactement le but de votre requête ?

Un affichage de toutes les lignes ? Si c'est la cas pourquoi ne pas faire un système de pagination ?

Juste affichage le nombre de ligne ? Si c'est le cas pourquoi ne pas faire une requête avec un count ?

A+

Des bonnes pistes. Merci.

[Séb.]

Envoyé par okoweb

C'est quoi les procédures stockées

Ce sont, en quelque sorte, des fonctions traitant directement les données de la base de données.
Un de leurs avantages : pour les gros volumes de données elles évitent le transit client PHP / serveur MySQL.
http://dev.mysql.com/doc/refman/5.0/...rocedures.html

et à quoi elles peuvent bien être utiles ?

Faudrait répondre aux questions posées.

[CinePhil]

Chaque traitement me retourne un array et je fais un count() pour retourner le nombre d'items.

Ceci sera beaucoup plus rapide et prendra moins de ressources :

Code :

1
2
3
SELECT sexe, COUNT(*) AS Nombre
FROM recensement
GROUP BY sexe

Le SGBD sera toujours plus rapide que le PHP pour faire du traitement massif de données, c'est son boulot !