[Optimisation] SQL et boucles

Version imprimable

Voir 40 message(s) de cette discussion en une page

17/03/2006, 12h56
schnito

la j'aimerais bien lui dire "bon ecoute man, si tu veux t'arracher a trouver un truc qui fasse 2000000 iterations et qui manipule pleins de données vas y, mais pour moi la c de la perte de temps, je fais mon systeme de pagination, mon script marchera tres bien, et moon boulot sera fait ! "

Oh comme j'aimerais bien !
17/03/2006, 14h36
Mr N.

Petite correction Kirkis, je ne me suis pas trop penché sur l'algo de schnito. En fait je l'ai tout juste lu, car j'arrive pas à rentrer dedans. J'ai juste codé comme je l'aurais fait naturellement, from scratch. Maintenant peut-etre que l'algo de schnito est optimisable, je n'ai malheureusement pas le temps de le déchiffrer plus que ça.

je viens de modifier ma fonction getSqlValueRepeat, avec un array_slice et un array_count_values() .
Ca donne ceci :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
function getArraySqlValueRepeatTest($aPhp_ResultSql,$intSqlLine,$intSqlCol,$strContentCel)
{
	global $glb_aSqlCelSaveProp;
	global $glb_intNbSqlLines;
 
	global $glb_aSqlKeyCols;
 
	$colId=$glb_aSqlKeyCols[$intSqlCol];
 
	if($intSqlCol == 0)	//si on est a la 1ere colonne
		$intSqlBorneSupPrecedent = $glb_intNbSqlLines;
	else	//si on est a une autre colonne que la 1ere
		//borne superieur = interval precedent
		$intSqlBorneSupPrecedent = $glb_aSqlCelSaveProp[$intSqlCol-1]['INT_LIMIT_UPPER_PREVIOUS'] ;
 
 
	/******* recherche pour l'interval precedent ********/
	//portion de tableau = a l'interval precedent
	$aPhp_ResultSqlCut=array_slice($aPhp_ResultSql[$colId],$intSqlLine,$intSqlBorneSupPrecedent-$intSqlLine);
	$aNbRepetition=array_count_values($aPhp_ResultSqlCut);
	/******* Fin recherche pour l'interval precedent ********/
 
	return $aNbRepetition[$strContentCel];
}

Bon, ca fonctionne, mais j'ai pas encore testé niveau performance ...

Par contre, un souci, c que j'ai des champs dans les tables qui sont vides, donc des valeurs de tableau vides également ...

donc pour certaines entrées, j'ai une erreur

Code:

1
2
 
array_count_values(): Can only count STRING and INTEGER values!

fait chier !

17/03/2006, 14h54
schnito

va falloir que je remplace les valeurs vides ... ca sera encore moins optimisé tout ca ... :cry:
17/03/2006, 15h00
Mr N.

Citation:

Envoyé par schnito

fait chier !

Pourrais-tu modérer tes propos ? Il y a des âmes sensibles derrière ce forum.
La langue française est assez riche pour te permettre d'exprimer ton mécontentement autrement que dans la vulgarité. ;)
17/03/2006, 15h04
schnito

Citation:

Envoyé par Mr N.

Citation:

Envoyé par schnito

fait chier !

Pourrais-tu modérer tes propos ? Il y a des âmes sensibles derrière ce forum.
La langue française est assez riche pour te permettre d'exprimer ton mécontentement autrement que dans la vulgarité. ;)

certes ! mais cela reste tout de meme tres enervant ! saperlote !

sinon, je viens de tester les performances ...

Ancien algo : 58s
Nouvel algo : 1min 10 ...

trop cool c encore plus long .... mais euh !! :cry:
17/03/2006, 15h06
Mr N.

58s... tu sors d'où ce nombre ?
17/03/2006, 15h12
schnito

une date au tout debut de mon script.

Ensuite, j'ai des tests de post, une generation de requete en fonction d'un tableau de select (l'utilisateur peut cocher une entete de tableau pour la supprimer)

Ensuite, je genere la requete, je l'execute.

Ensuite j'appelle ma fonction de traitement pour faire mon Tableau php pour le tableau HTML.

une date juste derriere, suivie d'un die() ...
17/03/2006, 15h16
Mr N.

Alors juste par curiosité :
La requète que tu balances à mysql pour récupérer tes données, si tu fais un echo et que tu l'executes directement dans PhpMyAdmin ou mieux en ligne de commande, quel est le temps mis ?
17/03/2006, 15h30
schnito

Alors je suis pas sous mySql, je suis sous Oracle ...

Alors sous Oracle, l'affichage prends du temps, donc c pas tres evaluable ...

Par contre, dans mon script, avec un die juste apres l'execution de la requete ==> 4s ...

Je crois que c l'ecriture de la valeur lue dans le tableau SQL dans le tableau PHP pour le HTML qui prends le plus de temps ...
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 function writeValueTabHtml(&$aPhp_Html,$intHtmlLine,$intHtmlCol,$aPropertiesCel) { global $glb_aHtmlCelSaveProp; $aPhp_Html[$intHtmlLine][$intHtmlCol]['CLASS'] = $aPropertiesCel['CLASS']; $aPhp_Html[$intHtmlLine][$intHtmlCol]['CONTENT'] = $aPropertiesCel['CONTENT']; $aPhp_Html[$intHtmlLine][$intHtmlCol]['COLSPAN'] = $aPropertiesCel['COLSPAN']; $aPhp_Html[$intHtmlLine][$intHtmlCol]['ROWSPAN'] = $aPropertiesCel['ROWSPAN']; if($aPropertiesCel['TOTAL']!=true) $glb_aHtmlCelSaveProp[$intHtmlCol]['INT_LIGNE_WRITE_CEL_TOP']=$intHtmlLine; }
- Sans (juste determiner les valeurs des cellules et rowspan) => 20s
- Avec => 70 s 8O 8O

Je crois que je vais devoir travailler la dessus ...

en allant un peu plus loin ...

Code:

1
2
3
4
5
 
	$aPhp_Html[$intHtmlLine][$intHtmlCol]['CLASS'] = $aPropertiesCel['CLASS'];
	$aPhp_Html[$intHtmlLine][$intHtmlCol]['CONTENT'] = $aPropertiesCel['CONTENT'];
	$aPhp_Html[$intHtmlLine][$intHtmlCol]['COLSPAN'] = $aPropertiesCel['COLSPAN'];
	$aPhp_Html[$intHtmlLine][$intHtmlCol]['ROWSPAN'] = $aPropertiesCel['ROWSPAN'];

ca, ca me prends 50s ...

17/03/2006, 18h20
schnito

Etant donné que j'ai 2 gros tableau en memoire :

- le tableau SQL
-le tableau PHP pour le HTML

Le tableau PHP grandi au fur et a mesure et devient a son tout enorme.

Alors, a chaque fois que j'ecris la valeur de mon tableau SQL dedans, je fais un unset de l'entrée dans mon tableau SQL ...

Jme disais que j'allais liberer de la memoire ... pas mieux ... :cry:
17/03/2006, 19h12
schnito

Bon en fait si, ca doit reduire le temps d'execution, mais ca pose un autre petit pb ... on verra ca lundi !
17/03/2006, 20h34
Yogui

Y a-t-il un équivalent de mysql_unbuffered_query sous PHP/Oracle ?
Pour le coup, ça doit réduire considérablement les ressources utilisées, non ?
18/03/2006, 14h01
Hubert Roksor
Sous PHP 5 il est possible de le définir avec oci_set_prefetch() mais ça n'aidera pas vraiment...

schinto, plutôt que de t'épuiser à essayer d'optimiser un code qui à l'évidence ne sera jamais rapide tu devrais essayer de le repenser totalement. Par exemple, j'ai survolé les 4 pages de ce topic mais je n'ai pas lu de description du but de tout ce code, qu'est-ce que tu veux réellement faire avec ces données ? Prends le problème à la base:
- quelles sont les données de départ
- quel est le résultat attendu
- comment doit être présenté le résultat
À partir de là, d'autres pourront certainement t'orienter vers un traitement plus efficace des données, et sûrement une présentation optimisée. D'ailleurs, pourquoi utiliser un tableau PHP pour stocker du HTML? ne peux-tu pas renvoyer une grosse chaîne HTML, ou --mieux encore-- l'afficher directement ?
19/03/2006, 22h42
schnito

* quelles sont les données de départ

Un tableau SQL retourné par l'execution d'une requete avec une fonction oracle
[*]quel est le résultat attendu

Un tableau HTML, dans lequel on affiche les resultats de la requete, avec les bons rowspan piour chaque cellule (gestion des group by de la requete)

[*]comment doit être présenté le résultat

Un simple tableau HTML.

En ce qui concerne mon algo, il a deja été bien pensé, je vois pas trop comment faire sans passer par mes boucles ...

Citation:

Envoyé par Hubert Roksor

D'ailleurs, pourquoi utiliser un tableau PHP pour stocker du HTML? ne peux-tu pas renvoyer une grosse chaîne HTML, ou --mieux encore-- l'afficher directement ?

J'utilise un tableau PHP parce que je dois faire une fontion par etape, afin qu'elles soient reutilisables.
Mon tableau PHP ne contient pas de HTML, il contient des contenu de cellule, c tout .

etape 1 : execution de la requete
etape 2 : transformation du tableau SQL en tableau PHP utilisable (une fontion avec des sous fonctions)
etape 3 : parcours de ce tableau et affichage ...(une fontion avec des sous fonctions)
19/03/2006, 23h10
Hubert Roksor

Mmh, je me sens guère plus avancé :(

Par exemple, ne pourrais-tu pas intégrer une partie du traitement à la boucle qui sert à récupérer le résultat de la requête ?

Comment (pourquoi) sont groupées les lignes ? Je ne comprends pas "gestion des group by de la requete" désolé. Essaie de l'expliquer comme si personne ne connaissait ton script ;) (une explication utile pourrait ressembler à "je récupère la liste des commandes de pièces détachées triées par fournisseur et j'affiche le nom de chaque fournisseur unique dans une seule cellule qui s'étend sur toutes les lignes correspondantes")

Comme tu l'as souligné dans un précédent post, le tableau $aPhp_Html doit certainement prendre un temps considérable pour être généré. Les gros tableaus sont lents, les tableaux multi-dimensionnels sont très lents et les fonctions de type array_count() array_splice() ne sont pas très rapides non plus. Et comme ton script mélange visiblement les trois tu comprends pourquoi la génération prend une minute ;) D'ailleurs, quel est intérêt d'utiliser un tableau PHP pour générer un tableau HTML ? une chaîne à laquelle tu ajouterais les tags HTML seraient bien plus rapide. Et quelles sont ces "fonctions et sous-fonctions" ? D'après ce que je comprends, tu parcours le même tableau plusieurs fois ? Tu devrais être en mesure d'appliquer ces fonctions dans la première et seule boucle. (sans compter la boucle qui récupère les données d'Oracle)

Le tableau retourné par la fonction oracle est de ce type :
Voici un exemple, avec les 2 1eres clés, qui correspondent aux 2 1ers champs selectionnés dans ma requete ...
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 tabResult: Array ( [NUMPAGE] => Array ( [0] => 1007 [1] => 1007 [2] => 1007 [3] => 1007 [4] => 1007 [5] => 1007 [6] => 5067 [7] => 5067 [8] => 5067 [9] => 5067 ) [TYPE] => Array ( [0] => fldtyp_CHK [1] => fldtyp_DBL [2] => fldtyp_DTM [3] => fldtyp_INT [4] => fldtyp_OPT [5] => fldtyp_TXT [6] => fldtyp_DBL [7] => fldtyp_DTM [8] => fldtyp_NOT [9] => fldtyp_OPT )
Pour la 1ere clé, on a la valeur 1007 qui se repete 6 fois ... et bien cela devra me donner une cellule avec un rowspan de 6.
Ensuite, on passe a une autre colonne (TYPE), et on regarde le nombre de repetition de la valeur en cours (tabResult[$ligne][$col]) , pour l'interval precedent (6) .

Pour la chaine Html, je pense pas que ca soit possible ... d'une part parce que ca change trop de choses, et puis l'avantage d'un tabeau et que je peux travailler dessus comme je veux avec mes templates ...

J'ai une petite idée pour optimiser, je testerai ca demain ...

En tout cas merci pour vos reponses !

20/03/2006, 11h14
schnito

Bon, en faisant un unset du tableau SQL pour la ligne et colonne en cours une fois lavaleur lue ... je gagne env 15 s ...

Donc j'en suis a 55s au lieu de env 70 ...

C'est encore beaucoup trop, mais c deja un peu mieux ...

Ca donne :

- Tous les traitement sans ecriture dans le tableau PHP=> 7s
- Avec ecriture : 54s

Je pense effectivement qu'il faudrait zapper l'etape de l'ecriture dans le tableau PHP pour le HTML, et afficher directement !

C ce que tu fais toi Mr N ? et tu en es a 9s ??

Voir 40 message(s) de cette discussion en une page