Discussion :

[matheous]

Bonjour,

J'ai un traitement qui remplit un tableau d'une structure.
A chaque nouvelle ligne ajoutée dans ce tableau, je lance une procédure de calcul avec une tache parallèle grâce à TâcheParallèleExécute().
Cette procédure de calcul réalise aussi des requêtes SQL avec des FichierVersTableau().

Cependant, avec les taches parallèles, mon traitement met 1 seconde de plus à s'exécuter au lieu d'un traitement séquentiel.

Avez-vous une idée pourquoi ?

[kuranes]

Est il possible d'avoir un exemple du code ?

[tatayo]

Bonjour,
La gestion des traitements en parallèle a un coût, et se pose aussi la problématique des accès concurrents aux ressources.
Donc il n'est pas toujours valable de faire des traitements en parallèle.

Il faut décortiquer les données renvoyées par l'analyseur de performance pour voir où "ça coince".

Tatayo.

[Voroltinquo]

Bonjour,

Il faut décortiquer les données renvoyées par l'analyseur de performance pour voir où "ça coince".

Entre autre l'accès au serveur. Si le RSO est pourri ou surchargé, le problème ne vient pas de la fonction TâcheParallèleExécute.

[tbc92]

A chaque nouvelle ligne ajoutée dans ce tableau (N lignes), tu lances une procédure de calcul avec une requête SQL.

ça commence mal.
Tu as certainement la possibilité de lancer une seule requête SQL au lieu de N.

Du coup....
- Analyseur de performance pour voir combien de temps est consommé par toutes ces requêtes SQL.
- Si elles prennent beaucoup de temps, tu testes quel est le temps consommé par 1 seule requête qui renverrait toutes les lignes.
- Et si c'est gagnant, tu essaies de voir comment réorganiser ton traitement pour implémenter ça et lancer une seule requête SQL.

Ton N (ton nombre de lignes dans ton tableau), il vaut combien ?

[frenchsting]

Cela rejoint la discussion ouverte par matheous ici

[matheous]

A chaque nouvelle ligne ajoutée dans ce tableau (N lignes), tu lances une procédure de calcul avec une requête SQL.

ça commence mal.
Tu as certainement la possibilité de lancer une seule requête SQL au lieu de N.

Du coup....
- Analyseur de performance pour voir combien de temps est consommé par toutes ces requêtes SQL.
- Si elles prennent beaucoup de temps, tu testes quel est le temps consommé par 1 seule requête qui renverrait toutes les lignes.
- Et si c'est gagnant, tu essaies de voir comment réorganiser ton traitement pour implémenter ça et lancer une seule requête SQL.

Ton N (ton nombre de lignes dans ton tableau), il vaut combien ?

Je suis bien d'accord avec votre réflexion...

Le seul problème, c'est que je n'ai pas la possibilité de réduire la quantité de ces requêtes...
C'est assez complexe à expliquer, mais pour chaque lignes de tableaux, j'ai le "WHERE" de ma requête qui est différent puisque les valeurs données en paramètres ne sont pas les mêmes.

J'ai pris le traitement le plus "long" qu'il risque d'arriver en production et je suis aux alentours de 25 lignes dans mon tableau.

Enfin, j'ai réduis une partie du code contenant une requête pour faire un UNION ALL au lieu de lancer 3 requêtes pour parvenir au même résultat.
Avec les chronos, c'est plus long de faire le UNION ALL que 3 requêtes séparées (ca se joue sur 10 ms mais multiplié par N, ca commence à être visible...)

[frenchsting]

Je ne suis pas spécialiste SQL, mais tu peux peut-être faire un WHERE moins restrictif et travailler sur le résultat retourné.

[matheous]

Je ne suis pas spécialiste SQL, mais tu peux peut-être faire un WHERE moins restrictif et travailler sur le résultat retourné.

Il faudrait que j'analyse...

Cependant, une chose me chagrine sur l'analyse des performances...


Ca c'est l'analyse du traitement complet avec les deux premières fonctions les plus consommatrices dans la synthèse.
Pour info, ma méthode sql_versStructure() fait un HExécuteRequeteSQL() suivi d'un FichierVersTableau().

Si je double-clique sur le deuxième (53 appels), j'ai un résultat plutôt logique :



Par contre, si je double-clique sur le premier (48 appels) qui correspond à la deuxième partie de mon traitement complet :



Le FichierVersTableau() est presque autant consommateur que le HExécuteRequeteSQL().
A comparer entre les deux, c'est étonannt

Je dois avoir un problème quelque part...

[tbc92]

j'ai le "WHERE" de ma requête qui est différent

Oui, ça, je l'avais bien deviné.

L'idée, c'est de faire une requête au lieu de 25, puis lire le résultat de cette requête, et alimenter les structures, et aussi le tableau de structure.

En gros :
Version de départ :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
Select IdFamille from BDD1 where ville= 'Paris'
puis 
pour chaque famille :
  select Prénom from BDD2 where IdFamille = %1
fin

Version 'intégrée' :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
select BDD1.Idfamille, BDD2.Prénom from BDD1, BDD2 where ville = 'Paris' and BDD2.IdFamille = BDD1.IdFamille 
order by BDD1.IdFamille
 
Puis 
hlitPremier (marequete)
tantque pas hendehors 
   NouvelleStructure.nbEnfants=0
   NouvelleStructure.IdFamille =  marequete.IdFamille
   tantque pas hendehors  et    marequete.IdFamille= NouvelleStructure.IdFamille 
      NouvelleStructure.nbEnfants++
      NouvelleStructure.PrenomEnfant(   NouvelleStructure.nbEnfants ) = marequete.prenom
      hlitsuivant(marequete)
   fin
   tableauAjoute ( tbStructure, NouvelleStructure) 
fin

Je m'attendais à beaucoup plus de lignes , et donc un bénéfice quasi certain à faire une seule requête. Avec seulement 25 lignes, c'est moins évident.

Un truc qui est souvent efficace, c'est de s'assurer que la base de donnée est 'propre'. Cf la fonction hReindexe().

[frenchsting]

Si tu ne récupères que 25 lignes, le plus simple est de trouver comment les récupérer d'un coup (et pas de faire 25 requêtes)

Concernant le hreindexe(), pas sûr que ça fonctionne avec MySQL.

Derniers points :
- as-tu installé le connecteur natif MySQL ?
- as-tu regardé si tu pouvais améliorer les perfs de communication entre la BDD (potentiellement sur l'internet) et ton pc de traitement ?
- est-il possible de faire une "réplication" (en local) des tables sur lesquelles tu requêtes ?

[matheous]

Si tu ne récupères que 25 lignes, le plus simple est de trouver comment les récupérer d'un coup (et pas de faire 25 requêtes)

Concernant le hreindexe(), pas sûr que ça fonctionne avec MySQL.

Derniers points :
- as-tu installé le connecteur natif MySQL ?
- as-tu regardé si tu pouvais améliorer les perfs de communication entre la BDD (potentiellement sur l'internet) et ton pc de traitement ?
- est-il possible de faire une "réplication" (en local) des tables sur lesquelles tu requêtes ?

Oui, je suis avec le connecteur natif MySQL.
Côté perf, j'ai lancé mon traitement sur le serveur directement en local et il n'y a pas de différence.

Je ne sais pas si vous avez vu ma réponse ci-dessous où j'ai trouvé quelque chose de bizarre :

Il faudrait que j'analyse...

Cependant, une chose me chagrine sur l'analyse des performances...


Ca c'est l'analyse du traitement complet avec les deux premières fonctions les plus consommatrices dans la synthèse.
Pour info, ma méthode sql_versStructure() fait un HExécuteRequeteSQL() suivi d'un FichierVersTableau().

Si je double-clique sur le deuxième (53 appels), j'ai un résultat plutôt logique :



Par contre, si je double-clique sur le premier (48 appels) qui correspond à la deuxième partie de mon traitement complet :



Le FichierVersTableau() est presque autant consommateur que le HExécuteRequeteSQL().
A comparer entre les deux, c'est étonannt

Je dois avoir un problème quelque part...

[themayu]

Bonjour,

Pour votre FichierVersTableau, quel est le type de la destination ? d'expérience l'allocation d'objet est assez couteuse en terme de temps de cycle.
Vous utilisez les attributs de mapping ou le binding est implicite ? je ne sais pas si cela peu avoir un coût entre les 2 mais dans le doute il faudrait essayer.

PS: avez-vous noté que le la fonction FichierVersTableau est bloquante pour les threads, voir dernière remarque dans l'aide

[matheous]

Bonjour,

Pour votre FichierVersTableau, quel est le type de la destination ? d'expérience l'allocation d'objet est assez couteuse en terme de temps de cycle.
Vous utilisez les attributs de mapping ou le binding est implicite ? je ne sais pas si cela peu avoir un coût entre les 2 mais dans le doute il faudrait essayer.

PS: avez-vous noté que le la fonction FichierVersTableau est bloquante pour les threads, voir dernière remarque dans l'aide

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
PROCÉDURE sql_versStructure(pstResultat, pchRequeteSQL chaîne)
 
nNbEnreg 	est un 	entier = 0
sdResultat 	est une Source de Données
 
// Exécution de la requête
SI PAS HExécuteRequêteSQL(sdResultat,:m_cnxConnexion,hRequêteSansCorrection,pchRequeteSQL) ALORS                                                                            	
	:m_chRetour = "Échec de l'exécution de la requête => " + pchRequeteSQL + RC + ErreurInfo(errMessage)
	nNbEnreg = -1
FIN
 
// Lecture
SI nNbEnreg <> -1 ALORS
	HLitPremier(sdResultat,hSansRafraîchir)
	SI PAS HTrouve(sdResultat) ALORS
		nNbEnreg = 0
	SINON
		nNbEnreg = HNbEnr(sdResultat)
	FIN
 
	// Envoi des données vers la structure résultante
	FichierVersTableau(pstResultat,sdResultat)
 
	// Fermeture de la source de données
	HAnnuleDéclaration(sdResultat)
FIN
 
RENVOYER nNbEnreg

Voici le code de ma méthode sql_versStructure.
En paramètre :
- pstResultat : pas de type mais il s'agit d'une structure ou d'un tableau de structures
- pchRequeteSQL : ma requête SQL

Et oui, j'avais remarqué que la fonction est bloquante pour les threads mais j'ai un traitement séquentiel pour le moment.

[frenchsting]

J'écrirais plutôt ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
nNbEnreg 	est un 	entier = 0
sdResultat 	est une Source de Données
 
// Exécution de la requête
SI PAS HExécuteRequêteSQL(sdResultat,:m_cnxConnexion,hRequêteSansCorrection,pchRequeteSQL) ALORS                                                                            	
	:m_chRetour = "Échec de l'exécution de la requête => " + pchRequeteSQL + RC + ErreurInfo(errMessage)
	nNbEnreg = -1
SINON
	// Lecture
	nNbEnreg = HNbEnr(sdResultat)
	// Envoi des données vers la structure résultante
	FichierVersTableau(pstResultat,sdResultat)
FIN
 
// Fermeture de la source de données
HAnnuleDéclaration(sdResultat)
 
RENVOYER nNbEnreg

Une question : Est-ce que tu as essayé de remplacer le FichierVersTableau par une belle boucle ?
Une autre : Tu n'as pas typé les paramètres de la procédure. Est-ce que si tu les types (dans un cas bien particulier, on est d'accord), ça va plus vite ?
Une dernière : tu as combien de "cas" d'appel possibles à ta procédure ?

[matheous]

J'écrirais plutôt ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
nNbEnreg 	est un 	entier = 0
sdResultat 	est une Source de Données
 
// Exécution de la requête
SI PAS HExécuteRequêteSQL(sdResultat,:m_cnxConnexion,hRequêteSansCorrection,pchRequeteSQL) ALORS                                                                            	
	:m_chRetour = "Échec de l'exécution de la requête => " + pchRequeteSQL + RC + ErreurInfo(errMessage)
	nNbEnreg = -1
SINON
	// Lecture
	nNbEnreg = HNbEnr(sdResultat)
	// Envoi des données vers la structure résultante
	FichierVersTableau(pstResultat,sdResultat)
FIN
 
// Fermeture de la source de données
HAnnuleDéclaration(sdResultat)
 
RENVOYER nNbEnreg

Merci pour ta suggestion.
Cependant, le problème quand je mets ton code c'est que ma structure résultante n'est pas alimentée (lié à l'absence du HLitPremier() je suppose)

Une question : Est-ce que tu as essayé de remplacer le FichierVersTableau par une belle boucle ?

C'est à dire ?

Une autre : Tu n'as pas typé les paramètres de la procédure. Est-ce que si tu les types (dans un cas bien particulier, on est d'accord), ça va plus vite ?

Pour typer, il faudrait que je la duplique en sql_versStructure() et sql_versTableauStructure() puisque ce n'est pas la même chose ?

Une dernière : tu as combien de "cas" d'appel possibles à ta procédure ?

Quand tu dis "cas", c'est le nombre de fois ou j'appelle ma procédure avec le paramètre pstResultat différent ?

[frenchsting]

Merci pour ta suggestion.
Cependant, le problème quand je mets ton code c'est que ma structure résultante n'est pas alimentée (lié à l'absence du HLitPremier() je suppose)


C'est à dire ?


Pour typer, il faudrait que je la duplique en sql_versStructure() et sql_versTableauStructure() puisque ce n'est pas la même chose ?


Quand tu dis "cas", c'est le nombre de fois ou j'appelle ma procédure avec le paramètre pstResultat différent ?

1. Oui, il semblerait. C'est étrange quand même...
2. Tu peux dupliquer pour avoir une entête du genre : PROCÉDURE sql_versStructure(pstResultatClient est un tableau de str_Client, pchRequeteSQL est une chaîne). Et faire le test avec la requête "CLIENT".
3. C'est surtout combien de pstResultat différents tu as.

L'idée est de savoir si en typant, tu gagnes en temps d'exécution.

[matheous]

1. Oui, il semblerait. C'est étrange quand même...
2. Tu peux dupliquer pour avoir une entête du genre : PROCÉDURE sql_versStructure(pstResultatClient est un tableau de str_Client, pchRequeteSQL est une chaîne). Et faire le test avec la requête "CLIENT".
3. C'est surtout combien de pstResultat différents tu as.

L'idée est de savoir si en typant, tu gagnes en temps d'exécution.

Le problème du typage c'est que je connais pas la structure entrante...
Le plus étonnant, c'est que dans la première partie du traitement, je n'ai pas ce problème de "délai" sur le FichierVersTableau(), malgré que la méthode n'a pas de typage.

Et c'est bien ca que je comprends pas

Dans ma deuxième partie, j'ai deux pstResultat différents (2 structures différentes, l'une qui est un tableau de structure et l'autre une structure simple).
Dans la première partie du traitement, j'ai la même chose (2 structures différentes, l'une qui est un tableau de structure et l'autre une structure simple).

Peut-être que pour chaque itération, je dois réinitialiser quelque chose que je ne fais pas...
Je fais un TableauSupprimeTout de mon tableau de structure lors d'une nouvelle itération de ma boucle.

[themayu]

Le résultat de la requête et le contenu de la structure sont iso en nombre de membre ? est-ce que votre requête renvoie plus de colonnes que vous avez de membre dans la structure ?

Vous n'avez pas répondu pour le binding, peut être en partageant la requête et la structure associée on pourrait relever quelque chose

[frenchsting]

Autres idées :
- mettre un LOCAL pour avoir un passage par valeur plutôt qu'un passage par adresse :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
PROCÉDURE sql_versStructure(LOCAL pstResultat, pchRequeteSQL chaîne) 
[...]
RENVOYER pstResultat.

- Si tu fais 2 appels à ta procédure, faire des appels sur 2 tableaux différents :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
//Construction requête 1
[...]
sql_versStructure(stResultat1, pchRequeteSQL1) 
//Construction requête 2
[...]
sql_versStructure(stResultat2, pchRequeteSQL2)