Discussion :

[jinkey]

Bonjour,
Je travaille actuellement sur un script qui traite un volume très important de données (plusieurs millions d'enregistrement).
Bien sûr la première version de ce script était très longue (plusieurs heures).
Par conséquent, j'ai trouvé une manière d'améliorer les performances de celui-ci en appliquant une parallélisation maison.
Pour être clair, je lance plusieurs fois le script et chaque parallèle ne traite qu'une partie des résultats fournit par le curseur principal.
Et la question que je me pose, c'est qu'elle est le nombre optimal de parallèle sur lequel je dois lancer ce script ?
Est-ce que plus le nombre est grand et mieux c'est ?
Est-ce qu'il y a une limite ?
Bref j'aimerais comprendre comment oracle gère toutes les requêtes qui lui sont demandées.

Merci d'avance.

[Waldar]

Votre question est certes précise mais le contexte est bien trop vague pour qu'on puisse répondre quoi que ce soit de pertinent.

Merci d'apporter un peu plus de concret pour illustrer votre demande.

[jinkey]

Pour être plus précis, le traitement en question sur 7 parallèle dure environ 6h.
Sur 15 parallèle 2h30, sur 30 -> 1h et sur 91 -> 50 min.
Ce que je ne comprend pas c'est que pour oracle même si il y a 50 scripts qui tournent en parallèle, il exécute le même nombre de requête que si il n'y en a qu'un qui est lancé.
Pourtant, les performances sont bien meilleur avec beaucoup de parallèle.
Autre point d'incompréhension, pourquoi avec 91 parallèles au lieu de 30 ont ne gagne que 10 min.

[Pomalaix]

En deux mots, le parallélisme, natif ou fait maison, n'est pas magique.
La grosse idée, c'est de faire tourner tous les coeurs de processeur simultanément.
Si vous avez 32 coeurs, on peut dire grossièrement que vous pouvez supporter 32 traitements parallèles. Ça ne sert à rien d'essayer de monter à 50 traitements, car il y en a 18 qui feront la queue pour obtenir du temps CPU.

[jinkey]

Bonjour,
Merci pour ces explications. Dans mon cas, le processeur possède 4 coeurs, donc si je me fis à votre explication, les temps de traitement devraient être similaire dès que l'on dépasse 4 parallèles.
Pourtant ce n'est pas le cas.
Autre point, est-ce que les baies de disques peuvent également avoir un impact ?
Merci d'avance.

[Mohamed.Houri]

Je travaille actuellement sur un script qui traite un volume très important de données (plusieurs millions d'enregistrement).
Bien sûr la première version de ce script était très longue (plusieurs heures).
Par conséquent, j'ai trouvé une manière d'améliorer les performances de celui-ci en appliquant une parallélisation maison.

Comment êtes vous arrivez à savoir que votre problème de performance peut-être résolu en utilisant un traitement en parallèle?

Tracez votre script avec l’évent 10046 et analysez le fichier trace généré. Partez sur des bases scientifiques et apportez les solutions qui conviennent sur la base de cette analyse.

[pachot]

Bonjour,

Merci pour ces explications. Dans mon cas, le processeur possède 4 coeurs, donc si je me fis à votre explication, les temps de traitement devraient être similaire dès que l'on dépasse 4 parallèles.

Oui si le traitement ne fait que du travail CPU. Si par contre il passe la moitié de son temps à faire des I/O alors le degré peut monter jusqu'à 8.

Mais il y a une marge à prendre. D'une part parce qu'il y a d'autres choses qui tournent sur le serveur. D'autre part parce que dans le cas réel, où on a pas toujours une répartition régulière du travail en CPU, on observe une dégradation bien avant d'arriver à 100% d'utilisation.

Ce que je ne comprend pas c'est que pour oracle même si il y a 50 scripts qui tournent en parallèle, il exécute le même nombre de requête que si il n'y en a qu'un qui est lancé.

S'il n'y en a qu'un qui est lancé, il exécute les 50 scripts l'un après l'autre. Donc utilisation CPU faible (25% au maximum). Très souvent, le mieux est de tester avec différents degrés pour connaître le degré optimal.

Autre point d'incompréhension, pourquoi avec 91 parallèles au lieu de 30 ont ne gagne que 10 min.

Lorsqu'on dépasse la capacité, il n'y a plus de gain puisque les process vont se retrouver en file d'attente. La gestion des files d'attente donner des durées plus longues.

Cordialement,
Franck.