Discussion :

[fprovot]

Bonjour

J'ai un système assez performant qui fait tourner en gros ETL en production sur des volumes de données assez importants. Je dispose de 10Go de ram, mais pourtant l'ETL n'utilise pas plus de RAM qu'en dev ou en test en petit volume, c'est à dire qu'on ne dépasse pas 5Go de Ram environs tout au long de l'ETL. Par contre il y a beaucoups d'I/O disque et réseau (la BDD est sur un serveur dédié).

J'aimerai pouvoir bénéficier de toute la RAM disponible, ou au moins 8Go exploités sur les 10, pour améliorer les performances, et limiter les I/O disque au moins.

Savez-vous comment/que configurer au niveau des WF/DF/Job pour mieux exploiter la mémoire?

(Data Integrator 12.2.3.5)
Merci

[cedrickb]

Difficile de répondre à ce genre de question car tout dépend de la manière dont sont développés tes flux, de la volumétrie, de l'architecture technique, du réseau... !

Une chose que tu peux faire relativement simplement.

1. Sélectionner un JOB avec DS Designer
2. Clic droit Executer
3. Cocher "collect statistic for optimisation"
4. Lancer le flux

Relancer le flux en cochant "use collected statistic"

tu verras déjà si le moteur DI propose des optimisations.

Pour suivre ces éléments il faut analyser les fichier de trace.

Ceci te permettra d'identifier quelques axes d'amélioration dans un premier temps.

++

[fprovot]

Intéressant, je vais suivre cette technique.

Là j'ai fait quelques tests (sur des volumétries légères) concernant les options "Cache-Type" des DF, et "Run xxx as a separate process" sur les queries, ainsi qu'ordonner les données en entrée de TC.
Ce dernier a l'air positif (1 seul essai!), à voir à plus long terme, sur différents cas (et plus de données!).

[cedrickb]

Tu peux également mettre en cache les tables sources utilisées dans tes DF.

Ce que je conseil, c'est dans un premier temps d'identifier les DF qui sont le plus consommateurs, et tester les différentes options d'optimisation. Il se peut que ces techniques ne soient pas suffisantes, il faudra alors dans ce cas re designer les DF en séparant les étapes élémentaires au sein de DF spécifiques.