Discussion :

[devdataaa]

Bonjour,

J’ai fait un Job sous Datastage PX qui est composé d'un dataset et d'un connecteur ODBC vers une base SQL server.

Mon souci, c'est que j'ai une volumétrie très importante (20 millions de lignes), par conséquent le job met beaucoup de temps. ( 1 heure et demi)

Pour info, je ne fais aucune transformation.

Auriez-vous des idées pour améliorer le temps de chargement ?

Merci par avance pour vos réponses.

Cordialement,

[devdataaa]

Quelqu’un à une idée?

Moi entre temps j'ai essayé avec le composant RedBrick Load, ça marche mais ça n'a pas révolutionné mon job. Ça donne toujours a peut près les mêmes performances

[s_a_m]

Salut,
Ça depend de beaucoup de paramètres :
1- ta configuration, .APT, le nombre de nœuds.
2- quelle technique utilises-tu ? Insert ou bulk load?
3- ta table a t'elle des indexes ?
...

[devdataaa]

Bonjour et merci pour ta réponse.

1) Deux nœuds

2) Truncate then Insert

Mon job est formé d'un Dataset et d'un connecteur ODBC ( donc que deux composants, pas de transformation)
J’ai essayé avec le bulk load, j'ai à peu près les mêmes performances, le temps n'a pas diminué de beaucoup.

3) La table n'est pas indexée

[devdataaa]

j'ai trouvé et ça marche très bien .

Merci quand meme pour votre aide.

[rastahypa]

Bonjour. Je vois que le sujet a deux ans mais bon .... Je voudrais savoir comment tu as fait pour diminuer le temps de chargement.

Cordialement.

j'ai trouvé et ça marche très bien .

Merci quand meme pour votre aide.