Discussion :

[mighty nagty]

Bonjour,


J'utilise TOS 5.4.
Le SGBD a base de données est du Postgresql.

J'ai un flux qui update/insert (composant tPostgresql_output) des données dans une table à partir d'un fichier csv. Aucune transformation entre la source et la destination.
Quand j'exécute le job en local (job et bd sur mon poste), je tourne à plus de 1000 - 1500 lignes/sec
Quand j'exécute le job en local avec un BD sur un serveur, je tourne à plus de 150 - 250 lignes/sec

Pourquoi un tel écart ?
Comment faire pour améliorer les performances de la 2ème solution ?


(j'ai hésité à poster mon message dans la section postgresql...)


Je vous remercie par avance,

mighty nag

[supergeoffrey]

Lancer ton job depuis le serveur qui héberge la base de données.
Tu auras moins de communications réseaux

[mighty nagty]

Je ne peux pas...

[supergeoffrey]

Peux-être que tu peux optimiser ton job mais sans info supplémentaire on ne peut pas t'aider

[emenuet]

Bonjour,

Je suppose que tu as coché "update ou insert" sur le composant tPostgresqlOutput. Cette option est par défaut pas performante et je suis mème étonné que tu arrives a un 1000 row/seconde en local ( peut être un faible nombre d'enregistrement )

Je te conseil de passer par 2 flux : 1 flux pour les insert et 1 flux pour les updates. La différence est l'utilisation du batchsize ( taille des lots ) qui permet d'optimiser l'envoie des données a la base.


autre piste : vérifie que tu as bien un index en Dev, on ne sait jamais ...