[TOS] - Performance insertion des données en base locale et serveur distant

Bonjour,


J'utilise TOS 5.4.
Le SGBD a base de données est du Postgresql.

J'ai un flux qui update/insert (composant tPostgresql_output) des données dans une table à partir d'un fichier csv. Aucune transformation entre la source et la destination.
Quand j'exécute le job en local (job et bd sur mon poste), je tourne à plus de 1000 - 1500 lignes/sec
Quand j'exécute le job en local avec un BD sur un serveur, je tourne à plus de 150 - 250 lignes/sec

Pourquoi un tel écart ?
Comment faire pour améliorer les performances de la 2ème solution ?


(j'ai hésité à poster mon message dans la section postgresql...)


Je vous remercie par avance,

mighty nag

Lancer ton job depuis le serveur qui héberge la base de données.
Tu auras moins de communications réseaux

Je ne peux pas...
:(

Peux-être que tu peux optimiser ton job mais sans info supplémentaire on ne peut pas t'aider

Bonjour,

Je suppose que tu as coché "update ou insert" sur le composant tPostgresqlOutput. Cette option est par défaut pas performante et je suis mème étonné que tu arrives a un 1000 row/seconde en local ( peut être un faible nombre d'enregistrement )

Je te conseil de passer par 2 flux : 1 flux pour les insert et 1 flux pour les updates. La différence est l'utilisation du batchsize ( taille des lots ) qui permet d'optimiser l'envoie des données a la base.


autre piste : vérifie que tu as bien un index en Dev, on ne sait jamais ...