Discussion :

[DevServlet]

Bonjour tout le monde,

J'utilise TOS 5.5.1 DI. Je viens d'effectuer un test dont les caractéristiques sont les suivantes :

-En début de mon Job je fais une connexion
-Dans la suite je lance 3 tâches en simultanée, ces tâches sont simplement des lectures de tables qui utilisent toutes la connexion précédente.

Et voici le constat du premier test, en fait Talend j'ai beau demandé une exécution en parallèle mais Talend lance une tâche qui met visiblement un verrou sur la connexion et quand cette première tâche est terminée, la suite peut récupérer la connexion, ce qui biaise la notion de lancement parallèle.
Par contre si je dupplique mon composant de connexion pour chaque table, là on a vraiment une éxécution en simultané et mon Job est 3 fois plus rapide.
En Pj vous aurez une capture de mon écran.
Quelqu'un a t'il déjà fait ce constat ? Est ce normal ?

[supergeoffrey]

La seule vraie façon de faire du multi-treading avec Talend est d'utiliser le composant tRunJob.
Il va juste t'afficher tes marques, véhicules, et modèles dans l'ordre qu'il le souhaite.

[DevServlet]

Et comment l'utiliser dans mon cas?
Je veux dire comment l'agencer ?

[supergeoffrey]

Tu crées 3 job respectivement pour tes modèles véhicules et marques.
Dans un quatrième job tu ajoute 3 tRunJob pour lancer chacun des 3 job précédents avec l'option "Utiliser un processus indépendant pour éxécuter le sous-job"

[emenuet]

Bonjour DevServlet,

Ton job est correct pour faire du parallélisme avec du le studio open source.
Le facteur limitant vient de la base de donnée qui ne lance pas en parallèle les requêtes dans une connexion.
C'est le cas de Postgresql, Teradata, et certainement d'autre SGBD.

Et donc effectivement il faut ouvrir plusieurs connections à la base de donnée pour pouvoir lancer autant de requêtes.


la solution de supergeoffrey fonctionne car tu ouvriras 1 connexion par job mais n'est pas nécessaire : tu peux lancer des threads a partir d'un unique job.

[DevServlet]

Bonjour DevServlet,

Ton job est correct pour faire du parallélisme avec du le studio open source.
Le facteur limitant vient de la base de donnée qui ne lance pas en parallèle les requêtes dans une connexion.
C'est le cas de Postgresql, Teradata, et certainement d'autre SGBD.

Et donc effectivement il faut ouvrir plusieurs connections à la base de donnée pour pouvoir lancer autant de requêtes.


la solution de supergeoffrey fonctionne car tu ouvriras 1 connexion par job mais n'est pas nécessaire : tu peux lancer des threads a partir d'un unique job.

Bonjour tout le monde,
Je confirme ce diagnostic car ce que je n'avais pas dit c'est que j'avais testé sous Oracle et sous Mysql, sous Oracle j'ai fait ce constat alors que sous Mysql ça marchait très bien, le parallélisme était bien opérationnel.
Une dernière question suite au dernier post, ne pensez vous pas que ce soit plus le composant tXXXConnexion de Talend qui interdise de créer plusieurs transactions par connexion? J'ai plus l'impression que le souci vienne de là plutôt que le SGBD qui refuse de répondre en parallèle à plusieurs requêtes d'une même connexion, qu'en pensez vous ?

[emenuet]

Une dernière question suite au dernier post, ne pensez vous pas que ce soit plus le composant tXXXConnexion de Talend qui interdise de créer plusieurs transactions par connexion? J'ai plus l'impression que le souci vienne de là plutôt que le SGBD qui refuse de répondre en parallèle à plusieurs requêtes d'une même connexion, qu'en pensez vous ?

Le composant DB connexion n'ouvre qu'une seul connexion, il n'interdit rien, il fait juste la tache d'ouvrir une connexion. Si tu veux plusieurs ouverture de connexion, n'utilise pas le composant DB connexion et laisse chaque DBoutput ouvir sa propre connexion

[DevServlet]

Le composant DB connexion n'ouvre qu'une seul connexion, il n'interdit rien, il fait juste la tache d'ouvrir une connexion. Si tu veux plusieurs ouverture de connexion, n'utilise pas le composant DB connexion et laisse chaque DBoutput ouvir sa propre connexion

Bonjour,

Mon besoin était en qu'en multi thread je puisse utiliser une seule connexion pour toutes les tables du même schéma dans le même Job. Le test a parfaitement marché sous Mysql , c'est sous Oracle que ça marchait pas.
J'ai donc eu la réponse à mes questions.
merci pour vos interventions