Discussion :

[lefaruch]

Utilisant des fichiers de grandes tailles dans mon cas, le chargement dans les tables prend donc enormement de temps.
J'aimerais savoir s'il ya possibilité d'implémenter un cluster qui me permettra :
1- actif/actif ( si lun tombe en panne l'autre prend la releve sans interrompre le job)
2- Execution des traitements sur les 2ou + machines pour accelerer.
Merci
Cdlt,

[jsd03]

Bonjour,

Il existe effectivement une version de Talend qui propose ce genre d'implémentation (clustering et load-balancing) à savoir : Talend Integration Suite Professional Edition (une des plus chère ). C'est, comme son nom l'indique la version payante de TOS qui permet entre autre :

- un travail en équipe
- une consolidation des développements
- un support technique (Gold)
- des déploiements complexes
- un monitoring
- le clustering
- le load-balancing

Tu devrais te tourner directement vers Talend pour avoir plus d'informations à ce sujet si tu veux acquérir une telle licence.

[lefaruch]

Merci jsd03 , meme si j'esperais une autre solution.

[DevNico]

Petite remarque : (c'est un peu toujours la même que je fais, désolé).

Il est tout à fait possible de tirer partie de plusieurs machines avec le TOS, c'est juste que cette répartition doit être faite manuellement.
J'ai déjà mis en place ce type de mise en oeuvre : les données arrivent de plusieurs source, les traitements qui intègrent ces données sont réparties sur plusieurs machines. Et le paramétrage source-machine peut être modifiable.

Avec un ordonnanceur, il doit être même possible de faire du load balancing, qui ne serait donc pas géré par talend.

Donc je dirais qu'il y a des choses qui peuvent être faites avec la version gratuite dans ce domaine. Avec du boulot en plus par rapport à la version payante donc.

Nicolas

[Oreste]

1 - Le mode actif/actif n existe pas sous Talend si ton jobserver tombe pendant l'execution il n'est pas repris.

2 - ce mode se rapproche du grid, dans la version 4.0 de TIS il y a un debut d'experimentation à ce sujet avec l'arrivée des composants Hadoop (cf technologie MapReduce de Google)

[boubsy]

Quelques précisions sur la v4 que je suis en train d'évaluer:

La haute dispo est présente en mode actif-actif pour la planification (clustering de quartz).
Elle est prévue pour les jobserver pour la 4.1. Ce qui doit nous mener sur Octobre. (Un patch non testé, semble disponible en 4.0.1)

Hadoop (edition MPx) sur la 4.0 est effectivement un début d'implémentation.
A suivre sur la 4.1 je pense, miam :-)

boubsy

[lefaruch]

Petite remarque : (c'est un peu toujours la même que je fais, désolé).

Il est tout à fait possible de tirer partie de plusieurs machines avec le TOS, c'est juste que cette répartition doit être faite manuellement.
J'ai déjà mis en place ce type de mise en oeuvre : les données arrivent de plusieurs source, les traitements qui intègrent ces données sont réparties sur plusieurs machines. Et le paramétrage source-machine peut être modifiable.

Avec un ordonnanceur, il doit être même possible de faire du load balancing, qui ne serait donc pas géré par talend.

Donc je dirais qu'il y a des choses qui peuvent être faites avec la version gratuite dans ce domaine. Avec du boulot en plus par rapport à la version payante donc.

Nicolas

Merci pour ton retour,
Si je comprends bien, ici tu me parles de subdiviser ton job principal en plusieurs que tu implémentes sur plusieurs machines manuellement
Bon là, on va dire une clusterisation "très manuelle". merci


Concernant la haute disponibilité, tout le monde pense que c'est pas possible sur TOS mais étant donné que je suis dos au mur, je compte utiliser heartbeat sur 2 machines possedant TOS pour implémenter la HD.
L'inconvénient principal, c'est qu'en cas de basculement c'est tout le job qui devra recommencer,mais au moins ca sera automatique.
Si quelqu'un a une petite idée cette methode, qu'il n'hésite vraiment pas.