Discussion :

[matt1987]

Bonjour ,je vous explique mon problème:
en fait j'ai crée un workbench (succession de job) qui a partir de plusieurs fichiers plats se trouvant dans AWS S3 lance une succession d'action:suppression des fichiers non utilisés ,télécharger les fichiers plats utiles et intégration de ces derniers dans une base Oracle.
Partant de cela ,j'ai créé une tache planifiée qui se lance à la fin de chaque semaine ,mais à chaque fois la connexion oracle est perdue alors comment faire dans le cas d'une perte d'une connexion oracle ,on rétablit une autre.

[XxArchangexX]

Salut,

Comme sa je ne vois pas trop.

Est ce que tu stockes tes données de connexion :
- En metadonnées?
- En contexte?
- En dur?
- depuis un fichier?

[matt1987]

Je les stocke en metadonnées ,mais je pense qu'il vaut mieux les stocker dans des variables de contextes.

[matt1987]

En fait l'intégration des données des fichiers plats peut s'étaler sur plusieurs heures (en moyenne 10 heures) ,mais généralement la session oracle est perdue au cours de ce process du coup seulement une seule partie des fichiers ont été intégrer dans la base.Moi je voudrai seulement savoir comment on peut créer une nouvelle session de connexion lorsque la connexion est perdue pour l'ensemble des fichiers seront intégrés.
Merci à toi

[XxArchangexX]

Pour ma part je ne peux pas te donner une réponse précise.

Je vois 2 solutions :

- Modifier ton profil oracle pour un connect_time plus grand, il faut que tu demandes à ton admin ou si tu as les autorisations le faire.

- Ou faire un job qui vérifie toutes les heures si ta connexion et toujours bonne sinon la relancer mais je n'ai jamais fait sous talend.

[matt1987]

Merci pour tes précieux conseils!!
Autre chose ta deja utilisé les composants toraclebulkexec ou toracleoutputbukexec?

[XxArchangexX]

Jamais utilisé, de nom je sais que c'est un composant qui serait plus performant sur les bases oracle pour certaine opération( create,drop, insert) que les autres composants oracle pour des chargements important de données , mais je ne sais pas ce que sa vaut.

[haskouse]

Ces deux composants servent à faire du chargement de données en masse. Je les ai déjà utilisé ils sont très performant, c'est vraiment rapide car il se base (si je ne m'abuse) sur l'outil "SQL LOADER" d'Oracle qui intègre les données dans la base Oracle à partir d'un fichier texte.

Pour leurs utilisations tu trouveras un exemple dans la documentation officielle de Talend.

[matt1987]

Oui en fait ces deux composants lancent une instance de SQL Loader mais je ne savais pas que SQL Loader etait plus performant parce que au debut j'ai comparé le temps de chargement de donnée par les composants classiques de talend( tmap->tOracleOutput) et le SQL Loader ,et j'ai constaté que le temps de reponse de SQL Loader est plus long.
Enfin bref lors de l'utilisation de ces deux composants j'ai rencontré des problèmes ,il m'affiche à chaque fois que la premiere colonne n'existe pas.
J'ai essayé de voir et vérifier les fichiers de controle de sql loader mais il n y avait pas d'erreur.
Voici le contenu de mon fichier de controle:
OPTIONS ()
LOAD DATA
CHARACTERSET 'UTF8'
INFILE 'C:/crawl/test/1.csv'
BADFILE 'C:/crawl/test/1.csv.bad'
DISCARDFILE 'C:/crawl/test/1.csv.dsc'
INTO TABLE crawl_test1
INSERT
FIELDS TERMINATED BY "," OPTIONALLY ENCLOSED BY '"'
("enseigne",
"magasin",
"id",
"nomenclature",
"url",
"image",
"label" CHAR(600),
"brand",
"packagingUnit",
"packagingLabel",
"productFlags",
"price",
"pricePerUnit",
"basePrice",
"priceFlags",
"promo",
"promoDesc",
"available")

[haskouse]

Essai de poster un aperçu global de ton job et des aperçu des composants.

[Farhat1985]

j'ai le mm problème en fait j'ai créé un job talend qui réaliser une connexion sur talend et import mes tables ça fait deux semaine que j'ai fait ce job mais quand j’essayé d'exécute de nouveau mon job j'ai remarqué que j'ai perdu ma connexion.
Est-ce que ta réussis de résoudre ton problème afin de m'aide stp?