Discussion :

[ManMan04]

Bonjour bonjour,

Je débute en Talend et j'ai un soucis.
Je dois charger un fichier .csv dans une base de données postgreSQL.
Mon fichier .csv est dans un dossier mais son nom va changer tous les mois (je le récupère et le charge dans la base de données une fois par mois). Est-ce possible de dire à Talend de récupérer un fichier .csv sans lui donner son nom exact ? Sachant qu'il n'y aura que ce fichier .csv dans le dossier.

Deuxième problème, lorsque je charge mon fichier .csv dans ma base de données, cette erreur apparaît :
"[statistics] connected
L'élément du batch 0 INSERT INTO "public"."project" ("business_unit","name","project_manager_name","first_deputy_manager_name","second_deputy_manager_name","currency") VALUES (123,Projet1,MadameA,MonsieurC,MonsieurA,EUR) a été annulé. Appeler getNextException pour en connaître la cause.
[statistics] disconnected" Que faut-il faire ?

Merci d'avance !!

Manon

[weed]

Bonjour,

1./
Moi également, je débute sur Talend. Tu devrais parcourir les composants de Talend existant dans la documentation comme ici : https://help.talend.com/display/Comp...omposants+File
Tu as en effet un composant qui te permet d'explorer un répertoire, de lister que ce soit à distant avec les composants FTP, SCP qu'en local.

Sinon l'autre possibilité est de récupérer le nom du fichier dans la base de donnée

2./ L'erreur provient de ta requête générée. Je te parie que si tu l’exécute manuellement dans un client SQL tel que SQLDevelopper, elle ne fonctionnera pas. Ce qui me surprends quand je lis ta requete, tu n'as pas de doubles quote pour insérer tes valeurs. Il faudrait trouver l'option dans un de tes composant Talend d'encapsuler tes chaines de caractères avec des ".
Mais avant, teste ta requête manuellement. C'est le premier truc à faire

[ManMan04]

Bonjour,

Merci pour votre réponse mais ce n'est pas moi qui génère la requête. Je lui demande juste de charger la base de données

[yan81]

Salut,

Oui c'est possible de traiter le fichier sans avoir d'avance son nom
Tu peux utiliser le composant tFileList qui point vers le dossier qui contient le fichier
ca va te donner un truc de ce genre :

dans le nom de fichier de ton iFileInput tu mets le variable global, dans mon cas : ((String)globalMap.get("tFileList_2_CURRENT_FILEPATH"))

Pour ta seconde question tu cherches à charger les données comment ? tu peux mettre un screen de ton job ?

[ManMan04]

Bonjour,

Merci pour votre réponse
Pour mon tFileInputDelimited je ne peux donc pas le créer directement dans les métadonnées (à gauche) ? Car il ne reconnaît pas le chemin... Il faut le créer directement dans le job ?

En fait j'ai un fichier .csv contenant 37 colonnes et je dois alimenter 3 tables différentes avec ces colonnes (sachant que la première table récupérera les 8 premières colonnes, la deuxième table récupérera d'autres colonnes, etc). Une des tables sera même alimentée plusieurs fois (car c'est un historique). Est-ce possible de faire ça ? :



Sachant que la table en bas est la même qui s'alimente 12 fois (une fois par mois). Je ne peux pas encore tester si ça marche mais selon vous est-ce possible ? Sinon comment faire pour alimenter une même table plusieurs fois avec un seul .csv ?

Merci d'avance

[weed]

2./ L'erreur provient de ta requête générée. Je te parie que si tu l’exécute manuellement dans un client SQL tel que SQLDevelopper, elle ne fonctionnera pas. Ce qui me surprends quand je lis ta requete, tu n'as pas de doubles quote pour insérer tes valeurs. Il faudrait trouver l'option dans un de tes composant Talend d'encapsuler tes chaines de caractères avec des ".
Mais avant, teste ta requête manuellement. C'est le premier truc à faire

Bonjour,

Merci pour votre réponse mais ce n'est pas moi qui génère la requête. Je lui demande juste de charger la base de données

Que ta requête SQL soit généré automatiquement par Talend via un composant ou écrite manuellement, le problème reste le même. La requête est généré et executé automatiquement par ton script Talend quand tu doubles cliques sur ton script Talend. Il faut donc tester étape par étape pour identifier l'étape bloquant.


La question est de savoir si la requête que Talend exécute est au moins bonne ? Est ce que le schéma est correcte par rapport à la requête ? (nom des champs, typages, ...)
Pour isoler ce cas, pour être certains que la requête (exécuté par ton script Talend) est correcte, il faut l’exécuter manuellement.

Dans l'erreur, qu'il a retourné, tu as pas mal d'info, tu as le nom de la base de donnée (public), le nom de la table et le nom des champs.

[wcfsmart]

si j’ai compris ton problème, tu veux charger un fichier dans 3 tables
1. tFileInputDelimieted : comme paramètres, tu as :
a. le chemin
b. la structure (Edit schema)
c. ….
2. tOracleOutput (ou tMySqlOutput ou …) permettent tous de charger un flux de données dans la base de donnée

j'ai bien voulu illustrer par des images, mais ajouter une image sur ce site, c'est la galère totale

voici le job final (considérer * comme espace)

********iterate*************************main****************sortie 1 (8 premières colonnes)
tFileList ----------> tFileInputDelimieted ---------------------->tmap-----------------------------------------> tOracleOutput 1
*********************************************************sortie 2 (x prochaines colonnes)
*****************************************************-----------------------------------------> tOracleOutput 2
*********************************************************sortie 3 (Y dernières colonnes)
*****************************************************-----------------------------------------> tOracleOutput 3

Le script, pour chaque fichier va charger les 8 premières colonnes dans la première table ...

Écris moi en inbox si c'est pas claire pour toi.

Bonne journée
wcfsmart