Discussion :

[ManMan04]

Bonjour à tous,

J'ai besoin d'un petit coup de main sur Talend...
Mon job Talend sera lancé une fois par mois.

J'ai un fichier .csv qui alimente 3 tables :
- la table project : le tMap doit alimenter cette table QUE si le champs 'name' n'existe pas déjà.
- la table performance : le tMap doit alimenter cette table A CHAQUE FOIS car le champs 'mois' est tout les mois différent.
- la table forecast : le tMap doit alimenter cette table A CHAQUE FOIS mais doit remplacer les données. Cette table permet de faire un prévisionnel, il est donc inutile de garder les prévisions du mois d'avant, je veux que les données soient tout le temps updatées.



Le problème est que je suis débutante et je ne connais pas tous les aspects de Talend.
Pour la table performance c'est bon car le tMap est simple.
Par contre je n'arrive pas avec la table project et la table forecast...

Merci par avance

[wcfsmart]

Bonjour

Il y a trop de "project_forcast"

Le TMAP
-->Il prend en entrée un flux de données
-->La données reçue en entrée est ensuite transformée. Et on peux avoir en sortie plusieurs type de données.

Pour ton cas, tu as un seul type de données en entrée. Même si tu auras ce fichier tous les mois, c'est le même type de fichier.

En sortie, tu as 3 types de données
--> Les 8 premières colonnes (si je me réfère à ton précédent post)
--> Les x prochaines colonnes
--> Et enfin les y dernières colonnes.

Chaque mois, le fichier du mois va tout simplement être scindé en ces 3 type de données et chaque type chargé dans une table de la base de données.

Bonne journée
wcfsmart

[ManMan04]

Bonjour wcfsmart,

Merci pour ta réponse !

Cependant, la table forecast doit être alimentée 12 fois (le fichier CSV contient les données comme ceci : chiffremois1 ; chiffremois2 ; etc jusqu'à chiffremois12) et dans ma table Forecast les champs sont :
- id
- mois
- chiffre

Je rentre donc, avec le tMap, le mois en dur et je relis chiffremois1 à chiffre cependant il faut que ça fasse une boucle pour que ça remplisse ma table 12 fois.

FORECAST :
id mois chiffre
10 1 chiffremois1
11 2 chiffremois2
etc.

Ma table est alimentée chaque mois (chaque mois on fait des prévisions pour les mois suivants) et je souhaiterai que les données de ma table soient remplacées lors du chargement suivant. Par exemple au mois 1, j'alimente ma table avec chiffremois1, chiffremois2, etc. Puis au mois 2, j'alimente ma table en remplaçant les données que j'ai chargé le mois d'avant par les données du mois 2. Je ne sais pas si c'est bien clair.

J'ai sélectionné "insert or update" dans la config de mon tPostGresqlOutput afin que ça remplace mes données si l'id existe ou que ça m’insère 12 lignes si l'id n'existe pas. Cependant, ça ne fonctionne pas quand je lance mon job.

Pour ma table project, c'est similaire. Je veux que ça mette à jour mes données si l'id existe et que ça me créée un nouveau projet si l'id n'existe pas. Pareil que pour la table forecast, j'ai sélectionné "insert or update" dans la config du tPostGresqlOutput.

Merci d'avance...

[wcfsmart]

Bonjour wcfsmart,

Merci pour ta réponse !

Cependant, la table forecast doit être alimentée 12 fois (le fichier CSV contient les données comme ceci : chiffremois1 ; chiffremois2 ; etc jusqu'à chiffremois12) et dans ma table Forecast les champs sont :
- id
- mois
- chiffre

Je rentre donc, avec le tMap, le mois en dur et je relis chiffremois1 à chiffre cependant il faut que ça fasse une boucle pour que ça remplisse ma table 12 fois.

FORECAST :
id mois chiffre
10 1 chiffremois1
11 2 chiffremois2
etc.

Peux-tu partager le fichier un extract du fichier que tu veux charger?
Une autre solution serait de transformer d'abord ton fichier par un premier process talend avant de le charger.

[ManMan04]

Rebonjour,

Malheureusement je ne peux partager le fichier mais je peux te donner la structure :

Données1 ; Données2 ; Données3 ; Données4 ; Données5 ; Données6 ; Données7 ; Données8 ; Données9 ; Données10 ; Données11 ; Données1Mois1 ; Données1Mois2 ; Données1Mois3 ; Données1Mois4 ; Données1Mois5 ; Données1Mois6 ; Données1Mois7 ; Données1Mois8 ; Données1Mois9 ; Données1Mois10 ; Données1Mois11 ; Données1Mois12 ; Données2Mois1 ; Données2Mois2 ; Données2Mois3 ; Données2Mois4 ; Données2Mois5 ; Données2Mois6 ; Données2Mois7 ; Données2Mois8 ; Données2Mois9 ; Données2Mois10 ; Données2Mois11 ; Données2Mois12.

Table PROJECT : ajouter les données si elles n'existent pas ou les mettre à jour en fonction de la Données1.

Table PROJECT_PERF : ajouter les données à chaque fois.

Table PROJECT_FORECAST : mettre à jour les données à chaque fois ou ajouter si la Données1 n'existe pas.

Merci pour ton aide...