Précédent   Forum des professionnels en informatique > Logiciels > Solutions d'entreprise > Business Intelligence > ETL > Talend
Talend Forum d'entraide sur Talend (Talend Open Studio, ...). Avant de poster --> FAQ Talend, Tutoriels Talend
Partagez cette discussion sur d'autres réseaux sociaux : Viadeo Twitter Google Facebook Digg Delicious MySpace Yahoo
Réponse Proposer ce sujet en actualité
 
Outils de la discussion
Publicité
'
Vieux 30/11/2011, 15h40   #1
Candidat au titre de Membre du Club
 
Inscription : décembre 2005
Messages : 117
Détails du profil
Informations forums :
Inscription : décembre 2005
Messages : 117
Points : 14
Points : 14
Envoyer un message via MSN à jam92400
Par défaut problème d'alimentation avec TALEND

Bonjour

J'ai un soucis sur un mapping tout simple que j'ai fait avec une source CSV (fichier excel), un tConvertype et un Tmap et enfin ma source une table Oracle.

Quand je lance le mapping il n'y a pas d'erreur. mais il dit que mes données sont NULL donc j'ai mis en mode TraceDebug pour voir ce qui se passe et je vois bien qu'il charge les données au début et dès qu'il passe au 2eme objet c'est ecrit NULL sur tous les champs ( voir copie d'ecran)

De plus chose encore plus bizarre quand je desactive le tConvertype et que je relance , là les données passent bien et la table est alimentée!

J'y comprend plusrien, AIDEZ MOI pleaseee
Fichiers attachés
Type de fichier : doc screen_copy_etl.doc (183,5 Ko, 4 affichages)
jam92400 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 30/11/2011, 17h24   #2
Membre Expert
 
Avatar de haskouse
 
Homme Mustapha EL HASSAK
Ingénieur développement logiciels
Inscription : août 2009
Messages : 627
Détails du profil
Informations personnelles :
Nom : Homme Mustapha EL HASSAK
Âge : 26
Localisation : Maroc

Informations professionnelles :
Activité : Ingénieur développement logiciels
Secteur : Finance

Informations forums :
Inscription : août 2009
Messages : 627
Points : 1 514
Points : 1 514
Apparemment le problème vient du convertType.
Tu peux nous poster une captrue d'écran sur les propriétes de ton convertType ?
__________________
Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant. "Mohammed le Messager d’Allah" (que la paix et le salut d'Allah soient sur lui)

Mes articles publiés
haskouse est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 30/11/2011, 17h27   #3
Membre du Club
 
Inscription : janvier 2010
Messages : 74
Détails du profil
Informations forums :
Inscription : janvier 2010
Messages : 74
Points : 43
Points : 43
Par défaut problème d'alimentation avec TALEND

Bonjour

même problème sur le tconverttype pour passer de string en bigdecimal

A noter que ce problème est présent en TOS 4.2 et non auparavant

cordialement
andre94200 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 30/11/2011, 18h14   #4
Candidat au titre de Membre du Club
 
Inscription : décembre 2005
Messages : 117
Détails du profil
Informations forums :
Inscription : décembre 2005
Messages : 117
Points : 14
Points : 14
Envoyer un message via MSN à jam92400
Par défaut copie ecran tConvertType

voilà une copie d'ecran, mais y a rien dans les paramètres

de plus je comprend pas pourquoi le fait de désactiver fait fonctionner l'alimentation alors que si je le supprime sans remarche plus a cause des convertion de type mais le fait d etre desactivé est l equivalent de pas exister non ?
Fichiers attachés
Type de fichier : doc tconvertype.doc (151,0 Ko, 4 affichages)
jam92400 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 01/12/2011, 09h12   #5
Membre Expert
 
Avatar de haskouse
 
Homme Mustapha EL HASSAK
Ingénieur développement logiciels
Inscription : août 2009
Messages : 627
Détails du profil
Informations personnelles :
Nom : Homme Mustapha EL HASSAK
Âge : 26
Localisation : Maroc

Informations professionnelles :
Activité : Ingénieur développement logiciels
Secteur : Finance

Informations forums :
Inscription : août 2009
Messages : 627
Points : 1 514
Points : 1 514
A quoi sert au juste ton tConvertType ??
Tu n'as fait aucune conversion dans ce dernier alors pourquoi l'utiliser ??
__________________
Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant. "Mohammed le Messager d’Allah" (que la paix et le salut d'Allah soient sur lui)

Mes articles publiés
haskouse est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 01/12/2011, 09h17   #6
Candidat au titre de Membre du Club
 
Inscription : décembre 2005
Messages : 117
Détails du profil
Informations forums :
Inscription : décembre 2005
Messages : 117
Points : 14
Points : 14
Envoyer un message via MSN à jam92400
Par défaut problème d'alimentation

salut Mustapha

en fait j'utilise le convertype pour convertir mes champs date au bon format dd/mm/yyyy et certain champs string en bigdecimal sinon Oracle les jette

tu peux voir la copie d'ecran que je viens de mettre pour voir l'interieur de l'objet
Fichiers attachés
Type de fichier : doc copy-screen-tconvertype.doc (128,5 Ko, 2 affichages)
jam92400 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 01/12/2011, 13h16   #7
Membre Expert
 
Avatar de haskouse
 
Homme Mustapha EL HASSAK
Ingénieur développement logiciels
Inscription : août 2009
Messages : 627
Détails du profil
Informations personnelles :
Nom : Homme Mustapha EL HASSAK
Âge : 26
Localisation : Maroc

Informations professionnelles :
Activité : Ingénieur développement logiciels
Secteur : Finance

Informations forums :
Inscription : août 2009
Messages : 627
Points : 1 514
Points : 1 514
J'ai déjà fait des conversiosn de type mais sans utiliser de tConvertType.
Personnellement je mets la conversion directement dans le tMap, par exemple une conversion de String en BigDecimal je mets directement dans le champs BigDecimal de sortie:

Code :
new BigDecimal(row1.maChaineAConvertir
Sinon s'il ya une conversion ou une transformation assez complexe alors j'utilise une routine et j'y fais appel dans le tMap.

Tu pourrais tenter cela.
__________________
Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant. "Mohammed le Messager d’Allah" (que la paix et le salut d'Allah soient sur lui)

Mes articles publiés
haskouse est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 01/12/2011, 14h54   #8
Candidat au titre de Membre du Club
 
Inscription : décembre 2005
Messages : 117
Détails du profil
Informations forums :
Inscription : décembre 2005
Messages : 117
Points : 14
Points : 14
Envoyer un message via MSN à jam92400
Par défaut problème d'alimentation

y a plus simple dans le tmap, je fais la conversion directement dans le tableau en dessous sans touché à row.id... tu vois

maois même avec ca il reagit comme si les champs etait NULL

je sature je trouve pas, j ai meme installer la derniere version 5.0
jam92400 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 01/12/2011, 15h32   #9
Candidat au titre de Membre du Club
 
Inscription : décembre 2005
Messages : 117
Détails du profil
Informations forums :
Inscription : décembre 2005
Messages : 117
Points : 14
Points : 14
Envoyer un message via MSN à jam92400
Par défaut problème d'alimentation

Je viens de refaire un nouveau mapping en ne mettant pas tConvertype mais en convertissant directement dans le tableau du tmap et je lance

mais ca ne marche toujours pas il m'affiche 9 fois "NULL" qui correspond à mes 9 lignes de fichiers :-(

des idées?

car là je sais plus quoi faire

COPY ECRAN EN ATTACHEMENT
Fichiers attachés
Type de fichier : doc screen_copy.doc (171,5 Ko, 4 affichages)
jam92400 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 01/12/2011, 16h44   #10
Membre Expert
 
Avatar de haskouse
 
Homme Mustapha EL HASSAK
Ingénieur développement logiciels
Inscription : août 2009
Messages : 627
Détails du profil
Informations personnelles :
Nom : Homme Mustapha EL HASSAK
Âge : 26
Localisation : Maroc

Informations professionnelles :
Activité : Ingénieur développement logiciels
Secteur : Finance

Informations forums :
Inscription : août 2009
Messages : 627
Points : 1 514
Points : 1 514
Tu peux envoyer un exemple de ton fichier, je vais essayer de créer le job sur mon poste et voir ce que ça donne.
__________________
Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant. "Mohammed le Messager d’Allah" (que la paix et le salut d'Allah soient sur lui)

Mes articles publiés
haskouse est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 01/12/2011, 17h22   #11
Candidat au titre de Membre du Club
 
Inscription : décembre 2005
Messages : 117
Détails du profil
Informations forums :
Inscription : décembre 2005
Messages : 117
Points : 14
Points : 14
Envoyer un message via MSN à jam92400
Par défaut pb alimentation

voilà
mais il te faudrait la base pour mieux voir
Fichiers attachés
Type de fichier : zip fichier de test.zip (2,7 Ko, 2 affichages)
jam92400 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 01/12/2011, 17h24   #12
Membre Expert
 
Avatar de haskouse
 
Homme Mustapha EL HASSAK
Ingénieur développement logiciels
Inscription : août 2009
Messages : 627
Détails du profil
Informations personnelles :
Nom : Homme Mustapha EL HASSAK
Âge : 26
Localisation : Maroc

Informations professionnelles :
Activité : Ingénieur développement logiciels
Secteur : Finance

Informations forums :
Inscription : août 2009
Messages : 627
Points : 1 514
Points : 1 514
C'est quel fichier qui pose problème ?
Envoi aussi le script SQL de ta table de destination.

Je vais faire des tests et je te fais un retour.
__________________
Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant. "Mohammed le Messager d’Allah" (que la paix et le salut d'Allah soient sur lui)

Mes articles publiés
haskouse est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 01/12/2011, 17h52   #13
Candidat au titre de Membre du Club
 
Inscription : décembre 2005
Messages : 117
Détails du profil
Informations forums :
Inscription : décembre 2005
Messages : 117
Points : 14
Points : 14
Envoyer un message via MSN à jam92400
j'ai le problème à peu près sur tous: en fait c est dingue je fais le mapping tout simple je lance et ca marche et puis quand je reessaye en modifiant le fichier d'entrée par exemple ou alors que je relance apres avoir vidé la table ben ca remarche plus il me met des "null" partout

tu trouveras le script de creation de la table des Police d'assurance en PJ alimenté par le fichier TEST_POLICE

Merci encore mustapha

tu as pas un email ou msn en privé?
Fichiers attachés
Type de fichier : txt script_creation_table_police.txt (2,7 Ko, 2 affichages)
jam92400 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 02/12/2011, 09h52   #14
Membre Expert
 
Avatar de haskouse
 
Homme Mustapha EL HASSAK
Ingénieur développement logiciels
Inscription : août 2009
Messages : 627
Détails du profil
Informations personnelles :
Nom : Homme Mustapha EL HASSAK
Âge : 26
Localisation : Maroc

Informations professionnelles :
Activité : Ingénieur développement logiciels
Secteur : Finance

Informations forums :
Inscription : août 2009
Messages : 627
Points : 1 514
Points : 1 514
Bonjour,

Je viens de faire des tests, j'ai exactement le même problème que toi apparemment.

J'ai lié directement le fichier CSV avec un tLogRow, il y'a deux cas de figures :
  • si la première colonne est de type STRING il m'affiche les données dans al console.
  • si la première colonne est de type BigDecimal je me retrouve avec 9 null comme toi.
Donc je pense qu'il y'a un problème avec le formatage des valeurs de la première colonne "IDENTIFIER", en effet tu as des valeurs de ce genre :


Citation:
2,02E+11

A mon avis le problème se pose lors de la transformation de cette chaîne en BigDecimal.


Je vais investiguer là dessus.
__________________
Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant. "Mohammed le Messager d’Allah" (que la paix et le salut d'Allah soient sur lui)

Mes articles publiés
haskouse est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 02/12/2011, 09h52   #15
Invité de passage
 
Femme
Étudiant
Inscription : décembre 2011
Messages : 2
Détails du profil
Informations personnelles :
Sexe : Femme
Localisation : Slovaquie

Informations professionnelles :
Activité : Étudiant
Secteur : Santé

Informations forums :
Inscription : décembre 2011
Messages : 2
Points : 3
Points : 3
Par défaut devoir informatique

Bonjour,

Alors voila moi je suis etudiante en sciences sociales en erasmus à Bratislva où je dois suivre des cours d'informatique! Je n'y comprend absolument rien. Cette semaine mon devoir porte sur cette question :

1. The students will describe what business software is in general, and how it can support managerial functions and roles in a company. The students will list five companies they think that they produce the best quality business software. They should list them in order of the quality and give arguments supporting their opinion and give also examples of the best business software produced by these companies.

Généralement, j'arrive à m'en sortir avec internet mais la j'avoue que de lister les companies je n'en ai aucune idée, si vous pouviez seulement me guider vers un site internet ou autre parce que je suis totalement perdu!
Desole aussi car je pense que je ne suis pas dans le bon forum informatique mais je ne sais pas où m'orienter

Merci d'avance
kathleen08 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 02/12/2011, 10h24   #16
Membre Expert
 
Avatar de haskouse
 
Homme Mustapha EL HASSAK
Ingénieur développement logiciels
Inscription : août 2009
Messages : 627
Détails du profil
Informations personnelles :
Nom : Homme Mustapha EL HASSAK
Âge : 26
Localisation : Maroc

Informations professionnelles :
Activité : Ingénieur développement logiciels
Secteur : Finance

Informations forums :
Inscription : août 2009
Messages : 627
Points : 1 514
Points : 1 514
Salut,

Bon je pense avoir trouvé la solution, ça va te charger les données dans la base mais à toi de vérifier si ce sont les bonnes données, si ce n'est pas le cas alors tu modifies juste les deux routines que tu va lire là-dessous jusqu'à ce que ça marche :

1 -- Pour ce qui est de la conversion de String vers Date crée une routine et mets y cette fonction :
Code :
1
2
3
4
5
6
7
8
9
10
11
12
13
14
public static Date stringToDateDeux(String date) {
<ol style="list-style-type: decimal"><li>        IF (date == NULL || date.equals(""))
            RETURN NULL;
 
        SimpleDateFormat df = new SimpleDateFormat("dd/MM/yyyy");
        try {
            Date res = df.parse(date);
            RETURN res;
        } catch (ParseException e) {
            e.printStackTrace();
            RETURN NULL;
        }
    }</li>
</ol>
puis tu fais l'appel dans le tMap comme ceci par exemple:
Code :
Conversion.stringToDateDeux(row2.EFFECTIVE_DATE)

2 -- Pour ce qui est de la conversion de String en BigDecimal, utilise cette fonction :
Code :
1
2
3
4
5
6
public static BigDecimal stringToBigDecimal(String value) {
        IF (value == NULL || value.equals(""))
            RETURN NULL;
 
        RETURN new BigDecimal(value.REPLACE(',', '.'));
    }
Puis tu fais appel comme ça :
Code :
Conversion.stringToBigDecimal(row2.IDENTIFIER)

Pour ce qui est de la création de routine, suis ce lien :
http://haskouse.developpez.com/tutor...ation-routine/


Bonne chance.
__________________
Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant. "Mohammed le Messager d’Allah" (que la paix et le salut d'Allah soient sur lui)

Mes articles publiés
haskouse est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 02/12/2011, 18h21   #17
Candidat au titre de Membre du Club
 
Inscription : décembre 2005
Messages : 117
Détails du profil
Informations forums :
Inscription : décembre 2005
Messages : 117
Points : 14
Points : 14
Envoyer un message via MSN à jam92400
Merci pour tous tes effort Mustapha

la solution est trop complexe j'ai donc laissé tomber et je me suis sur Pentaho qui est un autre ETL et tout fonctionne niquel avec lui

Merci encore
jam92400 est déconnecté   Envoyer un message privé Réponse avec citation 00
Réponse Proposer ce sujet en actualité
Outils de la discussion



Fuseau horaire GMT +2. Il est actuellement 00h49.


 
 
 
 
Partenaires

Hébergement Web