IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement de jobs Discussion :

Chargement des données à Mysql avec Talend


Sujet :

Développement de jobs

  1. #1
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut Chargement des données à Mysql avec Talend
    Bonjour;

    Je suis débutante avec talend.

    Ma première manipulation consiste à se connecter à une base de donnée mysql , et charger des données à partir d'un fichier excel.Pour ce , j'ai suivi les étapes suivantes

    1=>création d'un job.
    2=>Création d'un fichier excel(metadata)
    3=>Création d'une connexion à base de donnée Mysql.
    4=>Ajout du composant Tmap.

    Jusqu’à présent tout marche bien.Mais quand je fait exécuter le job j'ai le message suivant:


    émarrage du job Chagemen_ms_tx_power a 10:50 28/11/2011.

    [statistics] connecting to socket on port 3862
    [statistics] connected
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    For input string: "Null"
    [statistics] disconnected
    Job Chagemen_ms_tx_power terminé à 10:50 28/11/2011. [Code sortie=0]

    Et du coût les données ne sont pas insérée au niveau de la base.

    Merci d'avoir votre aide , je suis vraiment bloqué.

  2. #2
    Membre émérite
    Avatar de haskouse
    Homme Profil pro
    Salesforce
    Inscrit en
    Août 2009
    Messages
    923
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : Maroc

    Informations professionnelles :
    Activité : Salesforce
    Secteur : Conseil

    Informations forums :
    Inscription : Août 2009
    Messages : 923
    Points : 2 684
    Points
    2 684
    Par défaut
    Essai de relier ton fichierexcel à un tLogRow tout d'abord pour voir si les données sont bien récupérés depuis le fichier excel.

    Si c'est ok, essai de voir si le nombre de ligne récupéré avec Talend correspond au nombre de ligne du fichier Excel, peut être que tu récupères des lignes vides, si c'est le cas supprime les depuis Excel.
    "Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant." Mohammed le Messager d’Allah (que la paix et le salut d'Allah soient sur lui)

    Tutoriels Talend
    Mes articles publiés
    Mon CV en-ligne

  3. #3
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut
    J'ai fait comme ce que vous m'avez indiqué.Mais j'ai j'ai toujours ce message
    Démarrage du job essaye a 11:59 28/11/2011.

    [statistics] connecting to socket on port 3893
    [statistics] connected
    For input string: "31,75"
    For input string: "90,94"
    For input string: "19,76"
    [statistics] disconnected
    Job essaye terminé à 11:59 28/11/2011. [Code sortie=0]

    Les données("31,75", ....) existe bien au niveau de mon fichier Excel, et au niveau de la base il sont de type double

    Merci d'avoir votre aide.

  4. #4
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut
    Merci d'avoir eu votre aide.

    ça marche.

    J'ai changer juste le type de la colone qui donnais l'erreur (37.12) en string au niveau du chargement du fichier excel.

  5. #5
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut
    Salut.

    Mais j'ai toujours un petit souci au niveau de l'ajout des valeurs (37.12).

    Quand je donne un type string au niveau du chargement du fichier Excel, l’exécution marche à merveille. mais au niveau de la base de donnée j'ai une valeur de 0 pour cette colonne

    Merci d'avoir votre aide.

  6. #6
    Membre émérite
    Avatar de haskouse
    Homme Profil pro
    Salesforce
    Inscrit en
    Août 2009
    Messages
    923
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : Maroc

    Informations professionnelles :
    Activité : Salesforce
    Secteur : Conseil

    Informations forums :
    Inscription : Août 2009
    Messages : 923
    Points : 2 684
    Points
    2 684
    Par défaut
    Salut,

    Comme ta colonne au niveau de la base est de type double, tu as deux choix :

    Soit tu récupères ta colonne depuis Excel comme étant un String puis tu fais une conversion en double avec le tMap.

    Soit tu récupères ta colonne depuis Excel comme étant un Double, dans ce cas, et je pense que c'est de là que viens ton problème, c'est qu'il faut modifier le séparateur de décimal, dans ton Excel c'est la virgule "," alors Talend n'arrive pas à faire la conversion, essai de modifier le séparateur de décimal dans les propriétés de ton tFileInputExcel.

    Bonne chance.

    Si ça ne marche toujours pas, envoi des captures de ton Job, (design global, schéma du Excel, schéma de la base, l'intérieur du tMap)
    "Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant." Mohammed le Messager d’Allah (que la paix et le salut d'Allah soient sur lui)

    Tutoriels Talend
    Mes articles publiés
    Mon CV en-ligne

  7. #7
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut
    En essayant de changer les types des cellules excel,j'ai changer le séparateur "," par un séparateur "." , Lors du chargement je reçoit le message suivant.


    Sortie non générée
    Erreur dans l'aperçu. Des paramètres doivent être modifiés.
    Note
    : Les erreurs d'aperçu sont généralement dûes à un mauvais encodage.
    org.talend.designer.runprocess.shadow.ShadowFilePreview.preview(ShadowFilePreview.java:90)
    org.talend.repository.ui.utils.ShadowProcessHelper.getCsvArray(ShadowProcessHelper.java:385)
    org.talend.repository.ui.wizards.metadata.connection.files.excel.ExcelFileStep2Form$PreviewProcessor.nonUIProcessInThread(ExcelFileStep2Form.java:969)
    org.talend.commons.ui.swt.thread.SWTUIThreadProcessor$1.run(SWTUIThreadProcessor.java:74)

    Merci d'avoir votre aide.

  8. #8
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut
    Je reçoit aussi ce message

    Démarrage du job Job_1 a 16:05 28/11/2011.

    Error occurred during initialization of VM
    Could not reserve enough space for object heap
    Job Job_1 terminé à 16:05 28/11/2011. [Code sortie=1]

    Je suis vraiment perdu

    Merci d'avoir votre aide

  9. #9
    Membre émérite
    Avatar de haskouse
    Homme Profil pro
    Salesforce
    Inscrit en
    Août 2009
    Messages
    923
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : Maroc

    Informations professionnelles :
    Activité : Salesforce
    Secteur : Conseil

    Informations forums :
    Inscription : Août 2009
    Messages : 923
    Points : 2 684
    Points
    2 684
    Par défaut
    Essai de poster les copies d'écran dont je t'ai parlé dans mon ancien post.
    "Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant." Mohammed le Messager d’Allah (que la paix et le salut d'Allah soient sur lui)

    Tutoriels Talend
    Mes articles publiés
    Mon CV en-ligne

  10. #10
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut
    Salam;

    Vous trouverze ci- aprés les capture d'ecran de mon travail.
    ==>Chargement du fihier excel
    [IMG]C:\Documents and Settings\s.bekkali\Mes documents\Mes images\Chargement_Fichier_Excel.jpg
    [/IMG]

    ==>tMAP
    [IMG]C:\Documents and Settings\s.bekkali\Mes documents\Mes images\Tmap.jpg
    [/IMG]

    ==>Job
    Fichier Excel==>Tmap==>Base de donnée

    Les données à partir du fichier excel sont bien chargé, j'arrive à les voir via un Tlogrow, mais qu'on je donne comme sortie la base de données , j'ai l'erreur suivante :Exception in component tMap_2
    java.lang.NullPointerException
    at job_connexion_bd.separateur_0_1.Separateur.tFileInputExcel_3Process(Separateur.java:3478)
    at job_connexion_bd.separateur_0_1.Separateur.runJobInTOS(Separateur.java:3983)
    at job_connexion_bd.separateur_0_1.Separateur.main(Separateur.java:3825)

    Merci d'avoir votre aide.

  11. #11
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut
    Salam;

    J'ai chercher sur pas mal de forum, et j'ai trouvez la solution suivante;
    new Float(row1.mstxpower.replace(',','.')), cette expression je l'ai écrite au niveau de var ==>Expresssion sur Tmap.

    Mais toujours pas de changement.

  12. #12
    Membre émérite
    Avatar de haskouse
    Homme Profil pro
    Salesforce
    Inscrit en
    Août 2009
    Messages
    923
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : Maroc

    Informations professionnelles :
    Activité : Salesforce
    Secteur : Conseil

    Informations forums :
    Inscription : Août 2009
    Messages : 923
    Points : 2 684
    Points
    2 684
    Par défaut
    Les captures d'écrans ne sont pas affichées !
    "Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant." Mohammed le Messager d’Allah (que la paix et le salut d'Allah soient sur lui)

    Tutoriels Talend
    Mes articles publiés
    Mon CV en-ligne

  13. #13
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut
    Je sais pas comment vous joindre tout mon job sur le forum???:S

  14. #14
    Membre émérite
    Avatar de haskouse
    Homme Profil pro
    Salesforce
    Inscrit en
    Août 2009
    Messages
    923
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : Maroc

    Informations professionnelles :
    Activité : Salesforce
    Secteur : Conseil

    Informations forums :
    Inscription : Août 2009
    Messages : 923
    Points : 2 684
    Points
    2 684
    Par défaut
    En attendant que tu postes les captures, il faut savoir que l'exception nullPointerException est peut être dû au fait que tu fais une opération sur un objet null, par exemple tu as un objet toto de type MonObjet null et tu fais toto.MaFonction().

    Essai de repérer le problème au niveau du code JAVA. D'après le log c'est la ligne 3478 de ta classe Separateur.java.
    "Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant." Mohammed le Messager d’Allah (que la paix et le salut d'Allah soient sur lui)

    Tutoriels Talend
    Mes articles publiés
    Mon CV en-ligne

  15. #15
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut
    Salam;
    Avec l'utilisation de cette expression j'ai pas de message d'erreur .Le chargement des données au niveau de la base se fait,mais au niveau de la base de donnée j'ai toujours la valeur 0 pour le champs de type double.

    Cordialement.

  16. #16
    Membre émérite
    Avatar de haskouse
    Homme Profil pro
    Salesforce
    Inscrit en
    Août 2009
    Messages
    923
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : Maroc

    Informations professionnelles :
    Activité : Salesforce
    Secteur : Conseil

    Informations forums :
    Inscription : Août 2009
    Messages : 923
    Points : 2 684
    Points
    2 684
    Par défaut
    Il s'agit sûrement d'un problème de conversion, sans les captures c'est difficile de t'aider.

    Essaie de nous envoyer un exemple de ton Excel ainsi que le schéma de ton MySql .
    "Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant." Mohammed le Messager d’Allah (que la paix et le salut d'Allah soient sur lui)

    Tutoriels Talend
    Mes articles publiés
    Mon CV en-ligne

  17. #17
    Nouveau membre du Club
    Femme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Octobre 2011
    Messages
    46
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2011
    Messages : 46
    Points : 25
    Points
    25
    Par défaut
    Je vous ai envoyer mon job ainsi que mon fichier excel dans une nouvelle discussion.

    Merci d'avoir votre aide.

Discussions similaires

  1. Processus de chargement des données (avec talend)
    Par szoubir dans le forum Développement de jobs
    Réponses: 2
    Dernier message: 27/04/2007, 12h17
  2. Réponses: 1
    Dernier message: 31/01/2007, 11h59
  3. Réponses: 1
    Dernier message: 23/12/2006, 23h39
  4. [AJAX] saisie automatique en rapport avec des données mysql
    Par redwire dans le forum Général JavaScript
    Réponses: 15
    Dernier message: 01/10/2006, 11h45
  5. Réponses: 3
    Dernier message: 19/09/2006, 15h36

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo