IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement de jobs Discussion :

[TOS 5.4.1] granularité d'insertion, performance et gestion d'erreur


Sujet :

Développement de jobs

  1. #1
    Membre éprouvé Avatar de noOneIsInnocent
    Homme Profil pro
    Inscrit en
    mai 2002
    Messages
    1 037
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : mai 2002
    Messages : 1 037
    Points : 1 158
    Points
    1 158
    Par défaut [TOS 5.4.1] granularité d'insertion, performance et gestion d'erreur
    Bonjour

    Je dois parser un fichier CSV et l’insérer en base de données.
    Jusque là c'est facile. Par contre je voudrais bien savoir comment on gère les erreurs.
    Par exemple admettons que j'ai 500 lignes dans mon fichier. Et supposons que parmi ces lignes il y en quelques une qui échouent lors de l'insertion en base de données.

    Ma question est la suivante:

    Je voudrais savoir comment est-ce que je peux logger les lignes en erreurs et que les autres lignes du fichier (celle qui sont correctes) soient insérées en base ?

    Est-ce qu'il risque d'y avoir un impacte au niveau performance ?
    Merci et bonne journée

  2. #2
    Membre émérite
    Avatar de haskouse
    Homme Profil pro
    Salesforce
    Inscrit en
    août 2009
    Messages
    923
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : Maroc

    Informations professionnelles :
    Activité : Salesforce
    Secteur : Conseil

    Informations forums :
    Inscription : août 2009
    Messages : 923
    Points : 2 684
    Points
    2 684
    Par défaut
    Dans ton composant qui sert à inserer dans la base (par exemple tOracleOutput) il faut décocher l'option "Die on error" (en français, terminer en cas d'erreur). Quand tu feras ça tu pourras avoir en sortie de ce composant un lien de type "rejets".
    "Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant." Mohammed le Messager d’Allah (que la paix et le salut d'Allah soient sur lui)

    Tutoriels Talend
    Mes articles publiés
    Mon CV en-ligne

  3. #3
    Membre éprouvé Avatar de noOneIsInnocent
    Homme Profil pro
    Inscrit en
    mai 2002
    Messages
    1 037
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : mai 2002
    Messages : 1 037
    Points : 1 158
    Points
    1 158
    Par défaut
    Merci pour ta réponse
    Du coup comment tu récupères les lignes qui sont en erreur ? avec le tLogCatcher ?

  4. #4
    Membre émérite
    Avatar de haskouse
    Homme Profil pro
    Salesforce
    Inscrit en
    août 2009
    Messages
    923
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : Maroc

    Informations professionnelles :
    Activité : Salesforce
    Secteur : Conseil

    Informations forums :
    Inscription : août 2009
    Messages : 923
    Points : 2 684
    Points
    2 684
    Par défaut
    tu pourras avoir en sortie de ce composant un lien de type "rejets"
    "Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant." Mohammed le Messager d’Allah (que la paix et le salut d'Allah soient sur lui)

    Tutoriels Talend
    Mes articles publiés
    Mon CV en-ligne

  5. #5
    Membre éprouvé Avatar de noOneIsInnocent
    Homme Profil pro
    Inscrit en
    mai 2002
    Messages
    1 037
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : mai 2002
    Messages : 1 037
    Points : 1 158
    Points
    1 158
    Par défaut
    Désolé je ne vois pas le composant de type rejet dont tu parles

  6. #6
    Membre éprouvé Avatar de noOneIsInnocent
    Homme Profil pro
    Inscrit en
    mai 2002
    Messages
    1 037
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : mai 2002
    Messages : 1 037
    Points : 1 158
    Points
    1 158
    Par défaut
    j'ai trouvé le composant ErrorReject mais je ne sais pas comment distinguer les logs de la console et les logs du tlogRawNom : ErrorReject.png
Affichages : 93
Taille : 18,7 Ko
    J'ai mis le design en pièce jointe
    Merci encore

  7. #7
    Membre éprouvé Avatar de noOneIsInnocent
    Homme Profil pro
    Inscrit en
    mai 2002
    Messages
    1 037
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : mai 2002
    Messages : 1 037
    Points : 1 158
    Points
    1 158
    Par défaut
    Les erreurs que je recherchais à exploiter étaient côté base de données => ErrorReject devait tout simplement être implémenter côté tMySQLoutput

  8. #8
    Membre à l'essai
    Inscrit en
    août 2007
    Messages
    11
    Détails du profil
    Informations forums :
    Inscription : août 2007
    Messages : 11
    Points : 11
    Points
    11
    Par défaut
    En faite, il ne s'agit pas d'un composant. Mais quand tu veux mettre à jour ta table,c'est en cliquant bouton droit de la souris sur le composant de ton tOracleOutput que tu pourra trouver le OnComponentError qui te permettra de récupérer les erreurs.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Réponses: 7
    Dernier message: 20/08/2014, 15h44
  2. [BULK INSERT] & performances
    Par MatthieuQ dans le forum Développement
    Réponses: 4
    Dernier message: 14/10/2009, 15h54
  3. insertion en base toujours en erreur
    Par miketidy dans le forum VB 6 et antérieur
    Réponses: 7
    Dernier message: 22/07/2008, 21h49
  4. Réponses: 6
    Dernier message: 09/06/2006, 13h17
  5. insert into : ou est l'erreur?
    Par ouldfella dans le forum SQL Procédural
    Réponses: 2
    Dernier message: 02/04/2006, 16h46

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo