Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Futur Membre du Club
    Diminuer le temps de chargement Dataset - BDD sous Datastage PX
    Bonjour,

    J’ai fait un Job sous Datastage PX qui est composé d'un dataset et d'un connecteur ODBC vers une base SQL server.

    Mon souci, c'est que j'ai une volumétrie très importante (20 millions de lignes), par conséquent le job met beaucoup de temps. ( 1 heure et demi)

    Pour info, je ne fais aucune transformation.

    Auriez-vous des idées pour améliorer le temps de chargement ?

    Merci par avance pour vos réponses.

    Cordialement,

  2. #2
    Futur Membre du Club
    ça ne marche tojours pas
    Quelqu’un à une idée?

    Moi entre temps j'ai essayé avec le composant RedBrick Load, ça marche mais ça n'a pas révolutionné mon job. Ça donne toujours a peut près les mêmes performances

  3. #3
    Modérateur

    Salut,
    Ça depend de beaucoup de paramètres :
    1- ta configuration, .APT, le nombre de nœuds.
    2- quelle technique utilises-tu ? Insert ou bulk load?
    3- ta table a t'elle des indexes ?
    ...
    N'oubliez pas de consulter les FAQ SAS et les cours et tutoriels SAS
    N'oubliez pas de mettre votre message à si la solution donnée résout votre problème

  4. #4
    Futur Membre du Club
    Bonjour et merci pour ta réponse.

    1) Deux nœuds

    2) Truncate then Insert

    Mon job est formé d'un Dataset et d'un connecteur ODBC ( donc que deux composants, pas de transformation)
    J’ai essayé avec le bulk load, j'ai à peu près les mêmes performances, le temps n'a pas diminué de beaucoup.

    3) La table n'est pas indexée

  5. #5
    Futur Membre du Club
    j'ai trouvé et ça marche très bien .

    Merci quand meme pour votre aide.

  6. #6
    Candidat au Club
    Bonjour. Je vois que le sujet a deux ans mais bon .... Je voudrais savoir comment tu as fait pour diminuer le temps de chargement.

    Cordialement.

    Citation Envoyé par devdataaa Voir le message
    j'ai trouvé et ça marche très bien .

    Merci quand meme pour votre aide.