IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

SSIS Discussion :

Chargement grosse volumétrie de données SSIS


Sujet :

SSIS

  1. #1
    Membre à l'essai
    Femme Profil pro
    Inscrit en
    Juin 2012
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Rhône (Rhône Alpes)

    Informations forums :
    Inscription : Juin 2012
    Messages : 25
    Points : 19
    Points
    19
    Par défaut Chargement grosse volumétrie de données SSIS
    Bonjour,

    J'utilise SSIS pour charger une grosse volumétrie de données (environs 350 000 000 lignes).
    Ma source est ado.net (src : sql command teradata) et ma destination est un OLE DB (sql managent).
    J'ai mis mon chargement en "fast load" pour optimiser le temps de chargement mais il met encore trop longtemps (+de 17 heures)
    Auriez-vous des solutions pour charger une telle volumétrie en optimisant le temps de chargement.

    Merci d'avance pour votre aide.

  2. #2
    Membre habitué
    Homme Profil pro
    Inscrit en
    Juin 2006
    Messages
    101
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine et Marne (Île de France)

    Informations forums :
    Inscription : Juin 2006
    Messages : 101
    Points : 187
    Points
    187
    Par défaut
    Bonjour,

    Voici deux articles qui traitent du sujet, à savoir le multithreading afin d'augmenter les performances de chargement.

    https://social.msdn.microsoft.com/Fo...rationservices
    http://www.made2mentor.com/2012/03/m...ssis-dataflow/

    Cdt

  3. #3
    Membre à l'essai
    Femme Profil pro
    Inscrit en
    Juin 2012
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Rhône (Rhône Alpes)

    Informations forums :
    Inscription : Juin 2012
    Messages : 25
    Points : 19
    Points
    19
    Par défaut
    Merci pour votre réponse.
    Ceci accélère le temps d'insertion mais pas le temps d'extraction de la requête depuis teradata

  4. #4
    Membre habitué
    Homme Profil pro
    Inscrit en
    Juin 2006
    Messages
    101
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine et Marne (Île de France)

    Informations forums :
    Inscription : Juin 2006
    Messages : 101
    Points : 187
    Points
    187
    Par défaut
    Bonjour,

    Pour rebondir sur votre problème, j'ai retrouvé ce livre blanc qui présente des indications de configuration concernant le connecteur SSIS pour Teradata.

    http://fr.teradata.com/Resources/Whi...angSelect=true

    En espérant que cela vous soit d'une utilité.

  5. #5
    Membre à l'essai
    Femme Profil pro
    Inscrit en
    Juin 2012
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Rhône (Rhône Alpes)

    Informations forums :
    Inscription : Juin 2012
    Messages : 25
    Points : 19
    Points
    19
    Par défaut
    Merci beaucoup !

Discussions similaires

  1. Grosse base de données et performances
    Par Promeneur dans le forum Optimisations
    Réponses: 26
    Dernier message: 19/05/2012, 11h47
  2. Pb pour import d'une grosse grosse base de données
    Par xave dans le forum Décisions SGBD
    Réponses: 13
    Dernier message: 20/08/2009, 14h32
  3. [Conception] probleme chargement d'une base donnée à un tableau
    Par free01 dans le forum PHP & Base de données
    Réponses: 8
    Dernier message: 27/06/2006, 15h29
  4. [MySQL] Backup d'une grosse base de données (60MB)
    Par MiJack dans le forum PHP & Base de données
    Réponses: 7
    Dernier message: 01/11/2005, 18h22
  5. [Crystal] Performance sur grosses base de données
    Par Nico118 dans le forum SAP Crystal Reports
    Réponses: 5
    Dernier message: 14/11/2003, 15h27

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo