IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

SSIS Discussion :

Durée de traitement SSIS [2008R2]


Sujet :

SSIS

  1. #1
    Membre habitué
    Inscrit en
    Octobre 2006
    Messages
    316
    Détails du profil
    Informations forums :
    Inscription : Octobre 2006
    Messages : 316
    Points : 146
    Points
    146
    Par défaut Durée de traitement SSIS
    Bonjour à tous,

    Je suis face à une intérogation concernant le temps ou durée d'éxécution SSIS entre 2 serveurs.
    Si j'osai, je pourrai comparer ca à un combat de boxe ou le vainqueur ne serait pas celui qu'on croit..

    Explications :

    J'ai le serveur 1 qui tourne sous Win2003 Server en 32bits + SQL 2005 STD 32Bit + VisualStudio 2005 (IS, AS, RS) en 32bits.
    Chaque nuit, ce serveur intégre et traite des données en 1h30 : 50 fichiers TXT de différentes tailles allant de quelques KB à plusieurs dizaines MB
    RAM SQL Used : 2.4GO

    Puis le serveur 2 qui tourne sous Win2008 R2 en 64bits + SQL 2008R2 STD 64 bits + VisualStudio 2008 (IS, AS, RS) en 64bits.
    Chaque nuit, ce serveur intégre et traite des données en 2h15 (moyenne) : fichiers et volume exactement identiques au serveur 1.
    RAM SQL Used : 50 GO ! (oui je sais, on a été un peu généreux !)

    Pour info : Le serveur 2 a été construit manuellement (pas d'assistant pour migrer les packages et la base de données). La base de données est identique (sauf la version SQL exploitée).

    Ma question :
    Le serveur 2 étant bien plus véloce (en théorie) que le serveur 1, pourquoi se traine t-il ?

    Une piste à exploiter à me confier ?

  2. #2
    Membre confirmé
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    304
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Novembre 2010
    Messages : 304
    Points : 579
    Points
    579
    Par défaut
    Ce serait pas le réseau qui poserait souci ?

    Tes 2 serveurs attaquent les fichiers sur le même disque réseau et ont la même connexion vers ce disque ?

    Sinon il faudrait regarder sur le chargement d'un fichier où se situe le goulot d'étranglement sur le 2ème serveur.

  3. #3
    Membre habitué
    Inscrit en
    Octobre 2006
    Messages
    316
    Détails du profil
    Informations forums :
    Inscription : Octobre 2006
    Messages : 316
    Points : 146
    Points
    146
    Par défaut
    Le réseau n'a aucun effet puisque les fichiers à intégrer son copiés sur les 2 serveurs. Donc, lors de l'intégration SSIS, les fichiers sont bien localement présent dans un répertoire (D:\...).

  4. #4
    Membre confirmé
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    304
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Novembre 2010
    Messages : 304
    Points : 579
    Points
    579
    Par défaut
    Et du coup, même type de disque sur les 2 serveurs ? (tests en lecture et écriture)
    On est sûr qu'il n'y a aucun autre traitement en cours pendant le chargement des fichiers ?
    Et d'ailleurs c'est quoi les config réelles des serveurs en CPU+ram ?


    Il n'y a vraiment que lecture du fichier et écriture dans une base dans le package SSIS ? Si oui, il faut tester avec un seul fichier pour voir si le problème se situe à la lecture du fichier ou à l'écriture dans la base.

  5. #5
    Membre habitué
    Inscrit en
    Octobre 2006
    Messages
    316
    Détails du profil
    Informations forums :
    Inscription : Octobre 2006
    Messages : 316
    Points : 146
    Points
    146
    Par défaut
    Réponses aux questions dans l'ordre ou elles sont posées :

    Oui, les 2 serveurs sont identiques point de vue architecture.
    Pas de traitement en cours, il n'y a que cette intégration qui tourne à ce moment là.

    Config Serveur 1 : 2 CPU Intel Xeon + 56 GB RAM
    Config Serveur 2 : 2 CPU Intel Xeon + 104 GB RAM

    Oui, SSIS ne fait que l'intégration des données dans la base SQL. Si je lance une seule intégration via le projet Visual Studio, cela va assez vite (temps tout à fait normal).

  6. #6
    Membre confirmé
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    304
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Novembre 2010
    Messages : 304
    Points : 579
    Points
    579
    Par défaut
    Tu les lances comment les packages ? par job ? T'as pas l'option d'exécution en 32 bits cochée sur ton deuxième ?

    Sinon les bases de destinations sont exactement les mêmes ? Y a pas des index qui trainent ?

  7. #7
    Membre habitué
    Inscrit en
    Octobre 2006
    Messages
    316
    Détails du profil
    Informations forums :
    Inscription : Octobre 2006
    Messages : 316
    Points : 146
    Points
    146
    Par défaut
    Les packages sont lancés par un SSIS "master" qui héberge des variables, histoire de gérer les connexions entre les différents environnements de DEV, RE7 et de production. Donc c'est un package qui lance tous les autres suivant si le fichier TXT est présent (ou en attente de traitement) ou non.
    Chaque package a été ouvert dans VS2008 pour que l'assistant puis le modifier et le passer en version VS2008. Du coup, c'est vrai que je n'ai pas vérifier s'ils sont éxécutés en 32 ou 64 bits. Comment je peux vérifier ca ?

    Concernant la base de données, c'est la même config avec les mêmes index (sauf que SQL est en 64bits).

  8. #8
    Membre confirmé
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    304
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Novembre 2010
    Messages : 304
    Points : 579
    Points
    579
    Par défaut
    Et ton package master SSIS, tu le lances comment ?

  9. #9
    Membre habitué
    Inscrit en
    Octobre 2006
    Messages
    316
    Détails du profil
    Informations forums :
    Inscription : Octobre 2006
    Messages : 316
    Points : 146
    Points
    146
    Par défaut
    via l'agent SQL

  10. #10
    Membre confirmé
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    304
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Novembre 2010
    Messages : 304
    Points : 579
    Points
    579
    Par défaut
    Ok, si tu as défini l'éxécution d'un package dans ton job, il y a un onglet exécution où tu peux sélectionner 32/64bits.
    Si tu as définis une commande dans ton job (typiquement le lancement d'un dtexec), il faut que tu définisses bien le chemin du dtexec en 64bits.

  11. #11
    Membre habitué
    Inscrit en
    Octobre 2006
    Messages
    316
    Détails du profil
    Informations forums :
    Inscription : Octobre 2006
    Messages : 316
    Points : 146
    Points
    146
    Par défaut
    Même si "Use 32 Bit Runtime" n'est pas coché ? Car cette option ne l'est pas.
    Peux tu me donner un exemple de ce qu'il doit être ajouter ?

  12. #12
    Membre confirmé
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    304
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Novembre 2010
    Messages : 304
    Points : 579
    Points
    579
    Par défaut
    Nan c'est bon, si c'est pas coché, c'est exécuté en 64bits

  13. #13
    Membre habitué
    Inscrit en
    Octobre 2006
    Messages
    316
    Détails du profil
    Informations forums :
    Inscription : Octobre 2006
    Messages : 316
    Points : 146
    Points
    146
    Par défaut
    Et je suis sure que c'est SSIS car derrière il y a le calcul du datawarehouse et calcul OLAP qui eux seuls durent environ 10-12 minutes.
    Dés qu'il y a les fichiers TXT à intégrer, ca dure + 2H

  14. #14
    Membre confirmé
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    304
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Novembre 2010
    Messages : 304
    Points : 579
    Points
    579
    Par défaut
    Les packages tu les as refait sur l'environnement 2008 ? vu que tu dis que tu n'as pas utilisé l'assistant d'upgrade.
    Ils ont la même config au niveau des connections manager de tes fichiers ? et au niveau des tailles de buffer et nombre de lignes qui passent ?

    Ton chargement se fait un fichier après l'autre, ou c'est parallélisé ?

  15. #15
    Membre habitué
    Inscrit en
    Octobre 2006
    Messages
    316
    Détails du profil
    Informations forums :
    Inscription : Octobre 2006
    Messages : 316
    Points : 146
    Points
    146
    Par défaut
    J'ai ouvert manuellement chaque package sous VB2008\SSIS et l'assistant les a upgradés en indiquant que la connexion à été mise à jour. J'ai vérifier que cette mise à jour fonctionnait sur chacun d'eux. Un par un les fichiers ont été (en test) intégrés manuellement afin de voir que les données soient bien en base.
    Une fois terminé, j'ai créé la tache planifiée dans l'agent SQL pour que le Master.dtsx soit lancé.
    Je ne sais pas comment vérifier la taille du buffer... Si tu pouvais expliquer..

    Le parallélisme est actif. Je laisse le systeme prendre les fichiers comme il le souhaite.

  16. #16
    Membre confirmé
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    304
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Novembre 2010
    Messages : 304
    Points : 579
    Points
    579
    Par défaut
    ce sont des propriétés dans ton package, mais si tu n'y as pas touché, il n'y a pas de raison qu'elles soient différentes entre tes 2 versions.

    Juste pour être sur d'avoir bien compris :
    Tu as un package par fichier, c'est bien ça ?
    Ton master lance l'ensemble des packages (et ils ne sont pas reliés entre eux) ?

  17. #17
    Membre habitué
    Inscrit en
    Octobre 2006
    Messages
    316
    Détails du profil
    Informations forums :
    Inscription : Octobre 2006
    Messages : 316
    Points : 146
    Points
    146
    Par défaut
    Exact!
    Et le parckage ne se lance que si le TXT conrespondant est présents sur le serveur.

  18. #18
    Membre confirmé
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    304
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Novembre 2010
    Messages : 304
    Points : 579
    Points
    579
    Par défaut
    Tu peux regarder la valeur de la propriété MaxConcurrentExecutables dans ton package master (théoriquement tu devrais avoir -1) et le lancer avec d'autres valeurs (1, 5, 10) pour voir si ça change quelque chose.

  19. #19
    Membre habitué
    Inscrit en
    Octobre 2006
    Messages
    316
    Détails du profil
    Informations forums :
    Inscription : Octobre 2006
    Messages : 316
    Points : 146
    Points
    146
    Par défaut
    Il est effectivement à "-1".
    Je ne vais pas avoir de temps pour faire ce test ce soir.. Donc ce sera pour demain matin.
    Mais il me semble avoir déjà "joué" avec ce paramétre de parallélisation mais sans succès.

  20. #20
    Membre confirmé
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    304
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Novembre 2010
    Messages : 304
    Points : 579
    Points
    579
    Par défaut
    De visu, quand tu lances les packages master sur les 2 serveurs via Visual Studio, ça semble lancer autant de packages en parallèle de chaque côté ?

+ Répondre à la discussion
Cette discussion est résolue.
Page 1 sur 2 12 DernièreDernière

Discussions similaires

  1. [11gR2] Durée de traitement dans une session donnée
    Par ora-2013 dans le forum Oracle
    Réponses: 2
    Dernier message: 27/02/2014, 08h29
  2. [Débutant] Durée de traitement
    Par TheReturnOfMuton dans le forum ASP.NET
    Réponses: 7
    Dernier message: 28/07/2012, 16h45
  3. Durée de traitement d'un incident
    Par Isa-Bella dans le forum Langage SQL
    Réponses: 3
    Dernier message: 01/02/2010, 12h38
  4. [PHPMailer] Problème de durée de traitement
    Par arno_ dans le forum Bibliothèques et frameworks
    Réponses: 1
    Dernier message: 20/04/2007, 17h53
  5. Durée d'un traitement temps réel
    Par Almex dans le forum C
    Réponses: 5
    Dernier message: 29/03/2003, 15h15

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo