Discussion :

[Gobelink]

Bonjour,

J'ai eu un problème de timeout sur une requête dans un dataset (sur un datareader) d'un script d'une tâche de script SSIS. Le problème apparaît lorqu'on exécute la tâche de script (sous VS 2012 via un projet SSIS en mode debug), au moment de l'exécution de la requête du DataReader.

J'ai remarqué que ce problème ne survient plus lorsqu'on fait la manipulation suivante :

- Fermez le package
- Affichez l'explorateur de serveur
- Fermez la connexion correspondante à la requête
- Actualisez la connexion
- Ré-ouvrez le package
- Exécutez la tâche de script

Pour mon cas, ça fonctionne à 100%, je ne sait pas à quoi c'est dû mais ça marche

Si quelqu'un a une explication ^^

[GeekMokona]

Bonjour Gobelink,

Je ne comprend Pas bien ta problématique ce que un time Out sur une requête dans une tache de script si c'est çà pour quoi une tache de script et pas un dataflow ????

Peux-tu nous faire des imprimes écrans de ton Taskflow et nous transmettre le script de ta tache de script ???

[Gobelink]

Bonjour,

J'ai une tâche de script SSIS afin de faire un traitement après une extraction :

- calculer le reste à livrer des commandes

Pour se faire dans mon script SSIS VSTA j'ai un dataset nommé qui comprend les deux tables dont j'ai besoin, les commandes et les livraisons. C'est lors de l'exécution des requétes des tables de mon dataset qu'un timeout a eu lieu.

Depuis j'ai trouvé une autre erreur dans ce script, je fait un premier parcours des livraisons regroupées par commandes pour soustraire des quantités commandées celles qui sont livrées via un deuxième parcours sur mes commandes. Ensuite je fait un deuxième parcours de mes commandes pour remplir d'autres colonnes genre "reste à livrer du mois". J'ai deux procédures distinctes mais j'avais mis le même nom de variable pour le datareader des commandes ici "dtEcheances":

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
dsCarnet.FACTECHEANCESDataTable dtEcheances = new dsCarnet.FACTECHEANCESDataTable();
            dsCarnetTableAdapters.FACTECHEANCESTableAdapter daEcheances = new dsCarnetTableAdapters.FACTECHEANCESTableAdapter();
            daEcheances.Fill(dtEcheances);
 
            dsCarnet.DIMECHEANCES_LIVRAISONSDataTable dtLivraisons = new dsCarnet.DIMECHEANCES_LIVRAISONSDataTable();
            dsCarnetTableAdapters.DIMECHEANCES_LIVRAISONSTableAdapter daLivraisons = new dsCarnetTableAdapters.DIMECHEANCES_LIVRAISONSTableAdapter();
            daLivraisons.Fill(dtLivraisons);

Avant ma modification, la solution que j'ai proposée fonctionne, depuis cette modification je n'ai plus de problèmes de timeout.

[GeekMokona]

Bon tu as aparement résolut ton problème , mais je te conseil TRES Fortement de remplacer ton Script VSTA soit par une requête SQL soit par un DATAFLOW pour de raison de performance ...

Ce type de Script travail de manière non ensembliste (ligne a ligne) ce qui est très couteux hors un package SSIS a pour but principal de travailler sur des ensembles de données (généralement Volumineux).

Ton Script me fait penser à une de mes missions d'optimisation SSIS où la quasi totalité des Packages était composé de Script VSTA que j'ai remplacé soit par de la requête soit par des dataflow le Gain de Temps a été phénoménale de 3H a moins de 1min ....

Donc pitié remplace ce script par une requête ou un data Flow .

[Gobelink]

Bonjour,

Merci du conseil, cependant je parlais d'un tâche de script dans le flux de contrôle et pas d'un composant script d'un data flow (On s'est mal compris peut-être ?)

Je n'interviens pas ligne à ligne puisque je travaille avec des datatables, elles sont plus faciles à manipuler je trouve, après l'avantage du script VSTA c'est de pouvoir utiliser des objets métier pour un traitement complexe. Après je suis pas un expert en BI, en ce qui concerne le temps de traitement je vois mal comment faire en T-SQL ou par un dataflow spécifique pour faire la même chose de manière efficace sans créer une tonne de procédures stockées.... (j'avoue le procédural c'est pas mon truc) .

[GeekMokona]

Bonjour,

Merci du conseil, cependant je parlais d'un tâche de script dans le flux de contrôle et pas d'un composant script d'un data flow (On s'est mal compris peut-être ?)

non on s'est bien compris ! Tous script VSTA que se soit au niveau du flux de control ou d'un Script data flow est a éviter plus que tous ! il vaut mieux ce pencher sur une solution utilisant le moteur ensembliste de la base de donnée.

pour que l'on puisse t'aider pour éliminer ce Script VSTA il nous le faut entier et avec une explication de ce qu'il fait , ainsi que le code DDL des tables enjeux..

[Gobelink]

Ok, la problématique est simple, j'ai deux tables DIMECHEANCES_LIVRAISONS et FACTECHEANCES, je dois soustraire les livraisons des commandes puis affecter des colonnes dans factecheances selon le résultat.

Ci joint le code de la tâche de script :

la classe traitement :
traitement.txt

la classe utils :
Utils.txt

le script main appel juste la procédure Executer().

Je serai pas contre un coup de main effectivement s'il y a moyen de passer par le moteur ensembliste SQL pour raccourcir le temps de traitement (la tâche met à peu près 3 minutes à s'executer), ou par procédure stockées

Merci par avance, si cela ne te suffit pas dis moi :-D

[Gobelink]

J'ai failli oublier, les requêtes des datatable :

FACTECHEANCES :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
 
SELECT        ID_DATE, VBELN_ECH, POSNR_ECH, ETENR_ECH, ETTYP_CDE, AUART_CDE, VRKME_CDE, KPEIN_CDE, NETPR_CDE, GBSTK_CDE, LFGSA_CDE, 
                        LFSTA_CDE, FKART_CDE, BMENG_ECH, WMENG_ECH_ORI, 
						WMENG_ECH_SNLIV, WMENG_ECH_M_SNLIV, WMENG_ECH_SNLIV_BPC, WMENG_ECH_M_SNLIV_BPC,
						WMENG_ECH_EST3112,	WMENG_ECH_EST3112_BPC, 
						WMENG_ECH_TOTAL, WMENG_ECH_TOTAL_BPC,  
						WMENG_ECH, WMENG_ECH_M, WMENG_ECH_M1, WMENG_ECH_M2, WMENG_ECH_M3, 
                        WMENG_ECH_M4, WMENG_ECH_M5, WMENG_ECH_M6, WMENG_ECH_MSUP6, WMENG_ECH_J3112, WMENG_ECH_3112, WMENG_ECH_SUPN1,
						WMENG_ECH_M_BPC, WMENG_ECH_M1_BPC, WMENG_ECH_M2_BPC, WMENG_ECH_M3_BPC, 
                        WMENG_ECH_M4_BPC, WMENG_ECH_M5_BPC, WMENG_ECH_M6_BPC, WMENG_ECH_MSUP6_BPC, WMENG_ECH_J3112_BPC, WMENG_ECH_3112_BPC, WMENG_ECH_SUPN1_BPC,						 
                        MONTANT_ECH, MONTANT_ECH_M, MONTANT_ECH_M1, MONTANT_ECH_M2, MONTANT_ECH_M3, MONTANT_ECH_M4, MONTANT_ECH_M5, 
                        MONTANT_ECH_M6, MONTANT_ECH_MSUP6, MONTANT_ECH_J3112, MONTANT_ECH_3112, MONTANT_ECH_SUPN1, QT_NLIV, QT_NLIV_M, 
						QT_NLIV_BPC, QT_NLIV_M_BPC, MT_NLIV, 
                        MT_NLIV_M, MONTANT_ECH_ORI, MONTANT_ECH_SNLIV, MONTANT_ECH_M_SNLIV, MONTANT_ECH_EST3112, MONTANT_ECH_TOTAL,
						WMENG_ECH_M_UN,
						WMENG_ECH_M1_UN,
						WMENG_ECH_M2_UN,
						WMENG_ECH_M3_UN,
						WMENG_ECH_M4_UN,
						WMENG_ECH_M5_UN,
						WMENG_ECH_M6_UN,
						WMENG_ECH_MSUP6_UN,
						WMENG_ECH_J3112_UN,
						WMENG_ECH_3112_UN,
						WMENG_ECH_SUPN1_UN,
						QTE_NLIV_UN,
						QTE_NLIV_M_UN,
						WMENG_ECH_SNLIV_UN,
						WMENG_ECH_SNLIV_M_UN,
						WMENG_ECH_EST3112_UN,
						WMENG_ECH_TOTAL_UN
FROM            FACTECHEANCES
ORDER BY VBELN_ECH, POSNR_ECH, ETENR_ECH

DIMECHEANCES_LIVRAISONS :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
SELECT        VBELN_ECH, POSNR_ECH, WBSTA_LIV, SUM(QTE_LIV) AS 'QTE_LIV', SUM(QTE_LIV_TRANS) AS 'QTE_LIV_TRANS', SUM(MT_LIV) AS 'MT_LIV', 
                         SUM(MT_LIV_TRANS) AS 'MT_LIV_TRANS'
FROM            DIMECHEANCES_LIVRAISONS
GROUP BY VBELN_ECH, POSNR_ECH, WBSTA_LIV

[GeekMokona]

Ton SGBD c'est Bien SQL Server???

Au fait un Foreach sur un datatable c'est bien traitement a la ligne , Donc je ne trompais pas quand je disait que ce type de SCRIPT était généralement un traitement non ensembliste ..........

[Gobelink]

Oui 2012 pourquoi ?

[Gobelink]

Oui SQL SERVER 2012

[GeekMokona]

Ton Script est remplaçable par 2 data Flow

1 pour le Remplacer SetQuantiteRestanteALivrer() et l'autre pour SetQuantiteMontantParDateDeSortie();

Tes DataTable Fill sont des Data Flow source De Type OLEDB
Tes IF des conditionnal spilt
Tes Calculs sont faisable via le composant Derived column

en Fin de data Flow il faut que tu rajoute un composant OLED DB command pour effectuer ton Update

[Gobelink]

Ok, Merci d'y avoir consacré du temps, je ne connaissais pas les CDC Splitter omg, je te ferai un retour dès que ce sera fait

Merci

[GeekMokona]

J'en ai oublier un Capital pour Récuprer les info de ta table Echéance c'est le Composant LOOKUP

[Gobelink]

Re, je rencontre un petit problème en ce qui concerne mon reliquat, je ne comprends pas comment je peux passer à l'échéance suivante dans mon flux sans changer de ligne de livraison tout en affectant mon reliquat :



Une idée serait la bienvenue

[GeekMokona]

Quel est ta relation entre les échéances et les livraisons

Es ce : une livraison est planifiée par une seul Échéance et une échéance planifie plusieurs livraisons ?

[Gobelink]

C'est une relation plusieurs à plusieurs ....

N Livraisons ==> N Echeances

J'ai essayé de passer par une variable locale mais je ne peux pas l'assignée à chaque passage..

[GeekMokona]

il Faut que tu remplace ton lookup par un merge Join , donc que tu rajoute un OLE DB source pour les Échéances

[Gobelink]

Euh OK, merci pour ta patience, le composant merge join c'est "fusionner" c'est ça ?

Pour mon reliquat a affecter tu as une idée ?

[GeekMokona]

Merge Join c'est joindre est comme ta relation entre tes 2 Tables est type plusieurs à plusieurs cela aura normalement pour effet de multiplier tes lignes de livraison par le nombre d'échéance correspondantes....