Version imprimable
Hello tout le monde,
Sur SSIS, je lis une table de 20millions de lignes dans laquelle de façon parallèle je lui passe trois traitements de mise en qualité de données( grâce au multicast: doublons, manquant et caractères valides) mais c'est très très très long j'y arrive jamais au bout. J'aimerais prendre quelques conseils pour que ce soit rapide svp.
Je vous remercie infiniment :)
Vaness ;)
Bonjour,
Sans la structure de vos tables et index ni la requête générée, difficile de vous aider
Sinon, les performances sont rarement au rendez vous avec les ETL, avez vous essayé d'exécuter vos requêtes directement sans passer par SSIS ?
Bonjour,
Comment effectuez vous vos mise a jour ? Via des lookup ?
Pouvez vous nous fournir la structure de vos tables et les colonnes a mettre a jour avec les colonnes de recherches ?
Avez vous des index sur ces colonnes ?
Comme dit précédement, avez vous tester la même opération en direct via SQL Server via des procédures stockées par exemple si vous voulez continuer a utiliser SSIS comme ordonnaceur
A+
Julien
Globalement pour accélérer les mises à jour les éléments importants sont les suivants :
1) bien dimensionner les espaces de stockage en provisionnant les fichiers pour plusieurs années d'exploitation et en multiplexant les fichiers. But : ne jamais avoir d'opération de croissance en pleine mise à jour et paralléliser les accès physiques aux données tant en lecture qu'en écriture
2) supprimer tout ce qui logiquement va contraindre le traitement, par exemple les déclencheurs inutiles et les index non sémantiques dont les données sont impactés par le traitement
3) découper les mises en jours en plus petits lots, par exemple par fragments de 100 000 lignes afin de minimiser la demande en cache
4) augmenter le cache si nécessaire
5) utilisez au maximum des procédures stockées et faire en sorte que toutes les tables, vues et autres objets soient préfixés par leur schémas SQL, même si c'est toujours dbo.
A +
Merci à tous pour vos réponses :)
Alors pour les doublons je passe par un aggregate je compte par clients le nombre de clients redondant ensuite via un conditional split je rentre dans ma table gestion_des _erreurs les lignes qui sont dupliquées autrement dit si mon nombre de ligne par clients est strictement supérieur à 1.
Ensuite pour les caractères invalides j'utilise le data quality client pour créer mes règles grâce à une regex. Ensuite sur SSIS, je fais le lien avec ma base de connaissances . Je fais de même pour savoir si jai des valeurs manquantes je crée une regle dans ma base de connaissance grace à data quality client. Le but en fait est de mettre dans une ta gestion_des _erreurs les lignes des clients qui présentent des valeurs manquantes ou/et caractères invalides ou/et doublons. Je n'ai pas du tout crée d'index. Le but est d'optimiser les temps de traitement en utilisant SSIS.
Je vous remercie :)
Vaness ;)Pièce jointe 228016
Quand vous lancez votre traitement avez vous déjà analysé coté SQL Server ( via l'activity Monitor ou des traces par exemple ) comment se comporte le moteur ?
Ne pas mettre d'index n'est pas bon non plus ... Vous accedez à des données pour mettre a jour d'autres données situées a des références spécifiques ...
merci pour ta réponse. Euh c'est un peu trop informatique pour moi, je m'y connais pas du tout :(... ou je peux l'observer?
Via votre instance SQL de destination :
Pièce jointe 228027
Pièce jointe 228030
un peu d'aide :
https://msdn.microsoft.com/fr-fr/library/ms175518.aspx
http://www.sqlshack.com/sql-server-activity-monitor/
https://www.youtube.com/watch?v=rKvkcwFo89o
merci encore pour ton aide. voici c quil se passe! je na sais pas trop comment l'interepréter...
Ya trois process qui tournent puis un puis deux puis un ça change tout le temps...
Vaness ;)Pièce jointe 228033
dans recent expensive query sur la base destinatrice qu'est ce qu'il y a ?
Utilisez une expression régulière est généralement TRES TRES TRES contre performant. Quel est la justification sémantique de l'utilisation de ce REGEX ?
Nous pouvons peut être vous aider pour faire autrement...
A +
je voudrais mettre dans une table les id des personnes dont le nom ou le prenom contiennent des caractères hors lettres et "-" .... en optimisant tout ça . Comment fairre du coup?
Merci
Vaness;)
Un simple LIKE suffit :
A +Code:NOM LIKE REPLICATE('[a-z-]', LEN(NOM)) COLLATE French_CI_AI
