Discussion :

[wwwstephane]

Salut ,voici mon probleme

je developpe une application sous dotnet 2005 avec c#
dans laquelle je dois lire de gros volume de donnees et charger dans une base de donnees sous sql serveur.le probleme est que le chargement est extrement lent.j`ai donc opter pour la lecture a partir du DTS de sql serveur la ont quitte des heures aux secondes le probleme est que sur des milliers de lignes il existe quelques lignes mals formatees (nombre de colonne en plus ) parceque le separateur sense separer les colonnes du fichier est utilise dans l`information de certaines colonnes.donc je ne peux poursuivre avec cette option.

je cherche donc une facon de coder pour resoudre ce probleme ou un outils optimiser pour cela.

Merci

[ylarvor]

vous pouvez peut être écrire une petite application c# qui formatte correctement le fichier txt. Vous écrivez alors un bat qui execute votre moulinette en amont du DTS...

[SQLpro]

Laissez tomber DTS et passez à SSIS.

Procédez à l'aide d'une table tampon :
1) insertion des lignes du fichier dans une table tampon avec colonnes "libre" (toutes en VARCHAR, y compris, dates, numériques...) et aucune contrainte (sauf clef autoinc)
2) corrigez vos données abérantes par des requêtes SQL encapsulées dans une procédure stockée
3) une fois nettoyez procédez à l'alimentation de la table de destination par un INSERT INTO ... SELECT ...

Cela s'appelle un ELT.

A +