Discussion :

[new.proger]

Salut a tous,

j'ai un probleme, un truc comme 1.000.000.000 de lignes.
je parse plusieurs fichiers texte en C# puis via LINQ je me branche sur ma table et je met en base.

Aucun probleme si ce n'est la vitesse de mise en base, je suis sqlserver 2005 et la vitesse est de 20000 ligne par seconde en mise en base en moyenne.
trouvé vous ca peu ou pas, car a cette vitesse ca va être affreux.

Ma table possede une quinzaine de colonne, et les données sont en majorité des Bigint et des varchar(20).

Merci de vos avis.

[ylarvor]

SSIS: SQL 2008 Benchmarks
Load 1TB of data in less than 30 minutes using ETL tools
32-proc (64-core) server [ES7000]
World record for ETL load performance

Avec un serveur puissant et ssis, tu peux obtenir de trés bons temps de chargement.

[SQLpro]

Comencez par faire ceci sur votre serveur :
1) créez une base de données avec de multiples fichiers de données répartis sur plusieurs disques PHYSIQUE !
2) créez tous vos fichiers (données et journal) de taille fixe avec un volume estimé sur la taille de la base à terme (par exemple 200 Go de fichiers). On peut estimer la taille du JT comme étant entre 25 et 33 % de la taille de la base
3) pour le journal préférez un sous système RAID 0+1 ou RAID 10, cela divise par deux les temps d'insertion des transactions
4) au moment de l'insertion des données passez en mode de journalisation "simple"
5) découpez votre insertion de fichier en différents lots transactionnels (si vous utilisez la commande BULK INSERT ou le bcp, vous pouvez faire cela par nombre de ligne, nombre de lots ou taille de bloc. M'est avis qu'un bloc size de 64 Ko c'est le top).
6) désactivez temporairement les index non sémantiques le temps de l'insertion (ALTER INDEX ... DISABLE / ALTER INDEX REBUILD).
lisez l'article que j'ai écrit à ce sujet : http://sqlpro.developpez.com/cours/s...ivation-index/

Cela devrait diviser par un facteur 4 à 20 la durée de votre insertion.

Enfin, si cela ne suffit pas... contactez moi !

A +