Discussion :

[killysui]

Bonjour,

Je travaille le framework 2.0, pour une application ASP.net avec le langage c#. J'ai une base de données SQL Server 2005.

L'application doit permettre de charger de centaine de milliers de données tous les jours sur demande.

Actuellement pour charger ces données, l'insertion se faisait 1 à une dans la base des procedure stockées. Pour des dizaine de millier de données le chargement ne posé pas de problème. Or pour inserer environ 300 000 ligne d'enregistrement en base j'ai l'erreur suivante

“Sys.WebForm.PageRequestManagerServerErrorException: An unknown error occurred while processing the request on the server. The status code returned from the server was 12002”

Je suis donc passé par l'enregistrement en bloc via BULK INSERT. Mais l'insertion ne fonctionne pas non plusn j'e dirais même plus que le traitement prend encore plus de temp.

Mais peut être que je m'y prend mal. J'insere chaque ligne d'enregistrment dans un fichier via la fonction :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
public static bool CreateBulkInsertFile(string p_sNameTable,string p_sLigne)
        {
            try
            {
               StreamWriter v_fileBulkInsert = new StreamWriter(CHEMIN+ "//" + p_sNameTable+".txt", true);
 
                //Ajout de la trace dans le fichier Bulk Insert
                v_fileBulkInsert.WriteLine(p_sLigne);
 
                //Fermeture du fichier Bulk Insert
                v_fileBulkInsert.Close();
 
                return true;
            }
            catch(Exception)
            {
                return false;
            }
        }

Il y peut être d'autre solution, ou amelioration de ma façon de faire.

Merci d'avance.

[killysui]

Je devrai peut être, proceder avec de la memoire cache, via des fichiers ou bien des datable... au lie d'ecrire a chaque fois dans des fichiers...

Merci d'avance pour vos réponses. Car la je galère vraiment...

[killysui]

Est-ce que SqlBulkCopy vous dis quelque chose. Et pourrait t-il faire l'affaire.

Merci d'avance.

PS l'insertion n'est plus de l'orde de centaine de millier d'enregistrement mais de dizaine de million d'enregistrement.

[Lyche]

Tu ferais mieux de regarder du coté de SSIS avec la fonction BulkInsert. c'est plus simple à gérer je pense. Ensuite tu intègres ton package sur SSRS de SQL Server et tu créés un job SQL Server Agent qui l'exécute. En terme d'efficacité et de temps de développement tu y gagnes

[killysui]

Oui effectivement, j'ai déjà entendu parler de SSIS.

Mais pour cela il me semble qu'il faille que j'ai déja des fichier type XML. or la création des fichiers déjà prend un temp monstrueux. 100 000 lignes en 12heures dans un fichier or je dois pouvoir insérer un diziane de millions de lignes. Je me demandé donc si l'insertion dans datatables n'est pas plus rapide ue dans un fichier .txt...

qest- que vous avez des connaisse sur la performace entre ecriture fichier ou ecrite database???

[Lyche]

tes fichiers sont sous quel format? pour SSIS tu n'es pas obligé d'être sous xml les csv sont très bien interprétés par SSIS