Discussion :

[forsay1]

Bonjour à tous,

J'ai fait un programme qui permet d'exporter vers excel depuis un datagridview. Pour un petit jeu de ligne je n'ai aucun problème mais lorsque j'ai environ 50000 lignes le traitement n'aboutit pas.

Voila le code que j'ai utilisé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
Me.DataGridView1.SelectAll()
 
' Add the selection to the clipboard.
            Clipboard.SetDataObject(Me.DataGridView1.GetClipboardContent())
            wsExcel.PasteSpecial(NoHTMLFormatting:=True)

La partie Clipboard.SetDataObject(Me.DataGridView1.GetClipboardContent()) met déjà un peu de temps mais ça passe encore mais par contre le PasteSpecial lui ne se fait pas.

Comment pourrais-je augmenter la rapidité de traitement ?

Merci par avance pour vos retour.

[ONTAYG]

Bonjour,

Ne serait-il pas plus rapide de faire un pilotage d'Excel pour remplir celui-ci ?

ONTAYG

[forsay1]

Bonjour ONTAYG,

Et bien en principe c'est ce que j'aurai fait, cela dit ce datagridview est remplit de différente manière selon les paramètres. De plus si tu fait allusion à une boucle qui balaye le datagridview pour alimenter chaque cellule d'excel, ceci est beaucoup trop long.

Le copier coller du gridview était pour moi la solution la plus rapide, donc si tu as une autre astuce...

[ONTAYG]

Re,

Désolé, je n'avais pas d'autres solutions, mais vu que tu as testé en pilotant Excel, je ne sais pas quoi dire d'autre. Désolé

[m4k-Hurrican]

Bonjour,

Le copier-coller fonctionne "pas trop mal" (quid des données numériques, dates ?) sur de petites quantités de données, mais il est limité par la mémoire et va forcément quand on ajoute la consommation d'Excel, rapidement atteindre la saturation. Ce qui impliquera une utilisation du fichier d'échange, qui même sur un SSD va nettement ralentir le traitement.
La bonne solution, c'est d'utiliser des outils prévus pour.
Il y a l'OpenXML de Microsoft, ou bien OleDB (on lit et écrit dans Excel comme avec une BD).
Personnellement j'utilise cette dernière option, pour des imports / exports. C'est rapide, et relativement simple à mettre en œuvre.

[forsay1]

Je comprends bien, mais le transfert depuis un datagridview peut-il se faire rapidement via les méthodes que tu décris ?
Je pose la question car sauf erreur de ma part la récupération des informations depuis le datagridview ne pourra se faire que cellule par cellule ligne par ligne. (a moins qu'il y ait une autre astuce) et la sur un jeu de données volumineux c'est plutôt lent. j'avais une fois tenté de cocher environ 10000 lignes via une boucle dans un datagridview et c’était très long.

J'ai opté pour le copier coller car le selectAll était plutôt efficace.

je comprend bien le fonctionnement via oledb mais j'ai en revanche un peu plus de mal a voir comment le mettre en place...
un coup de pouce serait bienvenue...

Pour info j'appelle une procédure stockée dans sql server et je stocke le résultat dans un datagridview...

merci par avance

[m4k-Hurrican]

Cocher 10000 lignes peut être long selon la manière dont tu le traites.
Déjà si tu dois travailler sur des DataGridView "massives", il faut activer le DoubleBuffering pour l'affichage, sinon tu va avoir du mal à défiler les listes. Mais çà ne joue pas ou peu (dans le mauvais sens en plus) sur la vitesse de remplissage.
En revanche pense à masquer la DataGridView (visible false) durant le traitement, tu gagneras vraiment du temps, le système ne gérant plus alors la mise à jour de l'affichage à chaque ajout d'enregistrement.

Pour le remplissage, traite par ligne (row) au lieu de cellule.
Même chose à la lecture (For Each row in DatagridView.rows...).

Mais dans le cas qui nous intéresse, même pas la peine de s'embêter.
Pour un remplissage depuis Excel, c'est très simple avec OleDB. Exemple (loadedFile étant le nom du fichier choisi via un OpenFileDialog) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
        'déclaration du dataset
        Dim dat01 As DataSet
        dat01 = New DataSet
 
        'déclaration et utilisation d'un OLeDBConnection
        Using Conn As OleDbConnection = New OleDbConnection("Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" & Trim(loadedFile) & ";Extended Properties=""Excel 12.0 Xml;HDR=Yes;IMEX=1;CharacterSet=65001;""")
 
            'déclaration du DataAdapter. Notre requête sélectionne toute les cellules de la Feuille 01_COMMERCE
            Using Adap As OleDbDataAdapter = New OleDbDataAdapter("select * from [01_COMMERCE$]", Conn)
                'Chargement du Dataset
                Adap.Fill(dat01)
                'On Binde les données sur le DGV
                dgv_XLS01.DataSource = dat01.Tables(0)
            End Using
        End Using

[forsay1]

Merci pour la réponse mais je crois que ton code fonctionne à l'inverse de ce que je veux faire.

Je ne veux pas remplir un datagridview a partir d'un fichier excel mais plutôt l'inverse.

Alimenter un fichier excel à partir d'un datagridview.

[popo]

Il n'y a pas de secret.
Je n'ai pas pu trouver l'implémentation de GetClipboardContent mais j'imagine qu'il doit également boucler pour remplir le presse-papier.
Sauf qu'il le fait de manière plus efficace.

L'une des méthode les plus efficaces pour réduire le temps que l'utilisateur passe à attendre est de faire paralléliser ce qui peut l'être.
Donc tu peux utiliser plusieurs thread et leur répartir le parcourir de ta grille.

De la même manière avec OpenXML tu peux (en théorie car je ne l'ai jamais testé) paralléliser l'insertion dans Excel

[forsay1]

Sans aucun doute, la parallélisation est efficace, mais dans mon cas, je ne vois pas quoi paralléliser. c'est juste le bouton exporter qui ouvre et copie excel...

Ou alors je peux peut-être essayer d'envoyer directement le résultat de la requête dans excel sans passer par le gridview.... avec par exemple un reader... ca peut etre une solution de contournement mais du coup qui fait faire deux fois le travail de connexion à la bdd ( pour l'affichage dans le gridview et l'autre pour l'export).

[popo]

Certes, tu ne cliques qu'une seule fois sur le bouton.

Mais tu as 10000 lignes à lire dans une grille.
Tu ne vois toujours pas ce que tu peux paralléliser ?

[forsay1]

J'avoue avoir un peu de mal.
Si la lecture de chaque ligne envoie dans excel on ne peut pas le paralelliser.

Je veux bien que tu m'explique.

:-)

[popo]

Le principe est le même qu'avec un copier coller.

Que fait un copier-coller ?
Il copie dans le presse papier (donc en mémoire) pour ensuite coller dans Excel.
Sauf que la mémoire du presse-papier est limitée.

Mais une dizaine de Thread peuvent chacun lire 1000 lignes et les stocker dans un collection avec accès concurrent (recherche sur google).
Tu ne seras limité que par les ressources de la machine.
Attention toutefois au nombre de Thread que tu créée (si pas assez : ça ne va pas être assez efficace, si trop : ton OS va galérer et tu vas perdre le bénéfice de la parallélisation).

[forsay1]

Ok merci pour les précisions...

je vais creuser dans ce sens.