génération d'un ficier csv à partir d'un résultat de requête

Version imprimable

Bonjour ,
J'utilise le code suivant pour générer un fichier CSV à partir du résultat d'une requête.
L'idée est de parcourir le reader et écrire dans le fichier.
est ce que vous avez une idée plus optimale, car pour les fichiers de grandes tailles (49M), ça nécessite beaucoup de temps.
Merci

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
Dim vTab As String
            vTab = vbTab
            Dim sw As StreamWriter
            sw = New StreamWriter(Server.MapPath("./TempReports/263.CSV"), False, System.Text.Encoding.Unicode)
 
            Dim Requete As String = "SELECT ...."
        comm = New OracleCommand(Requete, ConnExcel)
 
            vReader = comm.ExecuteReader
.....
 
      While vReader.Read
                For j = 1 To NombreColonnes - 1
                    If Not IsDBNull(vReader(j)) Then
                        sw.Write(Trim(vReader(j)) & vTab)
                    Else
                        sw.Write("" & vTab)
                    End If
                Next
  End While
  vReader.Close()
 
            sw.Close()
            ConnExcel.Close()
            ConnExcel.Dispose()
            End While

10/08/2011, 13h26
Immobilis

Salut,

Pour quel usage tu exportes en csv? Il existe la sérialisation XML qui est très efficace.

A+
10/08/2011, 13h28
DeveloppeurWeb

Je fais des exports CSV suite à la demande des utilisateurs :)
10/08/2011, 13h30
Immobilis

Il ne faut pas toujours faire ce que les utilisateurs demandent. Jette un oeil ici: http://immobilis.developpez.com/tuto...grace-a-excel/. Qu'en penses-tu?

A+
10/08/2011, 13h34
Immobilis

Maintenant, à ma connaissance, il n'y a pas de fonction d'export en CSV natif. Tu peux regarder ici aussi: http://immobilis.developpez.com/tuto...-api/#LIII-B-2. Dans ce programme, j'ai des fonctions pour faire un csv.

A+
10/08/2011, 13h35
BenoitM

Si tu veux les convaincre faut surtout dire aux utilisateurs qu'ils peuvent ouvrir un fichier xml avec excel
et qu'il y aura une plus grande flexibilité si tu dois ajouter de nouvelles colonnes ;)
10/08/2011, 13h54
DeveloppeurWeb

Est ce qq peut m'aider à créer un fichier XML à partir du résultat de la requête.
Merci
10/08/2011, 13h57
Immobilis

Citation:

Envoyé par DeveloppeurWeb

Est ce qq peut m'aider à créer un fichier XML à partir du résultat de la requête.
Merci

Tu as pas lu le tuto?

EDIT Tu peux aussi regarder ici: http://msdn.microsoft.com/fr-fr/libr....writexml.aspx
10/08/2011, 14h15
DeveloppeurWeb

le faite de passer par datatable revient à ce que j'ai fait, car pour convertir le oracledatareader en datatable , va prendre beaucoup de temps
10/08/2011, 14h19
Immobilis

Citation:

Envoyé par DeveloppeurWeb

le faite de passer par datatable revient à ce que j'ai fait, car pour convertir le oracledatareader en datatable , va prendre beaucoup de temps

Ben non. Utilise la fonction Fill d'un DataAdapter: http://msdn.microsoft.com/fr-fr/libr...ll(VS.80).aspx

A+

EDIT Tu peux aussi jeter un oeil ici: http://rdonfack.developpez.com/tutor...ework-net/#LIV

même chose, puisque ça va prendre du temps

Code:

1
2
3
4
5
6
7
8
9
10
11
Requete = "SELECT " & Valeur_Colonnes & " FROM CHOPE.XIMP_DBQ001 WHERE  NUM_DEM=263"
 
            Dim daAuthors As New OracleDataAdapter(Requete, ConnExcel)
 
            Dim dsSales As New DataSet()
            ' Load data from database
            daAuthors.Fill(dsSales, "Sales")
 
 
            ' Write XML to file
            dsSales.WriteXml(Server.MapPath("./TempReports/263.XML"))

est ce qu'il n y a pas un moyen pour avoir un fichier XML sans passer par des objets comme DATASET?

10/08/2011, 14h47
BenoitM

ben tu crées une classe serializable mais je vois pas pq tu veux pas passer par un dataset

puis bon prendre du temps...
10/08/2011, 14h52
DeveloppeurWeb

Donc, il n y a pas une solution pour avoir un traitement plus rapide que le mien
(lire un datareader et écrire dans un ficher)
10/08/2011, 14h57
BenoitM

on peut difficilement faire plus court...

à part faire l'écriture du fichier par le serveur BD

Peut-être mettre les valeurs dans une variable et faire un seul write.
(mais normalement le write gère un buffer donc même comme ca pas sure que ca va accélérer le traitement)

Et vérifier ce qui rend le traitement long si c'est la requete vérifier qu'il y a un index sur ton No_Demande et si l'éxécution de la requête prend 10 minutes Vouloir optimiser le code .Net va pas changer grand chose
10/08/2011, 16h18
Immobilis

Citation:

Envoyé par DeveloppeurWeb

Donc, il n y a pas une solution pour avoir un traitement plus rapide que le mien
(lire un datareader et écrire dans un ficher)

Le datareader est l'objet le plus rapide pour lire des données. Maintenant, ce serait intéressant de connaître les temps d'exécution dont tu parles. Je me souviens avoir dû créer des fichiers XML de plusieurs 10aines de Mo en quelques dizaines de secondes avec un XmlTextWriter et des SqlDataAdapter. Donc...
11/08/2011, 15h51
DeveloppeurWeb

est ce que tu as un exemple, stp?
11/08/2011, 16h37
Immobilis

Tu peux répondre à ceci avant?

Citation:

Envoyé par Immobilis

Maintenant, ce serait intéressant de connaître les temps d'exécution dont tu parles
18/08/2011, 10h44
DeveloppeurWeb

Enfin,
J'ai résolu mon problème en utilisant FetchSize de OracleCommand et ça a laissé 1 minute au lieu de 5 heures