Import CSV ou XML dans SQLITE

**IPreferCSharp** · 13/10/2013, 22h47

Hello !

Depuis mon appli je doit envoyer des fichiers CSV dans ma base de données (ou XML , mais ce dernier pose quelques problème , j'utilise SQLITE manager, mais j'ai pas l'option Import XML mais mon menu d'import )

Je doit préciser pas mal de paramètres :

Dans le cas du CSV :

-Première rangée contient nom des colonnes
-CHAMPS séparé par ';'
-CHAMP LIMITé par 'AUCUN'
-Mettre tout en INT

je ne sais pas du tout comment mettre ça en oeuvre

Quelqu’un a déjà fait quelque chose de similaire ? ou aurai une idée ?

Merci d'avance

**DotNetMatt** · 14/10/2013, 10h33

Pas la peine de réinventer la roue, il existe déjà des librairies qui te permettent de lire du CSV. Par exemple Reading and Writing CSV Files in C#. Une simple recherche sur Google t'en donnera plein d'autres

**IPreferCSharp** · 14/10/2013, 11h10

Merci de ta réponse,
Entre temps je suis passer sur une solution de XML, le format CSV générer un bug sur certain nombre dans son format, j'avais pas trop envie de m'embêter avec ça donc du coup je pense faire avec du XML, le problème c'est que chaque fichier importé doit être une nouvelle table et c'est cette partie la sur quoi je bloque , mais je continu mes recherches sur le web

**tomlev** · 14/10/2013, 11h12

Envoyé par DotNetMatt

Pas la peine de réinventer la roue, il existe déjà des librairies qui te permettent de lire du CSV. Par exemple Reading and Writing CSV Files in C#. Une simple recherche sur Google t'en donnera plein d'autres

En fait en VB.NET il y a déjà TextFieldParser... même pas besoin d'une lib externe

**DotNetMatt** · 14/10/2013, 11h16

Ah merci pour l'info tomlev, je ne connaissais pas ^^

**IPreferCSharp** · 15/10/2013, 08h18

Je suis en train d'essayer d'importé mes données en XML dans ma BDD

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
Dim xmldoc As XmlDocument = New XmlDocument
        xmldoc.Load("test2.XML")
 
 
        Dim table As XmlNodeList
 
        Dim Colonne2 As XmlNodeList
        Dim Colonne 3As XmlNodeList
        Dim Colonne4 As XmlNodeList
        Dim Colonne5 As XmlNodeList
        Dim Colonne7
 
 As XmlNodeList
        Dim Colonne6 As XmlNodeList
 
 
        table = xmldoc.DocumentElement.GetElementsByTagName("Table")
        Colonne2= xmldoc.DocumentElement.GetElementsByTagName("Colonne7")
        Colonne3= xmldoc.DocumentElement.GetElementsByTagName("Colonne6")
        Colonne4= xmldoc.DocumentElement.GetElementsByTagName("Colonne5")
        Colonne5= xmldoc.DocumentElement.GetElementsByTagName("Colonne4")
        Colonne6 = xmldoc.DocumentElement.GetElementsByTagName("Colonne3")
        Colonne7= xmldoc.DocumentElement.GetElementsByTagName("Colonne2")
 
 
 
        Dim requeteTable As String
        requeteTable = "CREATE  TABLE main.testeae (Colonne2, Colonne13, Colonne4, Colonne5, Colonne6, Colonne7 )"
        Test(requeteTable)
 
        Dim requeteInsert As String
        requeteInsert = "INSERT INTO Colonne1 VALUE XXX"

Mais je ne peu pas insérer ce genre de format , en quoi je devrai le transformer ?

**tomlev** · 15/10/2013, 10h51

Bah il faut extraire les valeurs des éléments XML, et les utiliser dans ta requête... Là tu récupères des objets XmlNodeList, il faut prendre le 1e élément de cette liste et récupérer sa valeur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Dim Colonne1 = xmldoc.DocumentElement.GetElementsByTagName("Colonne1")(0).NodeValue

Au fait, c'est normal que les numéros dans les noms de tes variables ColonneX ne correspondent pas à ceux des éléments XML que tu cherches ?

Soit dit en passant, ce serait beaucoup plus facile de lire le fichier avec Linq to XML...

**IPreferCSharp** · 15/10/2013, 12h12

Merci pour cette réponse
yep j'ai changer les noms des " colonnes" a la va vite avant de poster ce matin

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Dim Colonne1 = xmldoc.DocumentElement.GetElementsByTagName("Colonne1")(0).NodeValue

en partant du principe que je doit récupérer les 10 éléments de la liste , je doit faire ça 10 fois, ou faire un foreach ?

Je n'ai jamais utiliser Linq , je pense que je vais regarder un petit peu comment ça marche

PS: je viens d'essayer ton code , NodeValue n'existe pas

**tomlev** · 15/10/2013, 12h21

Envoyé par IPreferCSharp

en partant du principe que je doit récupérer les 10 éléments de la liste , je doit faire ça 10 fois, ou faire un foreach ?

Bah à toi de voir, mais vu que c'est répétitif avec un id qui s'incrémente, un for me semble assez approprié...

Envoyé par IPreferCSharp

PS: je viens d'essayer ton code , NodeValue n'existe pas

Ah oui pardon, j'ai confondu avec une autre API ; en fait c'est Value, pas NodeValue

**IPreferCSharp** · 15/10/2013, 12h28

Je me retrouve encore face au même problème , il est impossible de convertir une valeur de type 'string' en system.XML.XmlNodeList

Pour être honnête je cherche depuis ce matin comment transformer mes XmlNodeList en donnée utilisable dans une requête SQL

En gros ce que je fait pour le moment c'est : je créer une table SQL dans ma BDD sqlite mais la je bloque sur l'import des données des noeuds

**tomlev** · 15/10/2013, 13h32

Envoyé par IPreferCSharp

Je me retrouve encore face au même problème , il est impossible de convertir une valeur de type 'string' en system.XML.XmlNodeList

Parce que tes variables sont déclarées en tant que XmlNodeList... Déclare les en tant que String

**IPreferCSharp** · 15/10/2013, 14h10

Je viens de faire ce que tu m'as dit, donc la plus d'erreur.

Par contre j'ai essaye d'afficher le contenu de ma variable dans une msgbox, ça me met rien :/

Edit : C'est bon j'ai réussit a afficher dans ma msgbox j'ai utilisé InnerText

**tomlev** · 15/10/2013, 14h41

Montre ton code, et le contenu du fichier xml

**IPreferCSharp** · 15/10/2013, 15h03

Merci de ton aide , c'est vraiment sympa

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
<?xml version="1.0" encoding="ISO-8859-1" standalone="yes"?>
<?xml-stylesheet type="text/xsl" href="Répartition appel par poste .xsl"?>
<WINDEV_TABLE>
  <Table>
    <Poste_>112</Poste_>
    <Nbre_appel_total>1255</Nbre_appel_total>
    <Nbre_appel_entrant>1255</Nbre_appel_entrant>
    <Nbre_appel_sortant>0</Nbre_appel_sortant>
    <Durée_totale>4.55</Durée_totale>
    <Durée_moyenne>0.22</Durée_moyenne>
    <SansNom7/>
  </Table>
  <Table>
    <Poste_>113</Poste_>
    <Nbre_appel_total>1270</Nbre_appel_total>
    <Nbre_appel_entrant>1270</Nbre_appel_entrant>
    <Nbre_appel_sortant>0</Nbre_appel_sortant>
    <Durée_totale>4.68</Durée_totale>
    <Durée_moyenne>0.22</Durée_moyenne>
    <SansNom7/>
  </Table>

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
 
Public Function CreatePoste()
 
        Dim xmldoc As XmlDocument = New XmlDocument
        xmldoc.Load("test2.XML")
 
 
        Dim table As String
 
        Dim nbre_Appel_Total As Integer
        Dim poste_ As Integer
        Dim Nbre_appel_entrant As Integer
        Dim Nbre_appel_sortant As Integer
        Dim Durée_totale As 
        Dim Durée_moyenne As Double
 
 
        table = xmldoc.DocumentElement.GetElementsByTagName("Table")(1).InnerText
 
        poste_ = xmldoc.DocumentElement.GetElementsByTagName("Poste_")(1).InnerText
        nbre_Appel_Total = xmldoc.DocumentElement.GetElementsByTagName("Nbre_appel_total")(1).InnerText
        Nbre_appel_entrant = xmldoc.DocumentElement.GetElementsByTagName("Nbre_appel_entrant")(1).InnerText
        Nbre_appel_sortant = xmldoc.DocumentElement.GetElementsByTagName("Nbre_appel_sortant")(1).InnerText
        Durée_totale = xmldoc.DocumentElement.GetElementsByTagName("Durée_totale")(1).InnerText
        Durée_moyenne = xmldoc.DocumentElement.GetElementsByTagName("Durée_moyenne")(1).InnerText
 
 
 
        MsgBox(poste_)
        MsgBox(Nbre_appel_entrant)
        MsgBox(nbre_Appel_Total)
 
 
 
 
        'For Each item As System.Xml.XmlElement In nbre_Appel_Total
        'Dim srt As String
        '  srt = item.InnerText
        '  MsgBox(srt)
        'MsgBox(item.InnerText)
        '  Next
 
 
 
        ' Dim requeteTable As String
        ' requeteTable = "CREATE  TABLE main.testeae (Poste_ , Nbre_appel_total , Nbre_appel_entrant , Nbre_appel_sortant , Durée_totale , Durée_moyenne )"
        ' Test(requeteTable)
 
 
 
 
 
 
 
        'Dim requeteInsert As String
        ' requeteInsert = "INSERT INTO testeae(Nbre_appel_total) VALUES( " + azaz + ")"
        ' Test(requeteInsert)
 
        ' Dim List As New ArrayList
        ' For Each XmlNode In Nbre_appel_entrant
        ' List.Add(XmlNode)
 
 
        ' Next
 
 
 
 
 
 
    End Function

y'as quelques trucs en commentaire c'était des tests
pour ce qui est des requêtes en commentaire , la première est OK , la seconde me sort une erreur que je ne comprend absolument pas , ça me parle de double ...bref

**tomlev** · 15/10/2013, 15h35

Bon, déjà il y a un premier problème dans ton code : il y a plusieurs éléments Table dans le XML, et tu ne gères que le premier... Il faut récupérer tous les éléments Table, et pour chacun, récupérer les données correspondantes.

Je vais le faire avec Linq to XML parce que c'est plus simple, et plus clair :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
    Dim doc = XDocument.Load("D:\tmp\blob.xml")
    Dim tables = doc.<WINDEV_TABLE>.<Table>
    For Each t in tables
        ' Récupération des valeurs
        Dim poste = CInt(t.<Poste_>.Single())
        Dim nbAppelTotal = CInt(t.<Nbre_appel_total>.Single())
        Dim nbAppelEntrant = CInt(t.<Nbre_appel_entrant>.Single())
        Dim nbAppelSortant = CInt(t.<Nbre_appel_sortant>.Single())
        Dim dureeTotale = CDbl(t.<Durée_totale>.Single())
        Dim dureeMoyenne = CDbl(t.<Durée_moyenne>.Single())
 
        ' Insertion des données dans la table
        ...
    Next

Pour l'insertion dans la DB, je n'ai pas les éléments nécessaires pour le faire. C'est quel type de base de données ? SQL Server ? Access ? Autre chose ?

**IPreferCSharp** · 15/10/2013, 15h41

J'utilise une base de donnée SQLITE

**tomlev** · 15/10/2013, 16h07

OK, donc en supposant que tu aies déjà une connexion à la base, tu peux faire quelque chose comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
        Using createTableCommand = connection.CreateCommand()
            createTableCommand.CommandText = "create table stats_postes(poste integer not null, nbAppelTotal integer not null, nbAppelEntrant integer not null, nbAppelSortant integer not null, dureeTotale real not null, dureeMoyenne real not null)"
            createTableCommand.ExecuteNonQuery()
        End Using
 
 
 
        Using command = connection.CreateCommand()
            command.CommandText = "insert into stats_postes(poste, nbAppelTotal, nbAppelEntrant, nbAppelSortant, dureeTotale, dureeMoyenne)" _
                                & "values (@poste, @nbAppelTotal, @nbAppelEntrant, @nbAppelSortant, @dureeTotale, @dureeMoyenne)"
            command.Parameters.Add("@poste", DbType.Int32)
            command.Parameters.Add("@nbAppelTotal", DbType.Int32)
            command.Parameters.Add("@nbAppelEntrant", DbType.Int32)
            command.Parameters.Add("@nbAppelSortant", DbType.Int32)
            command.Parameters.Add("@dureeTotale", DbType.Double)
            command.Parameters.Add("@dureeMoyenne", DbType.Double)
            command.Prepare()
 
            Dim doc = XDocument.Load("D:\tmp\blob.xml")
            Dim tables = doc.<WINDEV_TABLE>.<Table>
 
            For Each t in tables
                ' Récupération des valeurs
                Dim poste = CInt(t.<Poste_>.Single())
                Dim nbAppelTotal = CInt(t.<Nbre_appel_total>.Single())
                Dim nbAppelEntrant = CInt(t.<Nbre_appel_entrant>.Single())
                Dim nbAppelSortant = CInt(t.<Nbre_appel_sortant>.Single())
                Dim dureeTotale = CDbl(t.<Durée_totale>.Single())
                Dim dureeMoyenne = CDbl(t.<Durée_moyenne>.Single())
 
                ' Insertion des données dans la table
                command.Parameters("@poste").Value = poste
                command.Parameters("@nbAppelTotal").Value = nbAppelTotal
                command.Parameters("@nbAppelEntrant").Value = nbAppelEntrant
                command.Parameters("@nbAppelSortant").Value = nbAppelSortant
                command.Parameters("@dureeTotale").Value = dureeTotale
                command.Parameters("@dureeMoyenne").Value = dureeMoyenne
 
                command.ExecuteNonQuery()
            Next
        End Using

Note que je n'ai pas construit la requête en concaténant les valeurs ; il faut absolument éviter ça, car ça pose plein de problème, de format d'une part, et de sécurité d'autre part. A la place, il faut créer une requête paramétrée ; pour chaque ligne à insérée, tu définis les valeurs à insérer, comme dans le code ci-dessus.

**IPreferCSharp** · 15/10/2013, 16h30

Merci beaucoup pour ce travail et pour le temps que tu m'as accorder , je vais tester ça ce soir en rentrant.

**youtpout978** · 15/10/2013, 16h50

La structure de ton xml semble être toujours la même pourquoi ne pas tout simplement déserialisé ton xml dans un objet table par exemple et ensuite créer une méthode pour insérer ton objet table en BDD.

**IPreferCSharp** · 15/10/2013, 21h02

Et me revoilà ! une dernière fois j’espère

Alors j'ai fait ce que tu m'as dit, lorsque je lance mon insertion j'ai une erreur :

Insufficient parameters supplied to the command

Je pense que ça viens de ma manière d'utiliser la requête paramétrée

Import CSV ou XML dans SQLITE

VB.NET

Discussions similaires

Partager

Partager