Import CSV ou XML dans SQLITE

Version imprimable

13/10/2013, 22h47
IPreferCSharp

Import CSV ou XML dans SQLITE

Hello !

Depuis mon appli je doit envoyer des fichiers CSV dans ma base de données (ou XML , mais ce dernier pose quelques problème , j'utilise SQLITE manager, mais j'ai pas l'option Import XML mais mon menu d'import )

Je doit préciser pas mal de paramètres :

Dans le cas du CSV :

-Première rangée contient nom des colonnes
-CHAMPS séparé par ';'
-CHAMP LIMITé par 'AUCUN'
-Mettre tout en INT

je ne sais pas du tout comment mettre ça en oeuvre

Quelqu’un a déjà fait quelque chose de similaire ? ou aurai une idée ?

Merci d'avance
14/10/2013, 10h33
DotNetMatt

Pas la peine de réinventer la roue, il existe déjà des librairies qui te permettent de lire du CSV. Par exemple Reading and Writing CSV Files in C#. Une simple recherche sur Google t'en donnera plein d'autres ;)
14/10/2013, 11h10
IPreferCSharp

Merci de ta réponse,
Entre temps je suis passer sur une solution de XML, le format CSV générer un bug sur certain nombre dans son format, j'avais pas trop envie de m'embêter avec ça donc du coup je pense faire avec du XML, le problème c'est que chaque fichier importé doit être une nouvelle table et c'est cette partie la sur quoi je bloque , mais je continu mes recherches sur le web
14/10/2013, 11h12
tomlev

Citation:

Envoyé par DotNetMatt

Pas la peine de réinventer la roue, il existe déjà des librairies qui te permettent de lire du CSV. Par exemple Reading and Writing CSV Files in C#. Une simple recherche sur Google t'en donnera plein d'autres ;)

En fait en VB.NET il y a déjà TextFieldParser... même pas besoin d'une lib externe ;)
14/10/2013, 11h16
DotNetMatt

Ah merci pour l'info tomlev, je ne connaissais pas ^^

Je suis en train d'essayer d'importé mes données en XML dans ma BDD

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
Dim xmldoc As XmlDocument = New XmlDocument
        xmldoc.Load("test2.XML")
 
 
        Dim table As XmlNodeList
 
        Dim Colonne2 As XmlNodeList
        Dim Colonne 3As XmlNodeList
        Dim Colonne4 As XmlNodeList
        Dim Colonne5 As XmlNodeList
        Dim Colonne7
 
 As XmlNodeList
        Dim Colonne6 As XmlNodeList
 
 
        table = xmldoc.DocumentElement.GetElementsByTagName("Table")
        Colonne2= xmldoc.DocumentElement.GetElementsByTagName("Colonne7")
        Colonne3= xmldoc.DocumentElement.GetElementsByTagName("Colonne6")
        Colonne4= xmldoc.DocumentElement.GetElementsByTagName("Colonne5")
        Colonne5= xmldoc.DocumentElement.GetElementsByTagName("Colonne4")
        Colonne6 = xmldoc.DocumentElement.GetElementsByTagName("Colonne3")
        Colonne7= xmldoc.DocumentElement.GetElementsByTagName("Colonne2")
 
 
 
        Dim requeteTable As String
        requeteTable = "CREATE  TABLE main.testeae (Colonne2, Colonne13, Colonne4, Colonne5, Colonne6, Colonne7 )"
        Test(requeteTable)
 
        Dim requeteInsert As String
        requeteInsert = "INSERT INTO Colonne1 VALUE XXX"

Mais je ne peu pas insérer ce genre de format , en quoi je devrai le transformer ?

15/10/2013, 10h51
tomlev

Bah il faut extraire les valeurs des éléments XML, et les utiliser dans ta requête... Là tu récupères des objets XmlNodeList, il faut prendre le 1e élément de cette liste et récupérer sa valeur :

Code:

Dim Colonne1 = xmldoc.DocumentElement.GetElementsByTagName("Colonne1")(0).NodeValue

Au fait, c'est normal que les numéros dans les noms de tes variables ColonneX ne correspondent pas à ceux des éléments XML que tu cherches ? :koi:

Soit dit en passant, ce serait beaucoup plus facile de lire le fichier avec Linq to XML...
15/10/2013, 12h12
IPreferCSharp

Merci pour cette réponse
yep j'ai changer les noms des " colonnes" a la va vite avant de poster ce matin :roll:

Code:

Dim Colonne1 = xmldoc.DocumentElement.GetElementsByTagName("Colonne1")(0).NodeValue

en partant du principe que je doit récupérer les 10 éléments de la liste , je doit faire ça 10 fois, ou faire un foreach ?

Je n'ai jamais utiliser Linq , je pense que je vais regarder un petit peu comment ça marche

PS: je viens d'essayer ton code , NodeValue n'existe pas
15/10/2013, 12h21
tomlev

Citation:

Envoyé par IPreferCSharp

en partant du principe que je doit récupérer les 10 éléments de la liste , je doit faire ça 10 fois, ou faire un foreach ?

Bah à toi de voir, mais vu que c'est répétitif avec un id qui s'incrémente, un for me semble assez approprié...

Citation:

Envoyé par IPreferCSharp

PS: je viens d'essayer ton code , NodeValue n'existe pas

Ah oui pardon, j'ai confondu avec une autre API ; en fait c'est Value, pas NodeValue
15/10/2013, 12h28
IPreferCSharp

Je me retrouve encore face au même problème , il est impossible de convertir une valeur de type 'string' en system.XML.XmlNodeList

Pour être honnête je cherche depuis ce matin comment transformer mes XmlNodeList en donnée utilisable dans une requête SQL

En gros ce que je fait pour le moment c'est : je créer une table SQL dans ma BDD sqlite mais la je bloque sur l'import des données des noeuds
15/10/2013, 13h32
tomlev

Citation:

Envoyé par IPreferCSharp

Je me retrouve encore face au même problème , il est impossible de convertir une valeur de type 'string' en system.XML.XmlNodeList

Parce que tes variables sont déclarées en tant que XmlNodeList... Déclare les en tant que String
15/10/2013, 14h10
IPreferCSharp

Je viens de faire ce que tu m'as dit, donc la plus d'erreur.

Par contre j'ai essaye d'afficher le contenu de ma variable dans une msgbox, ça me met rien :/

Edit : C'est bon j'ai réussit a afficher dans ma msgbox j'ai utilisé InnerText
15/10/2013, 14h41
tomlev

Montre ton code, et le contenu du fichier xml

Merci de ton aide , c'est vraiment sympa

Citation:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
<?xml version="1.0" encoding="ISO-8859-1" standalone="yes"?>
<?xml-stylesheet type="text/xsl" href="Répartition appel par poste .xsl"?>
<WINDEV_TABLE>
  <Table>
    <Poste_>112</Poste_>
    <Nbre_appel_total>1255</Nbre_appel_total>
    <Nbre_appel_entrant>1255</Nbre_appel_entrant>
    <Nbre_appel_sortant>0</Nbre_appel_sortant>
    <Durée_totale>4.55</Durée_totale>
    <Durée_moyenne>0.22</Durée_moyenne>
    <SansNom7/>
  </Table>
  <Table>
    <Poste_>113</Poste_>
    <Nbre_appel_total>1270</Nbre_appel_total>
    <Nbre_appel_entrant>1270</Nbre_appel_entrant>
    <Nbre_appel_sortant>0</Nbre_appel_sortant>
    <Durée_totale>4.68</Durée_totale>
    <Durée_moyenne>0.22</Durée_moyenne>
    <SansNom7/>
  </Table>

Citation:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
 
Public Function CreatePoste()
 
        Dim xmldoc As XmlDocument = New XmlDocument
        xmldoc.Load("test2.XML")
 
 
        Dim table As String
 
        Dim nbre_Appel_Total As Integer
        Dim poste_ As Integer
        Dim Nbre_appel_entrant As Integer
        Dim Nbre_appel_sortant As Integer
        Dim Durée_totale As 
        Dim Durée_moyenne As Double
 
 
        table = xmldoc.DocumentElement.GetElementsByTagName("Table")(1).InnerText
 
        poste_ = xmldoc.DocumentElement.GetElementsByTagName("Poste_")(1).InnerText
        nbre_Appel_Total = xmldoc.DocumentElement.GetElementsByTagName("Nbre_appel_total")(1).InnerText
        Nbre_appel_entrant = xmldoc.DocumentElement.GetElementsByTagName("Nbre_appel_entrant")(1).InnerText
        Nbre_appel_sortant = xmldoc.DocumentElement.GetElementsByTagName("Nbre_appel_sortant")(1).InnerText
        Durée_totale = xmldoc.DocumentElement.GetElementsByTagName("Durée_totale")(1).InnerText
        Durée_moyenne = xmldoc.DocumentElement.GetElementsByTagName("Durée_moyenne")(1).InnerText
 
 
 
        MsgBox(poste_)
        MsgBox(Nbre_appel_entrant)
        MsgBox(nbre_Appel_Total)
 
 
 
 
        'For Each item As System.Xml.XmlElement In nbre_Appel_Total
        'Dim srt As String
        '  srt = item.InnerText
        '  MsgBox(srt)
        'MsgBox(item.InnerText)
        '  Next
 
 
 
        ' Dim requeteTable As String
        ' requeteTable = "CREATE  TABLE main.testeae (Poste_ , Nbre_appel_total , Nbre_appel_entrant , Nbre_appel_sortant , Durée_totale , Durée_moyenne )"
        ' Test(requeteTable)
 
 
 
 
 
 
 
        'Dim requeteInsert As String
        ' requeteInsert = "INSERT INTO testeae(Nbre_appel_total) VALUES( " + azaz + ")"
        ' Test(requeteInsert)
 
        ' Dim List As New ArrayList
        ' For Each XmlNode In Nbre_appel_entrant
        ' List.Add(XmlNode)
 
 
        ' Next
 
 
 
 
 
 
    End Function

y'as quelques trucs en commentaire c'était des tests
pour ce qui est des requêtes en commentaire , la première est OK , la seconde me sort une erreur que je ne comprend absolument pas , ça me parle de double ...bref

Bon, déjà il y a un premier problème dans ton code : il y a plusieurs éléments Table dans le XML, et tu ne gères que le premier... Il faut récupérer tous les éléments Table, et pour chacun, récupérer les données correspondantes.

Je vais le faire avec Linq to XML parce que c'est plus simple, et plus clair :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 Dim doc = XDocument.Load("D:\tmp\blob.xml") Dim tables = doc.<WINDEV_TABLE>.<Table> For Each t in tables ' Récupération des valeurs Dim poste = CInt(t.<Poste_>.Single()) Dim nbAppelTotal = CInt(t.<Nbre_appel_total>.Single()) Dim nbAppelEntrant = CInt(t.<Nbre_appel_entrant>.Single()) Dim nbAppelSortant = CInt(t.<Nbre_appel_sortant>.Single()) Dim dureeTotale = CDbl(t.<Durée_totale>.Single()) Dim dureeMoyenne = CDbl(t.<Durée_moyenne>.Single()) ' Insertion des données dans la table ... Next
Pour l'insertion dans la DB, je n'ai pas les éléments nécessaires pour le faire. C'est quel type de base de données ? SQL Server ? Access ? Autre chose ?

15/10/2013, 15h41
IPreferCSharp

J'utilise une base de donnée SQLITE

OK, donc en supposant que tu aies déjà une connexion à la base, tu peux faire quelque chose comme ça :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
        Using createTableCommand = connection.CreateCommand()
            createTableCommand.CommandText = "create table stats_postes(poste integer not null, nbAppelTotal integer not null, nbAppelEntrant integer not null, nbAppelSortant integer not null, dureeTotale real not null, dureeMoyenne real not null)"
            createTableCommand.ExecuteNonQuery()
        End Using
 
 
 
        Using command = connection.CreateCommand()
            command.CommandText = "insert into stats_postes(poste, nbAppelTotal, nbAppelEntrant, nbAppelSortant, dureeTotale, dureeMoyenne)" _
                                & "values (@poste, @nbAppelTotal, @nbAppelEntrant, @nbAppelSortant, @dureeTotale, @dureeMoyenne)"
            command.Parameters.Add("@poste", DbType.Int32)
            command.Parameters.Add("@nbAppelTotal", DbType.Int32)
            command.Parameters.Add("@nbAppelEntrant", DbType.Int32)
            command.Parameters.Add("@nbAppelSortant", DbType.Int32)
            command.Parameters.Add("@dureeTotale", DbType.Double)
            command.Parameters.Add("@dureeMoyenne", DbType.Double)
            command.Prepare()
 
            Dim doc = XDocument.Load("D:\tmp\blob.xml")
            Dim tables = doc.<WINDEV_TABLE>.<Table>
 
            For Each t in tables
                ' Récupération des valeurs
                Dim poste = CInt(t.<Poste_>.Single())
                Dim nbAppelTotal = CInt(t.<Nbre_appel_total>.Single())
                Dim nbAppelEntrant = CInt(t.<Nbre_appel_entrant>.Single())
                Dim nbAppelSortant = CInt(t.<Nbre_appel_sortant>.Single())
                Dim dureeTotale = CDbl(t.<Durée_totale>.Single())
                Dim dureeMoyenne = CDbl(t.<Durée_moyenne>.Single())
 
                ' Insertion des données dans la table
                command.Parameters("@poste").Value = poste
                command.Parameters("@nbAppelTotal").Value = nbAppelTotal
                command.Parameters("@nbAppelEntrant").Value = nbAppelEntrant
                command.Parameters("@nbAppelSortant").Value = nbAppelSortant
                command.Parameters("@dureeTotale").Value = dureeTotale
                command.Parameters("@dureeMoyenne").Value = dureeMoyenne
 
                command.ExecuteNonQuery()
            Next
        End Using

Note que je n'ai pas construit la requête en concaténant les valeurs ; il faut absolument éviter ça, car ça pose plein de problème, de format d'une part, et de sécurité d'autre part. A la place, il faut créer une requête paramétrée ; pour chaque ligne à insérée, tu définis les valeurs à insérer, comme dans le code ci-dessus.

15/10/2013, 16h30
IPreferCSharp

Merci beaucoup pour ce travail et pour le temps que tu m'as accorder , je vais tester ça ce soir en rentrant.
15/10/2013, 16h50
youtpout978

La structure de ton xml semble être toujours la même pourquoi ne pas tout simplement déserialisé ton xml dans un objet table par exemple et ensuite créer une méthode pour insérer ton objet table en BDD.
15/10/2013, 21h02
IPreferCSharp

Et me revoilà ! une dernière fois j’espère

Alors j'ai fait ce que tu m'as dit, lorsque je lance mon insertion j'ai une erreur :

Insufficient parameters supplied to the command

Je pense que ça viens de ma manière d'utiliser la requête paramétrée
16/10/2013, 00h01
tomlev

Citation:

Envoyé par IPreferCSharp

Je pense que ça viens de ma manière d'utiliser la requête paramétrée

Bah c'est possible, mais dans le code que tu as posté là, elle n'est pas du tout utilisée... Montre moi tout le code concerné.

Au fait, le code que je t'ai donné fonctionne, je l'ai testé.
16/10/2013, 12h38
IPreferCSharp

My bad !

ça fonctionne très bien, merci de ton aide !!