Discussion :

[Yolak]

Bonjour à tous et merci de me lire.
Me voilà confronté à un gros problème décisionnel.

Je dois développer une application de gestion de base de donnée qui comporte plus de 4 millions d'enregistrements (base que je dois créer). Pour l'interface graphique pas de problème mais pour la base c'est autre chose...

Je dispose d'un fichier (format csv ou txt peu importe) que je dois utiliser pour créer ma base.
Comme je développe mon application avec visual studio express 2008, j'avais penser utiliser SQL serveur compact... C'est là que je galère, je ne sais pas du tout comment m'y prendre!
Je veux créer une base qui contient une seule table avec plus de 4 millions d'enregistrements.
J'arrive a créer ma base (avec le contrôle dataset) mais je narrive pas à importer mes données...

Est-ce que SQL server compact est le bon pilote pour mon application ou dois-je plutôt me tourner vers mySQL ou autre (en open source)???

Est-ce que quelqu'un aurait un lien vers un tutoriel (débutant) ???

Merci pour vos réponses...

[tomlev]

SQL Server Compact ne me semble pas un choix très judicieux vu le volume de données... tu devrais plutôt utiliser SQL Server Express (où encore MySQL, PostgreSQL ou autre bdd serveur gratuite)

Pour ce qui est de l'importation des données, ça dépend du format du fichier. Il existe probablement des outils tout faits pour charger des fichiers CSV dans une base SQL Server, mais sinon c'est vraiment pas difficile à faire soi-même.

Par exemple, en supposant que les lignes de ton fichier soient dans ce format :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

"Nom;Prénom;Age"

et que ta table ait la structure suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
-------------
| PERSONNE  |
-------------
| NOM       |
| PRENOM    |  
| AGE       |
-------------

Tu peux faire quelque chose comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Using file As New StreamReader(fileName)
    Using connection As New SqlConnection(connectionString)
        Using command As New SqlCommand("INSERT INTO PERSONNE(NOM, PRENOM, AGE) VALUES (@nom, @prenom, @age)", connection)
            command.Parameters.Add("@nom", DbType.String)
            command.Parameters.Add("@prenom", DbType.String)
            command.Parameters.Add("@age", DbType.Int32)
 
            Dim line As String = file.ReadLine()
            While line IsNot Nothing
                Dim parts() as String = line.Split(";")
                command.Parameters("@nom").Value = parts(0)                
                command.Parameters("@prenom").Value = parts(1)
                command.Parameters("@age").Value = Int32.Parse(parts(2))
                command.ExecuteNonQuery()
                line = file.ReadLine()
            End While
 
        End Using
    End Using
End Using

[Pol63]

pour plus de performances, il est conseillé de ne pas faire une requete par insert
donc par exemple de mettre tous les insert dans un stringbuilder
voir meme de faire un insert avec des union

[mordrhim]

Sinon

pourquoi ne pas construire une TableAdapter sur le fichier de données à renseigner, le remplir en fonction des enregistrements du fichier CSV et utiliser les fonction de mise jour de la base de données par un TableAdapter ?

A y réfléchir, le programme risque d'être tres gourmand en mémoire vu les 4G enregistrements.

Mais je ne suis pas sur que faire une insertion dans la base par ligne lue dans le CSV soit plus économique (Connexion à la base, requete, exécution, fermeture de la connexion ...)

Sinon, si tu as seulement besoin de remplir ton fichier de données tu n'es pas obligé d'utiliser VS. Tu as des outils pour insérer des données depuis un *.CSV vers SQL server je crois bien.

[Yolak]

Merci pour toutes ces supers infos, je vais faire un peu de recherche et je revient vous dire...

[xiwox]

Bonsoir

Pour insérer des données dans une base sql à partir d'un fichier, il existe la commande "bcp", c'est la meilleur méthode je pense. Bien sûr il faut que la base et les tables soient crée avant. Pour cela il existe aussi les commandes "isql" ou "osql". Bon ce sont des commandes dos mais ça sert toujours