SQLite et import csv

**Claythest** · 13/07/2011, 11h17

Bonjour tout le monde,

Ne trouvant de réponse nulle part, j'en appelle à vous...

J'aimerai charger une grosse base de données (quelques centaines de milliers de lignes) afin de la rendre disponible pour mon appli. Ces données, je les ai au format csv, ce qui normalement est le plus performant pour charger une BD.

J'ai donc pensé utiliser la base de données fournie SQLite (classe SQLiteOpenHelper).

Mais voila, quelle est la commande SQL (ou code Java ?) qui me permettrait d'importer ce csv sans devoir lire moi même le fichier et surtout insérer ligne par ligne dans ma table ?

J'ai testé la manière bateau, ouvrir le fichier, le lire ligne par ligne, et insérer ces lignes dans la BD, mais j'en ai pour 20 minutes de calcul ! Il me faut à tout prix optimiser ça !

Avez-vous une idée ?

Merci d'avance pour toute aide ou toute piste !

**Feanorin** · 13/07/2011, 17h05

Bonjour,

Je ne m'y connais pas beaucoup sur le sujet, mais il existe une commande sous sqllite pour importer des fichiers csv.

http://www.sqlite.org/cvstrac/wiki?p=ImportingFiles

**MisterS** · 15/07/2011, 11h50

Bonjour ,

Je suis actuellement sur le même genre de recherche (import CSV / Txt / .db).

Pour le CSV il semblerais que des bibliothèques existe pour simplifier la tache , mais je n'ai pas encore réussi a mettre en place ...

SuperCSV est sur lequel j'ai essayer de faire des essayes ce matin mais ... sans trop de succès (les tutoriaux sont mince et peu clair mais si tu peu trouver a solutionné

)

http://sourceforge.net/projects/supercsv/

http://www.xinotes.org/notes/note/1379/

C'est bien dommage que ce genre de "demande" ne soit pas pris en compte dans les livres tels que "Developpement Android" , et les Formation Video2brain (qui est au passage un passage sur les chapitre du livre ... )

Cordialement ,

**Claythest** · 18/07/2011, 16h55

J'ai finalement opté pour une autre stratégie, à savoir changer de SGBD.
Car le SQLite embarqué dans android, en plus de rendre impossible l'importation CSV, il ne peut pas posséder de tables avec plus de 10 000 lignes... Or dans mon application, j'en ai besoin de 4 fois plus...

Je suis passé sous H2, l'import CSV fonctionne et est relativement plus rapide, et me permet en plus de gérer une BD de la taille qui me convient.

**Feanorin** · 18/07/2011, 17h02

Bonjour,

il ne peut pas posséder de tables avec plus de 10 000 lignes.

Juste par curiosité d'où tires tu cette informations ?
Personnellement il me semblait que la limite était celle imposé par sqlite soit 9223372036854775807.

**MisterS** · 18/07/2011, 17h05

H2 est compatible Android ?

Pour les 10.000lignes il me semble que c'est plus effectivement (je suis sur 38.000enregistrement moi). Après peut être que pour une optimisation de temps il faille mieux en mettre 10.000 c'est possible.

Tu peux nous faire un petit briefing sur H2 au passage, je ne connais pas du tout , mais peu être intéressant.

Cordialement ,

**Claythest** · 18/07/2011, 17h07

Je n'ai pas trouvé de source "fiable", mais j'ai trouvé plusieurs site où certains utilisateurs faisaient référence à cela.

Par exemple :

http://forums.oracle.com/forums/thre...203&tstart=135

http://stackoverflow.com/questions/5...its-in-android

**Claythest** · 18/07/2011, 17h08

Pour H2 et android, vous pouvez aller sur le site officiel de H2 : http://www.h2database.com/html/tutorial.html#android

**Feanorin** · 18/07/2011, 17h24

ben justement dans le premier lien sur le forum oracle il précise bien ensuite la taille maximum de 1048576 soit ici (il la donne):

-DSQLITE_DEFAULT_JOURNAL_SIZE_LIMIT=1048576 \

Sur le deuxième lien il donne comme référence le site de sqllite :

Maximum Number Of Rows In A Table

The theoretical maximum number of rows in a table is 2^64 (18446744073709551616 or about 1.8e+19). This limit is unreachable since the maximum database size of 14 terabytes will be reached first. A 14 terabytes database can hold no more than approximately 1e+13 rows, and then only if there are no indices and if each row contains very little data.

Ce qui semble en effet important

. Mais bon je pense que tu as le temps avant d'exploser la taille de ta bd.

http://www.sqlite.org/limits.html

**Claythest** · 18/07/2011, 17h41

Certes mais ça n'explique pas pourquoi au bout d'un moment, si je remplie ma BD à fond, toutes mes tables se retrouvent vides... Je n'ai pas cherché à trouver la limite exacte, mais ma BD remplie contient environ 50 000 lignes. Si je la rempli un peu, je retrouve bien mes enregistrements, si je la remplie entièrement, je n'ai subitement plus aucun enregistrement dans toutes mes tables...

J'ai donc pensé que c'était lié à cette "soft limitation" qu'ils appellent... même si je ne trouve pas de source officielle parlant de ce problème... (ce qui m'embête, je vous l'accorde...)

**Feanorin** · 18/07/2011, 17h52

Si je la rempli un peu, je retrouve bien mes enregistrements, si je la remplie entièrement, je n'ai subitement plus aucun enregistrement dans toutes mes tables...

Peut être que cela n'est pas forcément dû à un problème de taille de Base de Donnée ...

**Claythest** · 18/07/2011, 17h55

C'est possible en effet, mais je n'ai aucune erreur qui s'affiche dans le DDMS, tout semble se dérouler comme prévu, sauf que ma BD est vide... Peut-être qu'il y avait un problème de mémoire, mais bizarre qu'aucune erreur ne me soit retournée...

De toute façon, je ne peux plus approfondir ce bug étrange maintenant, puisque je suis passé sous H2, et que l'import CSV me satisfait pleinement !

Quoiqu'il en soit, merci pour ton intérêt à mon problème

**Feanorin** · 18/07/2011, 18h02

De toute façon, je ne peux plus approfondir ce bug étrange maintenant, puisque je suis passé sous H2, et que l'import CSV me satisfait pleinement !

Quoiqu'il en soit, merci pour ton intérêt à mon problème

Désolé d'avoir était insistant , c'était juste pour savoir réelement s'il y avait une taille maximum au base de donnée sous android, j'ai vu pas mal de chose la dessus, et jamais une réponse concrète...

**Claythest** · 18/07/2011, 18h07

Je comprends bien, et j'apprécie ta quête d'informations !

Malheureusement je n'en sais guère plus sur le sujet... je pensais avoir trouvé la raison de mon drôle de bug, mais en effet, impossible de trouver l'information claire... et du coup tu as raison, cette limitation semble n'être que rumeur... Cependant, il y a un drôle de truc la dessous, car une BD qui devient vide alors que je la remplie, sans qu'aucun message d'erreur n'intervienne, c'est plus que louche...

**jojo_ol76** · 19/07/2011, 17h16

moi je viens juste de tester cette ligne pour l'import de csv mais cela ne fonctionne pas:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
db.execSQL("CREATE TABLE " + MY_DATABASE_TABLE
					+ " AS SELECT * FROM CSVREAD('/sdcard/file.csv');");

Il m'indique syntax error near '('

**Viish** · 19/07/2011, 17h30

Et si tu essayes avec

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
db.execSQL("CREATE TABLE " + MY_DATABASE_TABLE
					+ " AS SELECT * FROM CSVREAD(\"/sdcard/file.csv\");");

?

SQLite et import csv

Android

Discussions similaires

Partager

Partager