Discussion :

[yapiti]

Bonjour,

je suis entrain de développé ma première vrais applications sur android et j'ai un petit souci de lenteur. Enfaîte je doit au premier lancement de l'application une certaine liste d'objets récupérer via un web-service (au format Json) et en remplir une table sqlite.

Pour l'instant je télécharge et parse mon json pour le transformer en une liste de 5000 objets (trés rapide ~5s) et l'enregistre en base de donnée (1 table pour tout les champs, 1 tables en fts4 avec id/clef étrangère sur la première et un seul autre champs) ligne par ligne ce qui prend ~7 minutes. Beaucoup trop.

J'avais pensé à un import, mais écrire les données en csv pour après les importé ne me semble pas une bonne idée.

Donc si quelqu'un à des idées d'optimisations je lui en serait reconnaissant.

PS: le téléphone est un SGS2.

[nicroman]

Pas le choix, l'insert se fait ligne par ligne...

Par contre, il faut le faire en batch pour aller plus vite:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
beginTransaction()
for (Element e : listeElements) {
   insertInDB(e);
   ++count;
   if (count % BATCH_SIZE == 0) {
      setTransactionSuccessful();
      endTransaction();
      beginTransaction();
   }
}
setTransactionSuccessful();
endTransaction();

Faire varier BATCH_SIZE pour voir si cela améliore ou non la rapidité.

Sinon cette table est référencée par d'autres tables de la base ?
Si ce n'est pas le cas, peut-être serait-il plus utile de directement renvoyer le fichier sqlite (zippé), et de l'utiliser directement.

[grunk]

Tu peux également essayer de jouer sur le PRAGMA synchronous avant ton insertion :

http://www.sqlite.org/pragma.html#pragma_synchronous

Le passer à 0 améliore très sensiblement la vitesse d'écriture.

[yapiti]

Du coup j'ai essayer mes transactions en batch et le moins que je puisse dire c'est que c'est efficace. En mettant un batch au pif à 50 Je suis tombé à 3.6s pour tout enregistrer .

Si j'ai bien compris avec cette méthode sqlite prépare et garde en mémoire une cinquantaine de lignes (dans mon cas) avant de les écrire dans le fichier, c'est vrais que l’accès mémoire coûte chère..

En tout cas merci pour vos réponse, elles m'ont bien aider. Sujet résolu.


PS: j'irai aussi voir pour le PRAGMA, on est jamais trop rapide