Discussion :

[Jéjé34]

Bonjour,

Je suis en train de réaliser une application de bus qui lors de son premier lancement parse un fichier JSON via une URL et enregistre toutes les données de celui-ci (lignes, stations, horaires etc.) dans une BD locale SQLite.

Malheureusement, l'écriture en BD prend énormément de temps (environ 2 minutes pour seulement 6 lignes de bus...).
Pour l'instant, j'ai mis ça dans une AsynTask qui s'exécute au premier lancement de l'application, et j'affiche une ProgressBar le temps de son exécution.
Sauf que ce n'est pas très sérieux de faire patienter l'utilisateur 2 minutes, en sachant que je vais rajouter des lignes de bus et que ce temps d'attente va augmenter.

Du coup, est-ce que vous avez une idée de comment je peux faire pour gérer ça ?

La dernière idée que j'ai eu, c'est d'exécuter un service au lancement de l'application qui va récupérer les données, et une fois terminé, on envoie une notification à l'utilisateur pour lui dire qu'il peut utiliser l'application. Au moins entre temps il peut faire ce qu'il veut et n'a pas à patienter.
Qu'en pensez vous? Est-ce que c'est possible de démarrer une application avec un service et sans activité? Ou carrément est-ce qu'il existe mieux comme solution?

Je prends toutes idées et tous conseils! Merci!

[Altak]

Bonjour,

Ce que tu peux faire, c'est d’intégrer une db locale directement dans ton apk.
Génère une première fois ta base donnée et ajoute la dans tes assets. Tu n'as plus qu'a la récupérer a ton premier lancement.
Tu devras ensuite ajouter une date de dernière mis à jour dans ta requête d'update et ne retourner que les entités qui ont été modifié/créé après cette date.

Si tu mets a jour régulièrement ton apk sur le store (en mettant a jour la base de donnée), cela devrait réduire énormément le temps de chargement a la première utilisation.

GL HF

[nicroman]

2 minutes pour 6 lignes de bus me semblent d'entrée exagéré...

Pourrais-tu partager avec nous la structure de la BDD et le code qui va la remplir (en arrière plan) ?

[grunk]

Pour accélérer des insertions la première choses à faire est de les faire au sein d'une transaction, dans certains cas , on gagne déjà un facteur 2.
Si cela n'est pas suffisant tu peux éventuellement jouer sur le pragma synchronous de sqlite qui par défaut est à full : https://www.sqlite.org/pragma.html#pragma_synchronous

Le passer à NORMAL est plutôt sûr, le passer à OFF est en revanche risqué puisque tu prend le risque de corrompre ta base si quelque chose se passe mal.

[Invité]

As-tu vraiment besoin de toutes les données des 6 lignes de bus ?
Le rapatriement des données distante ne se fait qu'une seule fois au lancement de l'application, comme tu les as sur ta bases locale ensuite, pourquoi le refaire a chaque lancement ? Certes, les données peuvent peut-être évoluer sur le serveur distant, mais une ligne de bus, ça n'est pas modifier tout les jours.
Ça me semble étrangement gros 2 minutes pour 6 lignes de bus. Es-tu sûr que se sont les requêtes d'insertion qui te prennent du temps ?
Comment récupères-tu ton JSON ?

[Jéjé34]

Désolé de repasser si tardivement, merci à tous pour vos retours!
J'ai depuis ajouter une transaction qui contient toutes mes insertions et je suis passé de 3 minutes à 30 secondes.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
SQLiteDatabase db = this.dh.getWritableDatabase();
db.beginTransactionNonExclusive();
// insertions
db.setTransactionSuccessful();
db.endTransaction();
db.close();

Ensuite, j'ai remplacé ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
ContentValues values = new ContentValues();
values.put(key, value);
db.insert(table, null, values);

Par l'utilisation de SQLiteStatement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
String sql = "INSERT OR REPLACE INTO " + table + " ( " +  key+ ") VALUES (?)";
SQLiteStatement stmt = db.compileStatement(sql);
stmt.bindString(1, value);
stmt.execute();
stmt.clearBindings();

Ce qui m'a fait passer à 27 secondes.

Enfin, avant chaque insertion, je faisais un test pour vérifier que le tuple n'existait pas dans la table (un genre de getCount). J'ai tout simplement supprimé ce test (possible grâce à l'utilisation de REPLACE dans la requête) et je suis passé à 14 secondes!