Discussion :

[Sofute]

Bonjour à tous,

voila dans mon application, je génère une énorme liste de string qui contiennent des urls, que j'utilise pour ensuite lancer des téléchargement d'images. Et j'utilise une asynctask pour effectuer les boucles qui remplissent mon tableau de string.

Pour être plus détaillé, j'essaie de faire un système pour télécharger les images de mapquest pour faire un système de carte hors-ligne.

Actuellement je stocke mes string dans un ArrayList<String> mais lorsque je dépasse les 200000 enregistrement mon application plante et je me retrouve avec un out of memory. Ce n'est pas très surprenant en fait.

Je voulais savoir quel est la best practice pour ce genre de cas?

Merci d'avance et bonne journée

[Hephaistos007]

Stockes tes chaines sous forme de fichiers (bdd, fichiers plats) et ne les charge en mémoire (via ArrayList) que 1000 par 1000 par exemple. Ainsi il n'y en aura que 1000 simultanément en mémoire. Ce principe est appelé LazzyLoading mais tu risques de devoir l'implémenter toi-même.

[grunk]

Ça semblait évident que beaucoup de string dans l'array , ca n'allait pas tenir ...

Plus sérieusement le fait de passer par une bdd va te permettre d'interrompre ton traitement et de le reprendre plus tard de manière très simple. Ça sera un peu plus lent qu'un tableau en mémoire mais au final plus pratique.

[Sofute]

Ça semblait évident que beaucoup de string dans l'array , ca n'allait pas tenir ...

sinon oui, j'avais penser à utiliser une base de donnée effectivement. Je vais réfléchir à la meilleure solution.

Merci du conseil à vous deux

[tchize_]

Autre suggestion, puisque tu "génère" la liste de String, qu'est-ce qui t'empeche de la générer au fur et à mesure que tu progresse dans tes téléchargement?

Parce que si tu fais grosso modo

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
pour i de 1 à 500000
 liste.add(genererURL(i));
pour chaque url de liste faire
  télécharger le fichier

autant directement faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
pour i de 1 à 500000
  télécharger le fichier (genererURL(i))

[Sofute]

Autre suggestion, puisque tu "génère" la liste de String, qu'est-ce qui t'empeche de la générer au fur et à mesure que tu progresse dans tes téléchargement?

Parce que si tu fais grosso modo

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
pour i de 1 à 500000
 liste.add(genererURL(i));
pour chaque url de liste faire
  télécharger le fichier

autant directement faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
pour i de 1 à 500000
  télécharger le fichier (genererURL(i))

oui c'est une option aussi mais j'ai peur que ça ne fasse que d'engorger le téléchargement du coup?

Me trompe-je?

[tchize_]

Ben en quoi le fait de mettre d'abord ça dans une liste désengorgerait le téléchargement?

[Sofute]

Ben en quoi le fait de mettre d'abord ça dans une liste désengorgerait le téléchargement?

j'en sais rien... en fait je suis même pas sur que ma technique de téléchargement soit terrible...

J'utilise une async task pour télécharger genre 200'000 jpeg. Je trouve ça un peu violent. Mais je vois pas comment améliorer les choses.

Des idées??

[Hizin]

Avant ça, il faudra avoir plus d'info sur le contexte.

De base, télécharger autant d'images en "une fois" me semble une folie (hormis certains contexte très particulier).

Le principe serait de télécharger uniquement celles dont tu as besoin, avec un système de cache.

[Sofute]

Avant ça, il faudra avoir plus d'info sur le contexte.

De base, télécharger autant d'images en "une fois" me semble une folie (hormis certains contexte très particulier).

Le principe serait de télécharger uniquement celles dont tu as besoin, avec un système de cache.

Alors pour le contexte, l'idée c'est de télécharger les images d'open street map(mapquest en l’occurrence, OSM ne veulent pas qu'on télécharge leurs données directement, ce que je comprend). Ce sont des jpeg de 256*256px qui font environ 10ko.

Pas très lourd mais très nombreux. Car pour chaque niveau de zoom, on double le nombre d'image, c'est exponentiel. C'est images ne sont pas afficher dans l'application, mais copier sur la SD pour être ensuite utilisé comme système de carte hors-ligne.

[tchize_]

200,000*10k, 2G de données. La batterie et le quota 3G vont apprécier

[Sofute]

200,000*10k, 2G de données. La batterie et le quota 3G vont apprécier

Comme tout bon gps, j'annonce qu'il est conseillé d'utiliser le wifi avant de télécharger bla bla bla

[Hizin]

Merci.

[...] lorsque je dépasse les 200000 enregistrement[...]

Ce sont des jpeg de 256*256px qui font environ 10ko.

10 Ko * 200 000 = 2 000 000 Ko
2 M Ko / 1 024 = 1 953, 125 Mo
1 953, 125 Mo / 1024 = 1,91 Go

Es-tu sûr que ce n'est "pas grand chose" ?
Va faire mal au forfait data.

L'optim' que je vois : télécharger normalement les zones visualisées (et potentiellement celles qui leur sont connexes) par l'utilisateur, et uniquement celles-ci. Les autres ne seront pas disponibles en "hors-ligne" (dans ce cas, prévenir l'utilisateur).
C'est ce que te conseillait Hephaistos007 : utiliser du lazy loading (i.e. : charger ce dont on a besoin, et pas plus).

Tu auras potentiellement un problème de cache (prise en compte de la mise à jour d'une image).

[Sofute]

en fait c'est justement lorsqu'un utilisateur va dans un pays étranger et qu'il n'as pas de forfait de roaming ou autre, donc pas de connexion data du tout lorsqu'il utilise l'appli. Du coup, il télécharge la carte du pays dans lequel il est sur le wifi de son hotel.
Pour exemple les 2 go, c'est uniquement pour la suisse. Je me réjouis pas de traiter la Russie

Mais je vais peut-être limité le zoom maximal qu'il peut télécharger, histoire de limiter les dégâts.

[Sofute]

Autre suggestion, puisque tu "génère" la liste de String, qu'est-ce qui t'empeche de la générer au fur et à mesure que tu progresse dans tes téléchargement?

Parce que si tu fais grosso modo

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
pour i de 1 à 500000
 liste.add(genererURL(i));
pour chaque url de liste faire
  télécharger le fichier

autant directement faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
pour i de 1 à 500000
  télécharger le fichier (genererURL(i))

je viens de tester cette méthode, effectivement ça à l'air de bien fonctionner
Mais je suis encore inquiet à propos des performances pour télécharger autant de fichiers!

[Hizin]

Ah vi, j'avais raté un échange de message sur les tailles tient

Pas vraiment moyen de faire autrement, écran "télécharger pays XXXX" avec recommandation du Wifi (si possible estimation de la taille).
Mettre des contrôles supplémentaires sur la taille dispo sur la SD avant de lancer le téléchargement (éviter les DL inutiles).

Avec tes explications et le contexte, je trouve étonnant tout de même que tu arrives sur une OOM. Je n'ai jamais essayé de DL autant sur mobile, mais ayant utilisé des applications faisant ce genre de DL, ça me surprends. Pourrait-on voir la stacktrace ? Question bête : tu n'utilises pas d'objet Drawable (ou assimilé) pour le DL (je suis quasi sûr que non, sinon ça crasherait bien plus tôt, mais bon) ?

[Sofute]

[...] Avec tes explications et le contexte, je trouve étonnant tout de même que tu arrives sur une OOM.[...]

En fait je l'avais sur un arraylist que je remplissais avec les urls. Mais j'ai changé de méthode, et j'envoie directement les téléchargements maintenant.

Ça à l'air de bien fonctionner. Mais je reste prudent quant au fait que j'utilise la bonne méthode pour télécharger. Ou pas?!

Question bête : tu n'utilises pas d'objet Drawable (ou assimilé) pour le DL (je suis quasi sûr que non, sinon ça crasherait bien plus tôt, mais bon) ?

Non, je fait tout en binaire. Directement enregistrer en fichier sur la sd.

[Hizin]

Je dirai que tu utilises la bonne méthode, et que tu ne peux pas vraiment faire autrement.
Il est nécessaire, dans ce cas, de ne pas passer par des images, uniquement par flux et fichiers.
Après, ça se raffine pour les interruptions de DL intempestives, les DL en parallèles...

Ton éclatement de mémoire devait provenir de la List<String> monstrueuse plus que des DL je pense.

[Sofute]

oui complétement la liste était beaucoup trop gourmande.

Merci du coup de main

Résolu!

[tchize_]

Attention quand même quand tu dit

j'essaie de faire un système pour télécharger les images de mapquest pour faire un système de carte hors-ligne.

Les conditions d'utilisation de MapQuest te l'interdisent il me semble:

you may not create derivative works of the Materials, use any data mining, robots, or similar data gathering and extraction tools on the Materials, frame any portion of the Materials