Discussion :

[Sofute]

Bonjour à tous,

voila dans mon application, je génère une énorme liste de string qui contiennent des urls, que j'utilise pour ensuite lancer des téléchargement d'images. Et j'utilise une asynctask pour effectuer les boucles qui remplissent mon tableau de string.

Pour être plus détaillé, j'essaie de faire un système pour télécharger les images de mapquest pour faire un système de carte hors-ligne.

Actuellement je stocke mes string dans un ArrayList<String> mais lorsque je dépasse les 200000 enregistrement mon application plante et je me retrouve avec un out of memory. Ce n'est pas très surprenant en fait.

Je voulais savoir quel est la best practice pour ce genre de cas?

Merci d'avance et bonne journée

[Hephaistos007]

Stockes tes chaines sous forme de fichiers (bdd, fichiers plats) et ne les charge en mémoire (via ArrayList) que 1000 par 1000 par exemple. Ainsi il n'y en aura que 1000 simultanément en mémoire. Ce principe est appelé LazzyLoading mais tu risques de devoir l'implémenter toi-même.

[grunk]

Ça semblait évident que beaucoup de string dans l'array , ca n'allait pas tenir ...

Plus sérieusement le fait de passer par une bdd va te permettre d'interrompre ton traitement et de le reprendre plus tard de manière très simple. Ça sera un peu plus lent qu'un tableau en mémoire mais au final plus pratique.

[Sofute]

Ça semblait évident que beaucoup de string dans l'array , ca n'allait pas tenir ...

sinon oui, j'avais penser à utiliser une base de donnée effectivement. Je vais réfléchir à la meilleure solution.

Merci du conseil à vous deux

[tchize_]

Autre suggestion, puisque tu "génère" la liste de String, qu'est-ce qui t'empeche de la générer au fur et à mesure que tu progresse dans tes téléchargement?

Parce que si tu fais grosso modo

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
pour i de 1 à 500000
 liste.add(genererURL(i));
pour chaque url de liste faire
  télécharger le fichier

autant directement faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
pour i de 1 à 500000
  télécharger le fichier (genererURL(i))

[Sofute]

Autre suggestion, puisque tu "génère" la liste de String, qu'est-ce qui t'empeche de la générer au fur et à mesure que tu progresse dans tes téléchargement?

Parce que si tu fais grosso modo

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
pour i de 1 à 500000
 liste.add(genererURL(i));
pour chaque url de liste faire
  télécharger le fichier

autant directement faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
pour i de 1 à 500000
  télécharger le fichier (genererURL(i))

oui c'est une option aussi mais j'ai peur que ça ne fasse que d'engorger le téléchargement du coup?

Me trompe-je?

[tchize_]

Ben en quoi le fait de mettre d'abord ça dans une liste désengorgerait le téléchargement?

[Sofute]

Ben en quoi le fait de mettre d'abord ça dans une liste désengorgerait le téléchargement?

j'en sais rien... en fait je suis même pas sur que ma technique de téléchargement soit terrible...

J'utilise une async task pour télécharger genre 200'000 jpeg. Je trouve ça un peu violent. Mais je vois pas comment améliorer les choses.

Des idées??

[Hizin]

Avant ça, il faudra avoir plus d'info sur le contexte.

De base, télécharger autant d'images en "une fois" me semble une folie (hormis certains contexte très particulier).

Le principe serait de télécharger uniquement celles dont tu as besoin, avec un système de cache.

[Sofute]

Autre suggestion, puisque tu "génère" la liste de String, qu'est-ce qui t'empeche de la générer au fur et à mesure que tu progresse dans tes téléchargement?

Parce que si tu fais grosso modo

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
pour i de 1 à 500000
 liste.add(genererURL(i));
pour chaque url de liste faire
  télécharger le fichier

autant directement faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
pour i de 1 à 500000
  télécharger le fichier (genererURL(i))

je viens de tester cette méthode, effectivement ça à l'air de bien fonctionner
Mais je suis encore inquiet à propos des performances pour télécharger autant de fichiers!

[Hizin]

Ah vi, j'avais raté un échange de message sur les tailles tient

Pas vraiment moyen de faire autrement, écran "télécharger pays XXXX" avec recommandation du Wifi (si possible estimation de la taille).
Mettre des contrôles supplémentaires sur la taille dispo sur la SD avant de lancer le téléchargement (éviter les DL inutiles).

Avec tes explications et le contexte, je trouve étonnant tout de même que tu arrives sur une OOM. Je n'ai jamais essayé de DL autant sur mobile, mais ayant utilisé des applications faisant ce genre de DL, ça me surprends. Pourrait-on voir la stacktrace ? Question bête : tu n'utilises pas d'objet Drawable (ou assimilé) pour le DL (je suis quasi sûr que non, sinon ça crasherait bien plus tôt, mais bon) ?

[Sofute]

[...] Avec tes explications et le contexte, je trouve étonnant tout de même que tu arrives sur une OOM.[...]

En fait je l'avais sur un arraylist que je remplissais avec les urls. Mais j'ai changé de méthode, et j'envoie directement les téléchargements maintenant.

Ça à l'air de bien fonctionner. Mais je reste prudent quant au fait que j'utilise la bonne méthode pour télécharger. Ou pas?!

Question bête : tu n'utilises pas d'objet Drawable (ou assimilé) pour le DL (je suis quasi sûr que non, sinon ça crasherait bien plus tôt, mais bon) ?

Non, je fait tout en binaire. Directement enregistrer en fichier sur la sd.

[Hizin]

Je dirai que tu utilises la bonne méthode, et que tu ne peux pas vraiment faire autrement.
Il est nécessaire, dans ce cas, de ne pas passer par des images, uniquement par flux et fichiers.
Après, ça se raffine pour les interruptions de DL intempestives, les DL en parallèles...

Ton éclatement de mémoire devait provenir de la List<String> monstrueuse plus que des DL je pense.

[tchize_]

Attention quand même quand tu dit

j'essaie de faire un système pour télécharger les images de mapquest pour faire un système de carte hors-ligne.

Les conditions d'utilisation de MapQuest te l'interdisent il me semble:

you may not create derivative works of the Materials, use any data mining, robots, or similar data gathering and extraction tools on the Materials, frame any portion of the Materials

[Sofute]

en fait selon le site de mapquest:

Terms of Use

The MapQuest Open Tiles are available for use for free under the following conditions:

If using the MapQuest-OSM tiles, OpenStreetMap must be given credit for the data – see this section of OSM's legal FAQ for details. [...]

source : http://developer.mapquest.com/web/products/open/map

donc c'est bon pour peu qu'on respecte le fait de citer la provenance des images.