Gestion de gros fichiers

Version imprimable

26/06/2012, 10h59
bpy1401

Gestion de gros fichiers

Bonjour à tous.

Ayant acquis dernièrement une tablette samsung android, je me lance dans la programmation sous android.

Mon projet consiste à afficher un arbre généalogique. Pour cela je dois lire des fichiers au format GEDCOM. Sur PC, je sais très bien le faire, j'ai déjà une application java qui me génère une vue graphique de mon arbre dans un fichier PDF.

Sur android, je me suis basé sur les même sources pour lire le gedcom, mais la, dommage cela fonctionne mais uniquement pour les petits fichiers. Et oui la mémoire n'a pas la même taille. Du coup avec les gros fichier (le miens fait 3mb) j'obtiens un out of memory.

Le gedcom est un ficher texte. Quel solution pouvez vous préconiser pour extraire les informations dans ce fichiers.

Moi, j'ai bien penser à indexé toutes les entrées que je souhaite utilisé, (par exemple, numéro de ligne de chaque entrée) et, quand j'en ai besoin de charger, uniquement les infos qui m’intéresse, mais je ne sais pas faire en JAVA.

Ma cible pour le moment est galaxy Samsung V5.0 wifi

merci d'avance pour votre aide.
26/06/2012, 11h29
nicroman

3M ne me semple pas très gros pour un fichier (certaines images sont bien plus grosses que cela)...

Il y a peut-être une memory-leak ? Ou l'utilisation de trop de views ?
26/06/2012, 11h37
bpy1401

Bonjour nicroman.

Merci pour ta réponse.

Comme toi, je pensais que 3 méga serait pas trop gros. mais cela bloque quand même. je n'ai pas écrit le parser de gedcom, il est fournit par les mormons (cela peut paraitre bizard, mais ce sont des pro de la généalogie est outils qui tournent autour), donc il m'est difficile de dire si j'ai des fuites mémoire. le Out of memory intervient pendant le parsing du fichier gedcom, donc proviens de leur libraire.

Pense tu que je vais devoir ré ecrire un parseur de gedcom ?

A+
26/06/2012, 11h52
nicroman

Si le parsing d'un fichier de 3Mo fait un un OutOfMemory, il y a des chances pour qu'il soit clairement à la rue....

Je ne connais absolument pas le format en question, donc difficile d'évaluer, mais même 'inflated', je trouverai hallucinant qu'un fichier de 3Mo produise un OutOfMemory error.....

Les sources de la librairie sont disponibles ?
Quel est le format de sortir de la lib de lecture ? (pour moi c'est juste deux grosses tables de boites et de liens entre ces boites, avec éventuellement une liste de liens dans chaque boite histoire d'aller vite).
26/06/2012, 12h45
bpy1401

bonjour

Les sources sont disponibles ici

le fichier gedcom n'est pas compressé, donc c'est 3mo de données à mémoriser, mais je ne pense pas qu'il a été écrit dans un but d'économiser de la mémoire.

Dans l'exemple qu'ils donnent pour l'utilisation, la sorties sont des tableaux d'objets. Il y a plusieurs tableau (individus, famille, notes, événement, ..;) qui sont eux même constitué d'objets. Je suis convaincu, qu'ils dupliquent les objets pendant les traitements.

je penche de plus en plus à réécrire cette libraire, et ne couvrir que ce qui m’intéresse. dans mon cas, 3mo, c'est un petit fichier contenant 3000 individus, certains fichier en contiennent 40000.

a+ et merci pour ton aide
26/06/2012, 13h31
Hizin

Fais un démon avec la commande Debug.getNativeHeapAllocatedSize().
Tu peux aussi regarder (l'un n'exclue pas l'autre) l'utilisation mémoire via le DDMS (lance l'application, choisi le processus et clic sur l'icône en forme de cylindre vert au-dessus), et va sur l'onglet ... Heap ? Je ne sais plus trop son nom.

Aussi, pourrais-tu mettre l'erreur, histoire de bien confirmer le OOM :)

Bonjour

voici ce que j'ai noté:

Debug.getNativeHeapAllocatedSize() = Au lancement j'ai 3440152 jsute après l'affichage de ma fenetre principal.

Du coté DDMS, j'ai

Heap size: 23.945 MB
Allocated: 22.492 MB
Free: 1.453 MB
% Used: 93.93%
#Objects: 468435

et la copie du log

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
06-26 13:16:08.830: I/dalvikvm-heap(329): Forcing collection of SoftReferences for 2204-byte allocation
06-26 13:16:09.439: I/dalvikvm-heap(329): Clamp target GC heap from 24.988MB to 24.000MB
06-26 13:16:09.439: D/dalvikvm(329): GC_FOR_MALLOC freed 327 objects / 13088 bytes in 612ms
06-26 13:16:10.790: E/dalvikvm-heap(329): Out of memory on a 2204-byte allocation.
06-26 13:16:10.790: I/dalvikvm(329): "main" prio=5 tid=1 RUNNABLE
06-26 13:16:10.800: I/dalvikvm(329):   | group="main" sCount=0 dsCount=0 s=N obj=0x4001d8e0 self=0xccb0
06-26 13:16:10.800: I/dalvikvm(329):   | sysTid=329 nice=0 sched=0/0 cgrp=default handle=-1345026008
06-26 13:16:10.809: I/dalvikvm(329):   | schedstat=( 1304230686257 88479561263 25473 )
06-26 13:16:10.809: I/dalvikvm(329):   at java.lang.AbstractStringBuilder.enlargeBuffer(AbstractStringBuilder.java:~97)
06-26 13:16:10.809: I/dalvikvm(329):   at java.lang.AbstractStringBuilder.append0(AbstractStringBuilder.java:157)
06-26 13:16:10.809: I/dalvikvm(329):   at java.lang.StringBuffer.append(StringBuffer.java:215)
06-26 13:16:10.809: I/dalvikvm(329):   at org.familysearch.gedcomparser.GedcomLine.createTextFromGedcom(GedcomLine.java:762)
06-26 13:16:10.809: I/dalvikvm(329):   at org.familysearch.gedcomparser.GedcomLine.createTextFromGedcom(GedcomLine.java:825)
06-26 13:16:10.809: I/dalvikvm(329):   at org.familysearch.gedcomparser.record.SourceRecord.create(SourceRecord.java:431)
06-26 13:16:10.809: I/dalvikvm(329):   at org.familysearch.gedcomparser.GedcomParser.handleLine(GedcomParser.java:183)
06-26 13:16:10.809: I/dalvikvm(329):   at org.familysearch.gedcomparser.GedcomParser.importGedcomFile(GedcomParser.java:137)
06-26 13:16:10.809: I/dalvikvm(329):   at org.familysearch.gedcomparser.GedcomParser.importGedcomFile(GedcomParser.java:66)
06-26 13:16:10.809: I/dalvikvm(329):   at com.bpy.android.genealog.gedcom.GedcomManager.parseFile(GedcomManager.java:26)
06-26 13:16:10.809: I/dalvikvm(329):   at com.bpy.android.genealog.GenealogActivity.onCreate(GenealogActivity.java:21)
06-26 13:16:10.822: I/dalvikvm(329):   at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1047)
06-26 13:16:10.822: I/dalvikvm(329):   at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:2627)
06-26 13:16:10.822: I/dalvikvm(329):   at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:2679)
06-26 13:16:10.822: I/dalvikvm(329):   at android.app.ActivityThread.access$2300(ActivityThread.java:125)
06-26 13:16:10.822: I/dalvikvm(329):   at android.app.ActivityThread$H.handleMessage(ActivityThread.java:2033)
06-26 13:16:10.822: I/dalvikvm(329):   at android.os.Handler.dispatchMessage(Handler.java:99)
06-26 13:16:10.822: I/dalvikvm(329):   at android.os.Looper.loop(Looper.java:123)
06-26 13:16:10.829: I/dalvikvm(329):   at android.app.ActivityThread.main(ActivityThread.java:4627)
06-26 13:16:10.829: I/dalvikvm(329):   at java.lang.reflect.Method.invokeNative(Native Method)
06-26 13:16:10.840: I/dalvikvm(329):   at java.lang.reflect.Method.invoke(Method.java:521)
06-26 13:16:10.840: I/dalvikvm(329):   at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:868)
06-26 13:16:10.840: I/dalvikvm(329):   at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:626)
06-26 13:16:10.840: I/dalvikvm(329):   at dalvik.system.NativeStart.main(Native Method)

26/06/2012, 15h31
Hizin

Merci.

Ah tiens, 24 Mo. Quel est ton terminal de test, si ce n'est pas indiscret ? C'est la première fois que je vois une limite aussi basse.

OOM confirmée, pour le coup. Là, je ne pense pas qu'il soit possible de faire autrement que de faire son propre parseur pour lire ce format (en espérant que celui-ci soit facilement compréhensible ...).
J'aurai aussi l'idée du code compilée via NDK ... mais je ne sais absolument pas si ça pourrait apporter quelque chose ici.
26/06/2012, 15h42
bpy1401

merci pour ta réponse

Comme toi, je pense que je vais écrire mon propre parseur. Comme je n'ai pas besoin d'implémenter toute le norme, il va être plus simple et moins gourmand en mémoire.

Voici ma target:

CPU/ABI: ARM
target : Galaxy tab Addon (API level 8)
Skin galaxy tab
J'ai défini une Sdcard de 2 GO

J'ai pris celle ci car j'ai un Samsung galaxy 5.0 wifi. C'est la même version d'android. Pour le moment, je n'ai pas trouver de définir pour ma tablette toute faite. (ecran 800 * 480)
27/06/2012, 01h16
nicroman

Tu peux le créer... de toute pièces ;)
03/07/2012, 13h40
Feanorin

Citation:

Ah tiens, 24 Mo. Quel est ton terminal de test, si ce n'est pas indiscret ? C'est la première fois que je vois une limite aussi basse.

Quand je pense qu'au début on se battait avec 16 Mo .

Si tu veux créer ton propre parser vu la taille de tes données il serait intéressant de se tourner vers le Sax
http://developer.android.com/referen...e-summary.html
Le Sax te permet de parser ne partie du fichier sans lire sa globalité ;).

Après pour le programme que tu as utilisais , prendre plus de 20 mo Pour parser un fichier de 3 Mo, ce n'est pas trop normal :/ il y aurait surement des choses à revoir la dessus également.