Traitement de fichier XML large (+ de 100M)

Bonjour,

J'ai un problème et j'érre sur le net depuis 1 semaine afin de trouver une solution.

Le contexte :
J'ai un fichier XML qui contient toutes les informations d'une base de données. Malheureusement c'est un format imposé et je ne peux pas demander un autre type de fichier.
J'aurais voulu savoir s'il y a un moyen (outils ou prog) pour compresser le fichier (en zip j'atteins 5M après compression) l'inclure dans mon apk (tout en restant raisonnable sur la taille).
De plus ce fichier sera utilisé comme base de données, au sens large du terme, pour l'application.

Est ce qu'il existe un format de fichier XML "compressé" qui peuvent être requêter sans trop de transformation avec une rapidité raisonnable.

Les trois buts sont :
- taille petite du fichier source (taille physique sur appareil android SDcard)
- Empreinte mémoire lors du requêtage qui ne nuit pas à l'utilisation normale de l'appareil multitâche
- Requêtage "rapide"

Si quelqu'un à des pistes, je suis à l'écoute.

PS : La taille de la base sur SQLite sera t elle plus légère? et est ce qu'on peut l'inclure dans l'apk?

Merci à vous tous

Citation:

Envoyé par Averroes

La taille de la base sur SQLite sera t elle plus légère? et est ce qu'on peut l'inclure dans l'apk?

Qu'entends tu par là ?

Est ce que vous pensez que si je charge mon fichier sur un schéma compatible dans la base SQLite je gagnerai en taille? (Je suis entrain de faire des tests)

Est ce qu'on peut inclure dans le fichier apk une base SQLite déjà bien remplie pour que l'utilisateur puisse l'utiliser telle quelle

Pour ta première question, je dirais que c'est possible que ça prenne moins de place, mais pas sûr : ça dépend de beaucoup de paramètres. Dans un fichier XML, tu peux avoir un paquet de place de perdues à cause des balises et des espaces:
exemple choppé sur le net:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 <?xml version="1.0" encoding="ISO-8859-1"?> <BIBLIO SUBJECT="XML"> <BOOK ISBN="9782212090819" LANG="fr" SUBJECT="applications"> <AUTHOR> <FIRSTNAME>Jean-Christophe</FIRSTNAME> <LASTNAME>Bernadac</LASTNAME> </AUTHOR> <AUTHOR> <FIRSTNAME>François</FIRSTNAME> <LASTNAME>Knab</LASTNAME> </AUTHOR> <TITLE>Construire une application XML</TITLE> <PUBLISHER> <NAME>Eyrolles</NAME> <PLACE>Paris</PLACE> </PUBLISHER> <DATEPUB>1999</DATEPUB> </BOOK> <BOOK ISBN="9782212090529" LANG="fr" SUBJECT="général"> <AUTHOR> <FIRSTNAME>Alain</FIRSTNAME> <LASTNAME>Michard</LASTNAME> </AUTHOR> <TITLE>XML, Langage et Applications</TITLE> <PUBLISHER> <NAME>Eyrolles</NAME> <PLACE>Paris</PLACE> </PUBLISHER> <DATEPUB>1998</DATEPUB> </BOOK> <BOOK ISBN="9782840825685" LANG="fr" SUBJECT="applications"> <AUTHOR> <FIRSTNAME>William J.</FIRSTNAME> <LASTNAME>Pardi</LASTNAME> </AUTHOR> <TRANSLATOR PREFIX="adapté de l'anglais par"> <FIRSTNAME>James</FIRSTNAME> <LASTNAME>Guerin</LASTNAME> </TRANSLATOR> <TITLE>XML en Action</TITLE> <PUBLISHER> <NAME>Microsoft Press</NAME> <PLACE>Paris</PLACE> </PUBLISHER> <DATEPUB>1999</DATEPUB> </BOOK> </BIBLIO>
1678 caractères (dont près de 600 espaces quand même =)
Si on décompose pour extraire les données "utiles":
Liste de livres
Code:

1 2 3 9782212090819 fr applications "Construire une application XML" 9782212090529 fr général "XML, Langage et Applications" 9782840825685 fr applications "XML en Action"
Liste de personnes (auteurs, traducteurs...):
Code:

1 2 3 4 5 1 Jean-Christophe Bernadac 2 François Knab 3 Alain Michard 4 William J. Pardi 5 James Guerin
Liste d'éditeurs:
Code:

1 2 3 1 Eyrolles Paris 1999 2 Eyrolles Paris 1998 3 Microsoft Press Paris 1999
Relations livres/personnes:
Code:

1 2 3 4 5 9782212090819 AUTHOR 1 9782212090819 AUTHOR 2 9782212090529 AUTHOR 3 9782840825685 AUTHOR 4 9782840825685 TRANSLATOR 5 "anglais"
Relation livres/editeurs:
Code:

1 2 3 9782212090819 1 9782212090529 2 9782840825685 3
Soit en tout un peu moins de 600 caractères.

Certes, il y a beaucoup plus d'infos dans une vraie base de données que mon exemple, mais c'est juste pour illustrer que dans un xml, les données ne représentent au final que peu de poids. Alors si ton xml de 100Mo est du même genre (des infos qui ne prennent pas beaucoup de place), oui, je pense que tu gagneras (un peu) de place en passant en base de données.

Par contre, je ne sais pas si tu peux filer une base déjà chargée (mais je pense que oui).

Ah, et pour finir, à mon avis, oublie le traitement du xml de 100 Mo sur Android: ça m'étonnerait que ça marche (mais je peux me gourrer).