Discussion :

[nass5]

Bonjour,
j'ai développé une application en java (eclipse) pour parser des fichiers XML (environs 400), les stocker dans une base de donnée objet (neodatis) et ensuite calculer la similarité entre ces fichiers. Mais lors de l’exécution mon pc est très vite à laboure.
Certains me conseillent de passer au cloud computing( windows azure, Amazon EC2, Google app engine etc).
Qu'en pensez vous? je réfléchis également au supercalculateur!!!
Merci.

Nass

[Mako 5013]

Bonjour,

La première chose à faire serait d'optimiser les algorithmes utilisés dans le programme. C'est-à-dire repérer les points clés de l'application (ceux qui sont susceptibles d'être chronophages), et s'assurer qu'il n'y a pas moyen "de le faire mieux".

Sinon, passer au Cloud ou bien à des ordinateurs plus puissants ne serait que déplacer le problème, et non pas le résoudre.

Mako.

[adiGuba]

Salut,

La première chose à faire serait d'optimiser les algorithmes utilisés dans le programme.

+1000 !

a++

[nass5]

Bonjour, merci pour vos réponses..mais comment dois-je faire pour optimiser mes algorithmes?
Merci

[adiGuba]

Comme l'a dit Mako, il faut analyser les différentes parties de ton programme afin de déterminer les parties sensibles qui demande beaucoup de temps...


a++

[nass5]

Les parties sensibles sont celles ou je calcule la similarité car ces fichiers sont structurés sous formes d'arbres avec parfois 50 chemins!!
Que dois je faire?
Merci bcp

[Mako 5013]

Bonjour,

Poster la partie de code correspondant à ces traitements (en simplifiant si cela est trop volumineux), afin que l'on puisse voir comment cela est traité, et s'il est possible d'optimiser le tout.

Mako.

[nidou01]

Bonjour,
Je crois pas que du cloud computing pour l'ordre de 400 fichiers serait une bonne idée !
Je te propose 3 solutions :
1- Chercher à optimiser tes algorithmes(purement théorique) avant de les implémenter (méthodes de parcours de l'arbre de recherche : en largeur, en profondeur..., combinaisons de méthodes..etc).
2-Utiliser le multithreading qui est parfaitement adapté à ce type d'opérations(Le profodeur d'u noeud serait un bon indice pour lancer un nouveau thread).
3- Une combianaison de 1/ et 2/ .

Bon chance !

[CheryBen]

Il faut bien faire attention à la lecture des fichiers xml, éviter les conversions inutiles xml vers String ou inversement, essayer d'optimiser les xpath (éviter les //monElement).

Comment compares-tu les documents?
S'il s'agit simplement de savoir si des documents sont identiques, peut-être que tu devrais t'orienter vers la librairie XmlUnit qui propose la classe XMLAssert. Si tu dois extraire précisément les différences, je ne suis pas sûr que cette librairie soit adaptée, à ma connaissance la comparaison s'arrête à la 1ère différence trouvée.

[nass5]

Bonjour,
merci pour vos réponses.
Vous avez mentionné le le multithreading!!pourriez vous m'éclairer sur ce point?
Actuellement j'essaye de voir ce que le Grid computing pourrait m'offrir.
Merci

[deathness]

Tu peux utiliser un outil d'analyse de code, qui te permettra de voir quel méthode te prend le plus de temps.

Le multithreading c'est de diviser les tâches en plusieurs parties concurrentes, chaque partie étant traitée par un Thread. Sachant que les Thread doivent être lancés en concurrence (s'exécuter en parallèle).

Sinon une autre solution est d'ajouter des heuristiques a ton algo. C'est à dire essayer de prévoir quels branches ne mène a rien, ou lesquels sont plus intéressante à explorer en premier, etc...