Discussion :

[vgross]

Bonjour à tous,

Je travaille actuellement sur un projet de comparateur de prix.

Je voulais uniquement m'éclairer sur un choix de techno à utiliser, je m'explique :

Je récupère de mes services d'affiliation des catalogues XML pouvant allez jusqu’à 30Mo, et je voulais savoir quelle est la meilleure façon de les exploiter ?

Pour ça j'ai plusieurs hypothèse :

1*/ Soit je télécharge tous les jours les fichiers et je les upload sur mon serveur, puis pour l'affichage je les exploite avec l'interface SAX en fonction de la requête utilisateur (apparemment pour les fichiers volumineux, c'est ce qu'il faut mais la encore, je ne suis pas sur).

2*/ Soit je transforme tous les mes fichiers, tous les jours avec un Xslt pour les insérer dans ma propre base SQL en faisant une moulinette magique (je sais pas encore comment ?) qui insert ou update uniquement les données du catalogue qui changent.

3*/ Soit je fais un truc qui n'as absolument rien à voir avec tout ça parce que je suis en train de faire fausse route et vous allez éclairer ma lanterne :-)

Bref, je me demande vraiment quelle est le meilleur moyen de faire ce dont j'ai besoin sachant que je veux optimiser au mieux le traitement serveur dans le cas ou mon site comportera (on l'espère) bcp d'audience...

Merci d'avance de vos réponses !

[Thes32]

Salut,

Soit je télécharge tous les jours les fichiers et je les upload sur mon serveur, puis pour l'affichage je les exploite avec l'interface SAX en fonction de la requête utilisateur (apparemment pour les fichiers volumineux, c'est ce qu'il faut mais la encore, je ne suis pas sur).

XMLReader me semble le plus adequat quand il s'agit des gros fichiers.

Soit je transforme tous les mes fichiers, tous les jours avec un Xslt pour les insérer dans ma propre base SQL en faisant une moulinette magique (je sais pas encore comment ?) qui insert ou update uniquement les données du catalogue qui changent.

A mon avis, c'est une excellente idée. tu pourrais crée une signature en fonction des données qui pourront être modifier etle stocker en bd enfin d'être au courant des changements.

[vgross]

Salut Tes32 !

En ce qui concerne XMLReader quels seraient les avantages par rapport à SAX ? j'ai parlé de SAX car il a une approche évènementiel et non hiérarchique, ce qui est bien adapté au gros fichiers mais qu'en est-il de XMLReader ? Je ne m'y connais pas assez... et je préfère bien en parler avant de choisir la mauvaise méthode...

En ce qui concerne mon autre solution, j'ai un peu creuser et je me suis dis qu'un calcul de CRC serait bien adapté pour "la moulinette magique" mais la encore c'est pareil avant de me lancer dans la moindre ligne de code, je voudrais être sur d'avoir fait le bon choix...

Le principal problème avec ma deuxième solution c'est que les catalogues sont mis à jour tous les jours, et je ne sais vraiment pas de quelle manière automatiser ce traitement. Parce que j'imagine que tous les jours, transformer 20 fichiers XML en requete SQL, puis l'insérer dans ma BDD ça va pas être très pratique ! Après il y a peut être des moyen d'automatiser ces traitements mais je ne les connais pas du tout... As tu une piste ?