Discussion :

[rach375]

Bonjour,

Voici la problématique que je dois résoudre :

je doit importer en base un fichier plat qui comporte environ + de 70000 ligne, chaque ligne ayant environ une vingtaine de colonnes.

En terme de puissance ça ne passera pas je crois que ce soit dans la lecture du fichier ou dans l'insertion.

je me vois pas faire une boucle de 70000 itérations avec lecture de la ligne + insert de ligne lue....

J'ai donc pensé à lire le fichier par bloc de 2000 lignes puis d'utiliser la méthode addBatch() de jdbc comme ca j'ai qu'un commit tout les 2000 insert et j'explose pas le log car 2000 ca reste raisonnable.

En plus de cela dans le batch la requete est précompilé (preparedstatement)

Vous en pensz quoi de ce raisonnement ?

Merci

[in]

si tu possède Oracle, utilise sqlLoader c'est fait pour ça.

Apres pour les autres bdd, je ne sais pas si il existe des equivalents.

En tous cas pour ce genre de chose mieux vaut confier le traitement à la bdd, elle est conçue pour ça

[rach375]

J'étais partis sur cette solution de Confier la tache à la bdd mais pour des raisons d'architecture l'appli n'a pas les privilèges pour faire cette action :

la base est en DB2

[in]

franchement, je persiste ... mais bon si ce n'est vraiment pas possible
c'est dommage.

sinon (j'espère que je ne vais pas faire hurler les gens) pour optimiser ce genre de traitement, le mieux est peut être de passer par un traitement en perl ...

sinon le passage par batch est ta seule solution effectivement ...

faut voir les autres avis, mais si tu n'as pas de réponse c'est que ce que tu proposes (le batch) est la bonne solution