Discussion :

[Xavinou]

Bonjour,

J'aimerais quelle(s) règle(s) vous utilisez pour choisir la taille d'un batch ?

En fonction du SGBD cible ?

En fonction de la connexion avec le SGBD (localhost ou distant) ?

En fonction du type de requêtes ?

En fonction de la mémoire de la machine ?

...

Merci.

[peppena]

pour koi faire ton batch ,
ça depend de ce que tu veux faire avec ,

là c pas clair dutout

[Xavinou]

ça depend de ce que tu veux faire avec

C'est justement le sens de ma question. Puisque c'est pas clair, je reformule : comment je peux déterminer une taille "optimale" ? Est ce qu'il y a une méthode qui permet de la déterminer, en fonction de critères établis ?

[peppena]

c pas encore clair du tout ,
mais y a pas de taille optimal ni maximale

[Xavinou]

ben avec un exemple alors !

si je fais un batch pour envoyer des inserts, quelle valeur semble "raisonnable" pour la taille du batch.
- si je mets une petite taille (exple : 2) quel est l'intérêt d'utiliser un batch ?
- si je mets une très grande taille (exple : 1000) quel inconvénient je peux avoir ?

[peppena]

est ce que tu vas manipuler le batch avec java ?

[Xavinou]

Oui je le manipule avec java, en utilisant jdbc.

Ma méthode lit des lignes dans un flux, découpe chaque ligne pour remplir un prepared statement, l'ajoute au batch. Toutes les n lignes, j'execute le batch... Tout ça marche très bien, mais quelle valeur est il judicieux de choisir pour n ?

[Glob]

D'une façon générale, la taille du batch devrait être égale à celle de la transaction. Lorsque tu exécutes ton batch, c'est l'occasion de valider ta transaction.

Comment déterminer une taille de transaction optimale? Mmmhh... perso je n'ai pas de réponse. Ca dépend de la taille de la mémoire de la machine disponible à l'instant où tu exécutes ta transaction, du nombre de ligne modifiées par chaque instruction, ... enfin bref...