Discussion :

[tougi]

Bonjour,

Quel est l'impact en terme de performance de l'option "taille des lots" dans les composants d'insertion base de données ?

Merci d'avance.

[lennelei]

Salut,

selon les cas, ça peut améliorer, dégrader, ou ne pas changer tes performances

Plus sérieusement, il est presque impossible de répondre à ce genre de question sans faire une étude un peu poussée.

Normalement, la taille du lot va définir combien de lot Talend prépare avant de procéder côté SGBD. Si tu as 1000 lignes à insérer et que tu définies un lot de 1, Talend va préparer un INSERT, l'envoyer à ta base, préparer l'INSERT suivant, l'envoyer, etc. ce qui n'est pas efficace d'un point de vue réseau (tu ajoutes de la latence à chaque accès réseau) et accès SGBD par exemple (nombre de transactions, etc.).
Avec une taille de lot à 500, Talend va préparer 500 INSERT et les envoyer en une seule fois ce qui peut être lourd à gérer (pour Talend ou au niveau réseau).

Il faut donc trouver un juste milieu qui dépend de ton architecture, du type de requêtes, du contenu, etc...

En plus, pour les questions de perfs, il faudrait prendre en compte le paramètre "commiter tous les" qui définit à quelle fréquence tu vas faire des commit.

Pour info, si tu commences à te poser ce genre de question, le mieux est de faire appel à un DBA qui t'aidera à dimensionner les valeurs. Pour des traitements "normaux", les valeurs par défaut sont si mauvaises.

[tougi]

Merci pour ton retour.

Dans le cas contraire si je décoche cette case que se passe t-il ? Talend prépare l'intégralité des données et les envoie à la base d'un seul coup ou est ce que cela correspond à l'option taille de lot = 1 ?

[lennelei]

Bonne question, je l'ignore !

[tougi]

Merci quand même

Est ce que quelqu'un connaît comment réagis Talend lorsque l'on décoche la case "taille des lots" ?

[lennelei]

Edit: en regardant le code généré par Talend, si tu décoches, ça met tout dans un seul et unique lot à priori.