Discussion :

[boubsy]

Salut,

En fait il ne faut pas oublier d'activer le mode stream/cursor sur les tDBxxxInput. Chez moi ca passe sans problème sur des volumes correctes (20 m de lignes)
Pas testé sur plus gros volume, mais en mode cursor/stream, il n'y a pas de raison d'être bloqué par la mémoire sur le flux main.

boubsy

[jsd03]

Le mode stream cursor ? "Use cursor" dans les options de l'onglet "Advanced settings" ? Dans ce cas là comment va se comporter le traitement ? Traiter les données 1000 par 1000 lignes (par défaut) ?

[boubsy]

salut,

Lorsque tu actives le mode Stream/cursor sur un tDBxxxInput sur un flux main, Talend va positionner un curseur par block de 1000 lignes par défaut qu'il va charger en mémoire, ensuite il passe aux 1000 suivante...
C'est une fonctionnalité native des drivers JDBC. En oracle c'est le mode cursor, avec MySql c'est le stream. D'autre base (SqlServer) sont automatiquement en stream par default je crois.

Le traitement se comporte normalement ;-)
Tu ne vois pas qu'il lit par block de 1000, c'est transparent.

C'est ce mode qui est utilisé en standard par les ETL de type flux que je connaisse (Datastage, informatica, Bodi).

C'est d'ailleurs surprenant qu'ils ne l'activent pas par défaut, sans doute pour des questions de rétro-compatibilité car ce mode est apparu avec la version 2.3 de mémoire.

Bref, cela te permet de lire des données d'une source quelque soit son volume en flux main. Si on utilise le store on disk du tMap, il est recommandé de l'activer aussi.

J'avoue que je ne me pose plus la question et l'active toujours.

boubsy

[jsd03]

C'est d'ailleurs surprenant qu'ils ne l'activent pas par défaut, sans doute pour des questions de rétro-compatibilité car ce mode est apparu avec la version 2.3 de mémoire

Oui vraiment étonnant effectivement.

Mais dû coup ça ne change pas la suite du traitement. Cette option permet juste de mettre en mémoire à la lecture de la base mais si ensuite j'ai un tMap et un tSortRow ou un tAggregate j'aurai le même problème de mémoire car il n'y a pas cette option sur les 2 composants que je viens de citer du coup même si j'arrive à passer le chargement des mes données dans le tMap la suite plantera quand même.

[boubsy]

Pour info,

J'ai testé le module MPx (massively Parralele Extenstion) et cela permet de faire des tris + aggregations quel que soit le volume.
Ca utilise des composanst dédiés (tFileScaleSort/tFileScaleAggregate) qui utilisent un binaire compilé par plateforme, donc pas de limite mémoire / Java.

MPx semble répartir la charge de tri/aggregation sur plusieurs processeurs et c'est plutôt rapide (en tout cas + que le sort GNU)

boubsy