Discussion :

[botLIA]

Bonjour,

Je travail sur un projet sur Talend et en fin de job, je met en mémoire les données à l'aide de "tHashOutput", et je me demandais si le mieux pour le serveur c'est comme j'ai fait : stocker les données en mémoire ou de les écrire dans un fichier, par exemple CSV pour ensuite les récupérer ?

Sachant que la mise en mémoire peut être problématique si la mémoire se retrouve pleine et que écrire et lire dans un fichier utilise des ressources du disque dur et peut prendre plus de temps.

Quand je check les ressources du serveur pendant que le projet s’exécute, j'utilise + ou - 1Go de RAM, donc sa va mais peut être qu'un jour il va utilisé beaucoup plus...

Ou existe-t-il une autre solution que je n'ai pas envisager ?

Cordialement

[navds]

Bonjour,
Les tHashOutput sont très utiles mais cela dépend du volume de données qu'on y stocke et de nos besoins en terme de fonctionnalités.
Pour éviter un éventuel surcharge de heap, je fais recours à un tCreateTemporaryFile ou un bon vieux tFileOutputDelimited. Un avantage supplémentaire du fichier est qu'il est possible de diagnostiquer les erreurs qui pourront subvenir.
Donc, as a rule of thumb, je fais un dump en fichier pour les traitements lourds en batch (principalement les crons) et un stockage en mémoire vive pour les traitements de données en streaming (comme les services web).
Enfin, si l'on cherche vraiment à se casser la tête on peut explorer la possibilité d'intégration des serveurs de cache comme Redis qui n'est pas encore supporté par Talend mais en faisant appel à des bibliothèques externes.

Cordialement,

[botLIA]

Bonjour,

C'est vrai que ne n'avais pas pensé à créer des fichiers temporaire, c'est une bonne solution relevé, parce que je bosse avec environs 300 000 rows, en faisant des left outer join ca fait beaucoup dans la ram mdrrr.

Je vais voir pour améliorer cela et trouver un juste milieu

Merci