Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Discussion: Mémoire ou fichier ?

  1. #1
    Nouveau membre du Club Avatar de botLIA
    Homme Profil pro
    Étudiant en BTS SIO
    Inscrit en
    juin 2016
    Messages
    45
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Finistère (Bretagne)

    Informations professionnelles :
    Activité : Étudiant en BTS SIO

    Informations forums :
    Inscription : juin 2016
    Messages : 45
    Points : 26
    Points
    26

    Par défaut Mémoire ou fichier ?

    Bonjour,

    Je travail sur un projet sur Talend et en fin de job, je met en mémoire les données à l'aide de "tHashOutput", et je me demandais si le mieux pour le serveur c'est comme j'ai fait : stocker les données en mémoire ou de les écrire dans un fichier, par exemple CSV pour ensuite les récupérer ?

    Sachant que la mise en mémoire peut être problématique si la mémoire se retrouve pleine et que écrire et lire dans un fichier utilise des ressources du disque dur et peut prendre plus de temps.

    Quand je check les ressources du serveur pendant que le projet s’exécute, j'utilise + ou - 1Go de RAM, donc sa va mais peut être qu'un jour il va utilisé beaucoup plus...

    Ou existe-t-il une autre solution que je n'ai pas envisager ?

    Cordialement

  2. #2
    Candidat au Club
    Homme Profil pro
    Développeur informatique
    Inscrit en
    janvier 2019
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Madagascar

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : janvier 2019
    Messages : 3
    Points : 4
    Points
    4

    Par défaut

    Bonjour,
    Les tHashOutput sont très utiles mais cela dépend du volume de données qu'on y stocke et de nos besoins en terme de fonctionnalités.
    Pour éviter un éventuel surcharge de heap, je fais recours à un tCreateTemporaryFile ou un bon vieux tFileOutputDelimited. Un avantage supplémentaire du fichier est qu'il est possible de diagnostiquer les erreurs qui pourront subvenir.
    Donc, as a rule of thumb, je fais un dump en fichier pour les traitements lourds en batch (principalement les crons) et un stockage en mémoire vive pour les traitements de données en streaming (comme les services web).
    Enfin, si l'on cherche vraiment à se casser la tête on peut explorer la possibilité d'intégration des serveurs de cache comme Redis qui n'est pas encore supporté par Talend mais en faisant appel à des bibliothèques externes.

    Cordialement,

  3. #3
    Nouveau membre du Club Avatar de botLIA
    Homme Profil pro
    Étudiant en BTS SIO
    Inscrit en
    juin 2016
    Messages
    45
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Finistère (Bretagne)

    Informations professionnelles :
    Activité : Étudiant en BTS SIO

    Informations forums :
    Inscription : juin 2016
    Messages : 45
    Points : 26
    Points
    26

    Par défaut

    Bonjour,

    C'est vrai que ne n'avais pas pensé à créer des fichiers temporaire, c'est une bonne solution relevé, parce que je bosse avec environs 300 000 rows, en faisant des left outer join ca fait beaucoup dans la ram mdrrr.

    Je vais voir pour améliorer cela et trouver un juste milieu

    Merci

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Mise en mémoire de fichier
    Par darkwall_37 dans le forum Débuter
    Réponses: 4
    Dernier message: 21/11/2009, 19h06
  2. Comparaison des structures mémoires et fichiers
    Par wafiwafi dans le forum Langages de programmation
    Réponses: 4
    Dernier message: 05/09/2009, 00h13
  3. Table mémoire vers fichier
    Par himan dans le forum WinDev
    Réponses: 1
    Dernier message: 04/11/2008, 11h28
  4. Table mémoire et Fichier
    Par dftrish dans le forum WinDev
    Réponses: 3
    Dernier message: 29/05/2007, 15h09
  5. [W10] Table mémoire vers fichier
    Par gbrion dans le forum WinDev
    Réponses: 2
    Dernier message: 13/02/2007, 09h37

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo