IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Python Discussion :

Augmenter les performances en lecture de fichier


Sujet :

Python

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre averti
    Homme Profil pro
    Ingénieur
    Inscrit en
    Août 2014
    Messages
    40
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 36
    Localisation : France, Seine et Marne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur

    Informations forums :
    Inscription : Août 2014
    Messages : 40
    Par défaut Augmenter les performances en lecture de fichier
    Bonjour,

    Voilà, j'ai un scrit python qui me permet de lire des fichiers binaires. Pour ce faire, je charge d'abord en mémoire les informations du fichier en question.
    Or j'ai parfois des fichiers de plusieurs giga et j'aimerais accélèrer le passage en mémoire !

    Existe-t-il des méthodes pour le faire ? En passant par du C par exemple ?

    Merci pour vos éclaircissements !

  2. #2
    Expert éminent
    Homme Profil pro
    Architecte technique retraité
    Inscrit en
    Juin 2008
    Messages
    21 741
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Manche (Basse Normandie)

    Informations professionnelles :
    Activité : Architecte technique retraité
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2008
    Messages : 21 741
    Par défaut
    Citation Envoyé par coolpix77 Voir le message
    Voilà, j'ai un scrit python qui me permet de lire des fichiers binaires. Pour ce faire, je charge d'abord en mémoire les informations du fichier en question.
    Or j'ai parfois des fichiers de plusieurs giga et j'aimerais accélèrer le passage en mémoire !

    Existe-t-il des méthodes pour le faire ? En passant par du C par exemple ?

    Merci pour vos éclaircissements !
    Lorsque vous lisez un fichier, çà va attendre le disque et que l'OS ait libéré la mémoire pour recopier les données.
    Comme Python est écrit en C, vos performances ne devraient pas être trop mauvaises (à la limite, vous pourriez écrire un petit programme C qui s'amuse à lire un gros fichier en mémoire et comparer).
    Pour le reste tout dépend des traitements que vous faites, s'ils sont séquentiels, pas la peine de lire tout le fichier en mémoire! Vous pouvez aussi utiliser des threads pour lire des bouts du fichiers pendant que le programme principal "travaille" sur les données lues.

    - W
    Architectures post-modernes.
    Python sur DVP c'est aussi des FAQs, des cours et tutoriels

  3. #3
    Expert confirmé Avatar de BufferBob
    Profil pro
    responsable R&D vidage de truites
    Inscrit en
    Novembre 2010
    Messages
    3 041
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : responsable R&D vidage de truites

    Informations forums :
    Inscription : Novembre 2010
    Messages : 3 041
    Par défaut
    salut,

    Citation Envoyé par coolpix77 Voir le message
    j'ai un scrit python qui me permet de lire des fichiers binaires. Pour ce faire, je charge d'abord en mémoire les informations du fichier en question.
    Or j'ai parfois des fichiers de plusieurs giga et j'aimerais accélèrer le passage en mémoire !
    difficile de répondre c'est trop flou, ça dépend le type de fichier, les traitements que tu effectues dessus etc.

    en clair pour ce qui est d'optimiser mieux vaut se pencher vers une solution algorithmique que vers le C de manière automatique, ce n'est pas le langage qui assure la vitesse d'exécution c'est la façon dont le programme est réalisé

Discussions similaires

  1. Paramètres MySQL pour augmenter les performances
    Par yanis97 dans le forum Administration
    Réponses: 5
    Dernier message: 04/02/2011, 18h53
  2. Réponses: 4
    Dernier message: 09/09/2008, 11h12
  3. Augmenter les performances de JBoss?
    Par mbouzouita dans le forum Wildfly/JBoss
    Réponses: 8
    Dernier message: 21/11/2007, 20h58
  4. comment augmenter les performances d'une application
    Par jasminblanc dans le forum Firebird
    Réponses: 1
    Dernier message: 17/07/2007, 19h39
  5. Augmenter les performances de calcul d'Apache
    Par sirbaldur dans le forum Apache
    Réponses: 2
    Dernier message: 20/01/2007, 16h01

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo