IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Calcul scientifique Python Discussion :

Probléme de mémoire pour des grosses matrices


Sujet :

Calcul scientifique Python

  1. #1
    Nouveau membre du Club
    Inscrit en
    Avril 2004
    Messages
    92
    Détails du profil
    Informations forums :
    Inscription : Avril 2004
    Messages : 92
    Points : 38
    Points
    38
    Par défaut Probléme de mémoire pour des grosses matrices
    Bonjour,
    Je suis en train de développer un soft de traitement d'image.
    Et je doit traiter des images d'une taille non négligeable:
    14000 colonnes et 71000 lignes
    Lorsque je veux faire des traitement de base (moyenne et ecart type), j'ai tout le temps un problème mémoire (MemoryError)
    Mes images, je les ouvre et je les garde en mémoire sous forme de matrice à 2 dimension.
    J'utilise la bibliothéque NUMPY pour faire mes calcul élémentaire moyenne et ecart type sur ma matrice.
    Ma matrice étant trop grosse, il m'est actuellement impossible de faire ses traitements.
    Existe il une autre bibliothéque permettant de faire mes calculs sur d'aussi grosse matrice ?
    Mon traitement fonctionne parfaitement sur des images d'une taille : 7000 colonne et 1000 lignes.
    J'aimerai ne pas tout recoder, juste changer la parties de calcul par une autre bibliotheque.
    Si vous avez des idées, je suis preneur !!!

    Mon autre question, qui peux resoudre ma question précédente, je ne trouve pas la fonctionne pour scinder une matrice en deux.
    J'aimerai à partir de ma grosse matrice la couper en deux morceaux (chaque morceau ayant 7000 colonnes), si vous connaissez un bout de code pour m'aider je suis preneur

    Merci d'avance

    Soft utilisé:
    - python 2.5
    - Numpy
    - Matplotlib
    - PyQt
    - PIL

  2. #2
    Rédacteur

    Avatar de Matthieu Brucher
    Profil pro
    Développeur HPC
    Inscrit en
    Juillet 2005
    Messages
    9 810
    Détails du profil
    Informations personnelles :
    Âge : 42
    Localisation : France, Pyrénées Atlantiques (Aquitaine)

    Informations professionnelles :
    Activité : Développeur HPC
    Secteur : Industrie

    Informations forums :
    Inscription : Juillet 2005
    Messages : 9 810
    Points : 20 970
    Points
    20 970
    Par défaut
    Effectivement, ça devient chaud avec 4 Go de RAM utilisés. Si tu es sous Windows ou Linux 32bits, aucune bibliothèque ne pourra t'aider. Si tu es sous un OS 64bits, normalement, il n'y a pas d'erreur.

    Numpy est le seul module qui pourra t'aider dans ton problème, pas la peine de chercher ailleurs. Si tu veux une matrice plus petite, il te suffit de lire moins d'éléments (mais à toi de nous montrer un code minimaliste pour qu'on puisse t'aider )

Discussions similaires

  1. Réponses: 11
    Dernier message: 12/03/2008, 16h25
  2. Problème en mémoire avec des tableaux
    Par dword2add dans le forum C++
    Réponses: 3
    Dernier message: 11/11/2007, 13h36
  3. problème de mémoire pour le processus w3wp.exe
    Par nasser.h dans le forum IIS
    Réponses: 4
    Dernier message: 07/02/2007, 14h51
  4. Problème de format pour des chiffres à virgule
    Par bob75000 dans le forum Access
    Réponses: 5
    Dernier message: 21/07/2006, 10h42
  5. [SimpleXML] Problème PHP5/XML pour des affichages particuliers
    Par vanilla dans le forum Bibliothèques et frameworks
    Réponses: 7
    Dernier message: 20/04/2006, 13h22

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo