IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Python Discussion :

Script python - pandas - error


Sujet :

Python

  1. #1
    bm
    bm est déconnecté
    Membre extrêmement actif

    Homme Profil pro
    Freelance
    Inscrit en
    Octobre 2002
    Messages
    874
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Drôme (Rhône Alpes)

    Informations professionnelles :
    Activité : Freelance
    Secteur : Tourisme - Loisirs

    Informations forums :
    Inscription : Octobre 2002
    Messages : 874
    Billets dans le blog
    6
    Par défaut Script python - pandas - error
    bonjour,

    Le fichier train.csv est de 1Go et plus de 5 millions de lignes.
    Je ne sais pas si c'est le manque de mémoire système ou autres
    qui bloque ..

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    import pandas as pd
    import numpy as np
     
    df_train = pd.read_csv('train.csv')
    df_test = pd.read_csv('test.csv')
     
    print('Size of training data: ' + str(df_train.shape))
    print('Size of testing data:  ' + str(df_test.shape))
     
    print('\nColumns:' + str(df_train.columns.values))
     
    print(df_train.describe())
     
    #print(df_train['place_id'])
     
    print('\nNumber of place ids: ' + str(len(list(set(df_train['place_id'].values.tolist())))))
    Traceback (most recent call last):
    File "/media/msi-ubuntu/4a613636-5602-4e5a-9856-8e1aef2a7f43/Mes_documents/ing_prob/0-mooc-kaggle/facebook/face-1.py", line 4, in <module>
    df_train = pd.read_csv('train.csv')
    File "/home/msi-ubuntu/anaconda2/lib/python2.7/site-packages/pandas/io/parsers.py", line 498, in parser_f
    return _read(filepath_or_buffer, kwds)
    File "/home/msi-ubuntu/anaconda2/lib/python2.7/site-packages/pandas/io/parsers.py", line 285, in _read
    return parser.read()
    File "/home/msi-ubuntu/anaconda2/lib/python2.7/site-packages/pandas/io/parsers.py", line 747, in read
    ret = self._engine.read(nrows)
    File "/home/msi-ubuntu/anaconda2/lib/python2.7/site-packages/pandas/io/parsers.py", line 1197, in read
    data = self._reader.read(nrows)
    File "pandas/parser.pyx", line 766, in pandas.parser.TextReader.read (pandas/parser.c:7988)
    File "pandas/parser.pyx", line 816, in pandas.parser.TextReader._read_low_memory (pandas/parser.c:8661)
    File "pandas/parser.pyx", line 1924, in pandas.parser._concatenate_chunks (pandas/parser.c:24468)
    MemoryError

    J'ai 4 Go de ram et il faudrait combien de plus avec ce script ?

    @+


  2. #2
    Expert éminent
    Homme Profil pro
    Architecte technique retraité
    Inscrit en
    Juin 2008
    Messages
    21 705
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Manche (Basse Normandie)

    Informations professionnelles :
    Activité : Architecte technique retraité
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2008
    Messages : 21 705
    Par défaut
    Saluit,

    Citation Envoyé par bm Voir le message
    J'ai 4 Go de ram et il faudrait combien de plus avec ce script ?
    Pour que Python puisse profiter de plus de 1.5Go de RAM, utiliser un environnement système, Python et des bibliothèques "64 bits" est nécessaire (mais pas toujours suffisant). On commence donc par regarder si Python est 64 bits ou pas via:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    $ python
    >>> import platform
    >>> platform.architecture()
    note: en général, on évite de lire totalement des fichiers énormes en mémoire... On les découpe en morceaux, on les pousse dans une base de données, ... suivant les traitements attendus.

    - W
    Architectures post-modernes.
    Python sur DVP c'est aussi des FAQs, des cours et tutoriels

  3. #3
    bm
    bm est déconnecté
    Membre extrêmement actif

    Homme Profil pro
    Freelance
    Inscrit en
    Octobre 2002
    Messages
    874
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Drôme (Rhône Alpes)

    Informations professionnelles :
    Activité : Freelance
    Secteur : Tourisme - Loisirs

    Informations forums :
    Inscription : Octobre 2002
    Messages : 874
    Billets dans le blog
    6
    Par défaut
    platform.architecture()
    ('64bit', 'ELF')
    C'est un défi lancé par Facebook :


    Pandas devrait suffire pour le big data des fichiers ..

    C'est un bon test de son système avec ce qui se fait de mieux !

    @+

Discussions similaires

  1. Error éxécution script Python decompiler pour *.pyc
    Par zano972 dans le forum Général Python
    Réponses: 5
    Dernier message: 13/05/2015, 10h36
  2. Réponses: 7
    Dernier message: 18/04/2008, 20h07
  3. Accents Command Line depuis un script Python
    Par nicou50 dans le forum Général Python
    Réponses: 6
    Dernier message: 29/12/2006, 10h41
  4. Interpreter un script python dans un prog python
    Par romeo9423 dans le forum Général Python
    Réponses: 3
    Dernier message: 01/12/2005, 16h16
  5. Réponses: 3
    Dernier message: 05/04/2005, 14h26

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo