Discussion :

[Andromedae]

Bonjour à tous,

J'ai une petite question concernant la lecture de fichier au format .csv par la librairie numpy ainsi que du traitement
J'ai un fichier CSV avec plusieurs colonnes. Je souhaiterai nommer chaque colonne et après ne garder que les lignes qui m'intéresse, c'est-à-dire répondant à certains critères prédéfinis.

Voici un exemple de mon fichier .csv :



Je ne souhaite garder que les lignes où l'objet Corot dépasse les 10.000 dans la colonne ID.


Voici donc mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
# !/usr/bin/python
# -*- coding : utf-8 -*- 
 
import numpy as np
 
data = np.recfromcsv('corot-resultat.csv', delimiter=',', filling_values=np.nan)
 
 
# Lire toutes les lignes de data, et ne garder que celles ou Corot xx..xx => 100000
#Pour chaque ligne dans data :
#Si Corot => 100000, on passe a la ligne suivante, sinon, on supprime la ligne
 
#for line in data.readlines() :
 
 
print data

1) Est-ce-que "recfromcsv" est le plus optimisé pour mon code ou dois-je plutôt passer par genfromtxt ?

2) Comment puis-je nommer des colonnes sous numpy et fixer des critères pour ne m'afficher que les lignes répondant aux critères (voir exemple image) ?

Je ne veux pas forcément de code tout prêt, mais plutot des pistes pour chercher par moi-même

Cordialement

[Andromedae]

J'imagine qui faut que j'aille dans ce sens ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
RA=[]
Dec=[]
ID=[]
Sp_Type=[]
 
while aline :
       items = aline.split()
       ra.append(1)
       dec.append(1)
       id.append(1)
       Sp_type.append(1)
 
       ra[i] = items[0]
       dec[i] = items[1]
       id[i] = items[2]
       Sp_Type[i] = items [3]
 
       aline = data.readline()
       i = i+1

[Andromedae]

Aucunes réponses ?

[wiztricks]

Salut,

Aucunes réponses ?

Pas facile de comprendre le problème: numpy c'est des tableaux pour faire des calculs numériques. Les colonnes de votre .CSV sont plutôt de type quelconque et le type de traitement que vous attendez serait plus simple à réaliser avec pandas. Mais ce n'est peut être pas ce que vous voulez.

- W

[Andromedae]

Merci de ta réponse.
Disons qu'il est demandé dans notre projet d'utiliser numpy pour après faire du traitement.
En effet, mes colonnes peuvent être des doubles, string ...

Je voulais juste savoir dans un premier temps comment je peux enregistrer mon fichier .csv dans un numpy array et associer chaque objet à la bonne catégorie (RA / DEC / ...) ?

[wiztricks]

Salut,

Je voulais juste savoir dans un premier temps comment je peux enregistrer mon fichier .csv dans un numpy array et associer chaque objet à la bonne catégorie (RA / DEC / ...) ?

Si vous devez utiliser numpy, regarder dans la documentation n'est pas une option.
Lisez par exemple.
Après vous écrivez un petit bout de code pour vous assurer que vous n'avez pas trop mal compris:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
>>> import numpy as np
>>> from io import StringIO
>>> DATA = u'''A, B, C
...    1,    2,    3
...   10,   20,   30
...  100,  200,  300'''
>>>
>>> data = np.genfromtxt(StringIO(DATA), delimiter=',', names=True)
>>> data
array([(1.0, 2.0, 3.0), (10.0, 20.0, 30.0), (100.0, 200.0, 300.0)],
      dtype=[('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
>>> data['A']
array([   1.,   10.,  100.])
>>>

- W