Lecture d'un fichier.csv par numpy

Version imprimable

1 pièce(s) jointe(s)

Bonjour à tous,

J'ai une petite question concernant la lecture de fichier au format .csv par la librairie numpy ainsi que du traitement
J'ai un fichier CSV avec plusieurs colonnes. Je souhaiterai nommer chaque colonne et après ne garder que les lignes qui m'intéresse, c'est-à-dire répondant à certains critères prédéfinis.

Voici un exemple de mon fichier .csv :

Pièce jointe 190630

Je ne souhaite garder que les lignes où l'objet Corot dépasse les 10.000 dans la colonne ID.

Voici donc mon code :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 # !/usr/bin/python # -*- coding : utf-8 -*- import numpy as np data = np.recfromcsv('corot-resultat.csv', delimiter=',', filling_values=np.nan) # Lire toutes les lignes de data, et ne garder que celles ou Corot xx..xx => 100000 #Pour chaque ligne dans data : #Si Corot => 100000, on passe a la ligne suivante, sinon, on supprime la ligne #for line in data.readlines() : print data
1) Est-ce-que "recfromcsv" est le plus optimisé pour mon code ou dois-je plutôt passer par genfromtxt ?

2) Comment puis-je nommer des colonnes sous numpy et fixer des critères pour ne m'afficher que les lignes répondant aux critères (voir exemple image) ?

Je ne veux pas forcément de code tout prêt, mais plutot des pistes pour chercher par moi-même ;)

Cordialement

J'imagine qui faut que j'aille dans ce sens ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
RA=[]
Dec=[]
ID=[]
Sp_Type=[]
 
while aline :
       items = aline.split()
       ra.append(1)
       dec.append(1)
       id.append(1)
       Sp_type.append(1)
 
       ra[i] = items[0]
       dec[i] = items[1]
       id[i] = items[2]
       Sp_Type[i] = items [3]
 
       aline = data.readline()
       i = i+1

22/10/2015, 20h36
Andromedae

Aucunes réponses ?
22/10/2015, 21h09
wiztricks

Salut,

Citation:

Envoyé par Andromedae

Aucunes réponses ?

Pas facile de comprendre le problème: numpy c'est des tableaux pour faire des calculs numériques. Les colonnes de votre .CSV sont plutôt de type quelconque et le type de traitement que vous attendez serait plus simple à réaliser avec pandas. Mais ce n'est peut être pas ce que vous voulez.

- W
22/10/2015, 22h07
Andromedae

Merci de ta réponse.
Disons qu'il est demandé dans notre projet d'utiliser numpy pour après faire du traitement.
En effet, mes colonnes peuvent être des doubles, string ...

Je voulais juste savoir dans un premier temps comment je peux enregistrer mon fichier .csv dans un numpy array et associer chaque objet à la bonne catégorie (RA / DEC / ...) ?

Salut,

Citation:

Envoyé par Andromedae

Je voulais juste savoir dans un premier temps comment je peux enregistrer mon fichier .csv dans un numpy array et associer chaque objet à la bonne catégorie (RA / DEC / ...) ?

Si vous devez utiliser numpy, regarder dans la documentation n'est pas une option.
Lisez par exemple.
Après vous écrivez un petit bout de code pour vous assurer que vous n'avez pas trop mal compris:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 >>> import numpy as np >>> from io import StringIO >>> DATA = u'''A, B, C ... 1, 2, 3 ... 10, 20, 30 ... 100, 200, 300''' >>> >>> data = np.genfromtxt(StringIO(DATA), delimiter=',', names=True) >>> data array([(1.0, 2.0, 3.0), (10.0, 20.0, 30.0), (100.0, 200.0, 300.0)], dtype=[('A', '<f8'), ('B', '<f8'), ('C', '<f8')]) >>> data['A'] array([ 1., 10., 100.]) >>>
- W