Récupérer la première colonne de chacun de mes fichiers

Bonsoir, j'ai regardé la doc sur les tableaux, les matrices, les listes, numpy, je ne trouve pas la réponse à ma question pourtant ça semble tout bête.

J'ai deux programmes, dans le premier, je crée des fichiers sans extension. Ce sont des listes transformées en tableaux pour des calculs avec

Code:

---

tab= np.array(data)

---

donc j'ai une vingtaine de fichiers contenant des tableaux à 2 D.

dans mon second programme, je veux juste récupérer les données présentes dans ces fichiers et là, je bug.

je peux afficher le contenu mais je n'arrive pas à extraire la première colonne de chacun des tableaux

J'aimerais avoir la méthode pour récupérer la première colonne de chaque tableau pour créer un tableau unique de toutes ces premières colonnes.

J'ai rangé mes fichiers dans des listes différentes. Par exemple :

Code:

---

1 2 3 4 5

for trait in range (1,10):   listefichiers = [] chemin = '.\\valeur\\%s%d%d%dindice' % (nomf,adate[year],bdate[month],cdate[week]) listefichiers .append(chemin)

---

Juste une méthode m'aiderait.
j'ai essayé de créer une liste vide, de faire une boucle mais je ne vois pas comment extraire la colonne 1 de chaque tableau de chacun des fichiers car il n'a pas l'air de voir que ce sont des tableaux dans les fichiers pourtant quand je lui demande de me les afficher, ce sont bien des tableaux.

Merci beaucoup de m'aider.
Nat

Salut,

Comment sont écrit ces fichier ?

Tu peux en montrer un exemple ?

Salut,

j'ai des listes, ex: "temp".
je les ai transformées en tableau car j'ai fait des calculs avec certaines d'entre elles.

Code:

---

1 2 3 4 5 6

data = np.array(temp) #transformation de la liste en tableau sortie = '.\\valeur\\%s%d%d%dindice' % (nomf,adate[year],bdate[month],cdate[week]) #nom du fichier de destination des données en sortie fid = open(sortie, 'w') #ouverture du fichier en écriture fid.write(str(data)) #écriture des données fid.close #fermeture du fichier

---

Nat

Salut,

Essayez de comprendre ce qui se passe.
On écrit fabrique un array et on le pousse dans un fichier.

Code:

---

1 2 3 4 5 6 7 8 9 10

>>> data = np.array([[1,2], [3,4]]) >>> data array([[1, 2], [3, 4]]) >>> print (data) [[1 2] [3 4]] >>> f = open('foo.txt', 'w') >>> f.write(data) >>> f.close()

---

Si vous voulez "traiter" les données que vous avez écrites, il faut aller voir à quoi elles ressemblent:

Code:

---

1 2 3

>>> f = open('foo.txt', 'r') >>> f.read() '\x01\x00\x00\x00\x02\x00\x00\x00\x03\x00\x00\x00\x04\x00\x00\x00'

---

C'est un fichier binaire, pas facile à traiter autrement qu'avec numpy.
Il serait plus simple d'écrire le tableau sous forme CSV:

Code:

---

1 2 3 4 5

>>> np.savetxt('foo3.txt', data, delimiter=",") >>> f = open('foo3.txt') >>> f.read() '1.000000000000000000e+00,2.000000000000000000e+00\n3.000000000000000000e+00000000000000000e+00\n' >>>

---

Dans ce cas, c'est un fichier texte où les lignes correspondent à celles du tableau et la valeur de chaque colonne est séparée par ",".

Tout dépend de ce que vous voulez faire...mais ce ne sera pas le même travail pour lire et décoder.

- W

C'est pas très pratique ce que tu fais là.

Si je le reproduis:

Code:

---

1 2 3 4 5 6 7 8 9 10

Python 2.7.3 (default, Dec 18 2014, 19:03:52) [GCC 4.6.3] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import numpy >>> a = [['bgf', 'jhy', 'lk'], ['lkn', 'pm', 'olk'], ['vc', 'bgf', 'ldf']] >>> arr = numpy.array(a) >>> f = open('array', 'w') >>> f.write(str(a)) >>> f.close()

---

j'obtiens ceci:

Code:

---

1 2 3 4 5 6

>>> f = open('array', 'r') >>> l = f.readlines() >>> f.close() >>> print l ["[['bgf', 'jhy', 'lk'], ['lkn', 'pm', 'olk'], ['vc', 'bgf', 'ldf']]"]

---

Je n'ai pas envie de parser ces infos, faisons quelque chose de plus adéquat:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

>>> with open('array', 'w') as outf: ... for l in arr: ... outf.write(", ".join(l) + "\n") ... >>> with open('array', 'r') as inf: >>> ls = inf.readlines() >>> for l in ls: ... print l.strip() ... print l.split(', ')[0] # 1ere colonne ... bgf, jhy, lk bgf lkn, pm, olk lkn vc, bgf, ldf vc

---

Maintenant avec le module csv

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

>>> import csv >>> with open('array.csv', 'w') as outf: ... writer = csv.writer(outf, delimiter=' ') ... for a in arr: ... writer.writerow(a) ... >>> with open('array.csv', 'r') as inf: ... reader = csv.reader(inf, delimiter=' ') ... for row in reader: ... print row ... ['bgf', 'jhy', 'lk'] ['lkn', 'pm', 'olk'] ['vc', 'bgf', 'ldf'] >>>

---

Plus propre, non ?

Salut wiztricks,

C'est vrai qu'il convient de signaler que les valeurs numériques seront récupérées en strings

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

>>> arr = numpy.array([[5, 4, 87], [64, 2, 91]] ) >>> with open('array.csv', 'w') as outf: ... writer = csv.writer(outf, delimiter=' ') ... for a in arr: ... writer.writerow(a) ... >>> with open('array.csv', 'r') as inf: ... reader = csv.reader(inf, delimiter=' ') ... for row in reader: ... print row ... ['5', '4', '87'] ['64', '2', '91']

---

Salut,

Citation:

---

Envoyé par VinsS

Plus propre, non ?

---

On peut passer par le module CSV de Python ou utiliser les fonctions internes du module numpy.
Qu'est ce qui est le plus adapté/simple dépend de ce qu'on veut faire... et çà c'est plus ou moins confus (et dans la tête du PO).

- W

merci beaucoup à vous deux !

J'essaierai ce soir car je n'ai aucun module python sur le PC actuel pour tester.

Bonne journée,
Nat

J'ai tenté toute la page de code.
data : liste de plus 2 000 000 d’éléments
Pour faire des calculs, je l’ai transformée en tableau.

Code:

---

1 2 3 4

tab = np.array(data) print tab [110 110 110 ..., 114 114 118]

---

J'ai tenté de voir mes données dans un fichier txt.

Code:

---

1 2 3 4 5 6 7

sortie = '.\\valeur\\%s%d%d%dindice.txt' % (nomf,adate[year],bdate[month],cdate[week]) f = open(sortie, 'w') f.write(tab) f.close() f = open(sortie, 'r') f.read()

---

le résultat est pas génial :
nnnnnssrrsuvuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuusuuuuvvvvnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnn


J'ai tenté de voir :

Code:

---

1 2 3 4

np.savetxt(sortie, tab, delimiter=",") f = open(sortie) f.read()

---

J'ai obtenu une liste sans virgule

1.100000000000000000e+02
1.100000000000000000e+02
1.100000000000000000e+02
1.100000000000000000e+02
1.100000000000000000e+02


J'ai tenté :

Code:

---

1 2 3 4 5 6 7 8 9 10

with open(sortie, 'w') as outf: for l in tab: outf.write(", ".join(l) + "\n")   with open(sortie, 'r') as inf: ls = inf.readlines() for l in ls: print l.strip() print l.split(', ')[0] # 1ere colonne

---

j'ai obtenu

Code:

---

1 2	outf.write(", ".join(l) + "\n") TypeError: can only join an iterable

---

puis ça

Code:

---

1 2 3 4 5 6 7 8 9

with open('array.csv', 'w') as outf: writer = csv.writer(outf, delimiter=' ') for a in arr: writer.writerow(a) with open('array.csv', 'r') as inf: reader = csv.reader(inf, delimiter=' ') for row in reader: print row

---

j'ai obtenu
writer.writerow(a)
Error: sequence expected

puis j'ai modifié le (a) en ([a])

Code:

---

1 2	for a in data: writer.writerow ([a])

---

j'ai une liste
['115']
['115']
['115']
['115']
['110']
['110']
['110']
['110']
....

je pense que je vais faire avec une liste, je dois extraire ma première colonne pour la comparer à la première colonne de chacun des fichiers...
vu que la liste initiale est rangée, je sais que les 1009 premières valeurs occupent la première colonne.
s'il y a plus simple, je suis preneuse

Bonne soirée,
Nat

Citation:

---

Envoyé par natdePau

J'ai tenté celle de VinsS,

Code:

---

1 2 3 4

np.savetxt(sortie, tab, delimiter=",") f = open(sortie) f.read()

---

---

Non, mon code se base sur la numpy.array(), pas sur le fichier que tu as déjà écrit et que tu relis. Ce fichier est inutilisable.


Ceci:

Code:

---

1 2 3 4

with open(sortie, 'w') as outf: for l in tab: outf.write(", ".join(l) + "\n")

---

sert à écrire le fichier correctement.

Et ceci:

Code:

---

1 2 3 4 5 6

with open(sortie, 'r') as inf: ls = inf.readlines() for l in ls: print l.strip() print l.split(', ')[0] # 1ere colonne

---

à le relire.



Pareil en csv, écrire:

Code:

---

1 2 3 4 5

with open('array.csv', 'w') as outf: writer = csv.writer(outf, delimiter=' ') ... for a in arr: ... writer.writerow(a)

---

Lire:

Code:

---

1 2 3 4 5

>>> with open('array.csv', 'r') as inf: ... reader = csv.reader(inf, delimiter=' ') ... for row in reader: ... print row

---

Je sais, j'ai très bien compris que tu me montrais ce que j'effectuais comme opération, j'ai juste voulu refaire moi-même avec mes données pour voir si j'obtenais les mêmes résultats.

avec le code suivant pour écrire :

Code:

---

1 2 3 4

with open(sortie, 'w') as outf: for l in tab: outf.write(", ".join(l) + "\n")

---

j'ai aussi très bien compris qu'on mettait un séparateur, entre les colonnes pour les retrouver ensuite en lecture et qu'on allait à la ligne avec "\n"

cependant, j'ai testé et j'ai obtenu

TypeError: can only join an iterable

Dommage car je le trouvais bien ce code ;), si t'as la solution pour qu'il fonctionne, je prends, ça m'éviterait de faire des calculs pour retrouver mes milliers de colonnes, je pourrais faire une boucle.

Bonne soirée

Nat

Dans cet exemple tab est le tableau et l est une ligne du tableau et cette ligne doit être une liste.

Or le message d'erreur dit que ce n'est pas le cas.

Rajoute un print pour voir ce qu'il en est.

Code:

---

1 2 3 4 5

with open(sortie, 'w') as outf: for l in tab: print l outf.write(", ".join(l) + "\n")

---

Salut, c'est bien une liste de plus de 1 900 000 valeurs.

si je fais un print, mon ordi mouline indéfiniment.

si je fait value = data[1000], j'ai bien la bonne valeur qui s'affiche

si je fais len(data), j'ai bien la bonne longueur qui s'affiche

mais si je fais

Code:

---

1 2 3 4

with open(sortie, 'w') as fid: for data in tab: fid.write(", ".join(data) + "\n")

---

j'obtiens

Code:

---

1 2 3

fid.write(", ".join(data) + "\n") TypeError: can only join an iterable

---

pourtant j'ai une liste
j'ai fait print type(data)
il m'affiche <type 'list'>


Nat

Ouais, je crois comprendre que ton tableau 2 D n'en est pas un mais une simple liste.

Les numpy.array ont un attribut shape pour le savoir.

Code:

---

1 2 3 4 5

>>> a = [['bgf', 'jhy', 'lk'], ['lkn', 'pm', 'olk'], ['vc', 'bgf', 'ldf']] >>> arr = numpy.array(a) >>> arr.shape (3, 3)

---

ici on a un tableau à deux dimensions comportant 3 colonnes et 3 lignes.

Donc dans ton cas:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

import csv # Ecrire with open('array.csv', 'w') as outf: writer = csv.writer(outf, delimiter=' ') if len(array.shape) == 1: writer.writerow(array) else: for a in arr: writer.writerow(a)   # Lire data = [] with open('array.csv', 'r') as inf: reader = csv.reader(inf, delimiter= ' ') for row in reader: data.append(row)

---

Si il n'y a qu'une seule liste de données, tu obtiendras une liste de une liste, Si c'est gênant, tu peux réduire avec data = data[0].

Citation:

---

Envoyé par VinsS

Ouais, je crois comprendre que ton tableau 2 D n'en est pas un mais une simple liste.

Donc dans ton cas:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

import csv # Ecrire with open('array.csv', 'w') as outf: writer = csv.writer(outf, delimiter=' ') if len(array.shape) == 1: writer.writerow(array) else: for a in arr: writer.writerow(a)   # Lire data = [] with open('array.csv', 'r') as inf: reader = csv.reader(inf, delimiter= ' ') for row in reader: data.append(row)

---

Si il n'y a qu'une seule liste de données, tu obtiendras une liste de une liste, Si c'est gênant, tu peux réduire avec data = data[0].

---

merci pour ton aide, finalement un fichier csv ne contient pas assez de lignes et quand je lance mon programme, un nouveau message d'erreur apparait par moment qui m'informe d'un problème de mémoire "error memory".
J'ai trop de données...
sinon, je cherche l'équivalent de "fwrite(fid, data, 'uchar')" (Matlab) en Python??? Si quelqu'un peut m'aider !
Bonne soirée,
Nat

D'oû vient le csv, est-ce toi qui le crées ou bien tu le reçois tel quel ?

en fait, je le crée pour y mettre mes données.