Discussion :

[natdePau]

Bonsoir, j'ai regardé la doc sur les tableaux, les matrices, les listes, numpy, je ne trouve pas la réponse à ma question pourtant ça semble tout bête.

J'ai deux programmes, dans le premier, je crée des fichiers sans extension. Ce sont des listes transformées en tableaux pour des calculs avec

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tab= np.array(data)

donc j'ai une vingtaine de fichiers contenant des tableaux à 2 D.

dans mon second programme, je veux juste récupérer les données présentes dans ces fichiers et là, je bug.

je peux afficher le contenu mais je n'arrive pas à extraire la première colonne de chacun des tableaux

J'aimerais avoir la méthode pour récupérer la première colonne de chaque tableau pour créer un tableau unique de toutes ces premières colonnes.

J'ai rangé mes fichiers dans des listes différentes. Par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 for trait in range (1,10):
 
            listefichiers = [] 
            chemin = '.\\valeur\\%s%d%d%dindice' % (nomf,adate[year],bdate[month],cdate[week])
            listefichiers .append(chemin)

Juste une méthode m'aiderait.
j'ai essayé de créer une liste vide, de faire une boucle mais je ne vois pas comment extraire la colonne 1 de chaque tableau de chacun des fichiers car il n'a pas l'air de voir que ce sont des tableaux dans les fichiers pourtant quand je lui demande de me les afficher, ce sont bien des tableaux.

Merci beaucoup de m'aider.
Nat

[VinsS]

Salut,

Comment sont écrit ces fichier ?

Tu peux en montrer un exemple ?

[natdePau]

Salut,

j'ai des listes, ex: "temp".
je les ai transformées en tableau car j'ai fait des calculs avec certaines d'entre elles.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
data = np.array(temp) #transformation de la liste en tableau
sortie = '.\\valeur\\%s%d%d%dindice' % (nomf,adate[year],bdate[month],cdate[week]) #nom du fichier de destination des données en sortie
fid = open(sortie, 'w') #ouverture du fichier en écriture
fid.write(str(data)) #écriture des données 
fid.close #fermeture du fichier

Nat

[wiztricks]

Salut,

Essayez de comprendre ce qui se passe.
On écrit fabrique un array et on le pousse dans un fichier.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
>>> data = np.array([[1,2], [3,4]])
>>> data
array([[1, 2],
       [3, 4]])
>>> print (data)
[[1 2]
 [3 4]]
>>> f = open('foo.txt', 'w')
>>> f.write(data)
>>> f.close()

Si vous voulez "traiter" les données que vous avez écrites, il faut aller voir à quoi elles ressemblent:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
>>> f = open('foo.txt', 'r')
>>> f.read()
'\x01\x00\x00\x00\x02\x00\x00\x00\x03\x00\x00\x00\x04\x00\x00\x00'

C'est un fichier binaire, pas facile à traiter autrement qu'avec numpy.
Il serait plus simple d'écrire le tableau sous forme CSV:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
>>> np.savetxt('foo3.txt', data, delimiter=",")
>>> f = open('foo3.txt')
>>> f.read()
'1.000000000000000000e+00,2.000000000000000000e+00\n3.000000000000000000e+00000000000000000e+00\n'
>>>

Dans ce cas, c'est un fichier texte où les lignes correspondent à celles du tableau et la valeur de chaque colonne est séparée par ",".

Tout dépend de ce que vous voulez faire...mais ce ne sera pas le même travail pour lire et décoder.

- W

[VinsS]

C'est pas très pratique ce que tu fais là.

Si je le reproduis:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
Python 2.7.3 (default, Dec 18 2014, 19:03:52) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy
>>> a = [['bgf', 'jhy', 'lk'], ['lkn', 'pm', 'olk'], ['vc', 'bgf', 'ldf']]
>>> arr = numpy.array(a)
>>> f = open('array', 'w')
>>> f.write(str(a))
>>> f.close()

j'obtiens ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
>>> f = open('array', 'r')
>>> l = f.readlines()
>>> f.close()
>>> print l
["[['bgf', 'jhy', 'lk'], ['lkn', 'pm', 'olk'], ['vc', 'bgf', 'ldf']]"]

Je n'ai pas envie de parser ces infos, faisons quelque chose de plus adéquat:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
>>> with open('array', 'w') as outf:
...     for l in arr:
...             outf.write(", ".join(l) + "\n")
... 
>>> with open('array', 'r') as inf:
>>>     ls = inf.readlines()
>>> for l in ls:
...     print l.strip()
...     print l.split(', ')[0] # 1ere colonne
... 
bgf, jhy, lk
bgf
lkn, pm, olk
lkn
vc, bgf, ldf
vc

Maintenant avec le module csv

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
>>> import csv
>>> with open('array.csv', 'w') as outf:
...     writer = csv.writer(outf, delimiter=' ')
...     for a in arr:
...             writer.writerow(a)
... 
>>> with open('array.csv', 'r') as inf:
...     reader = csv.reader(inf, delimiter=' ')
...     for row in reader:
...             print row
... 
['bgf', 'jhy', 'lk']
['lkn', 'pm', 'olk']
['vc', 'bgf', 'ldf']
>>>

Plus propre, non ?

[VinsS]

Salut wiztricks,

C'est vrai qu'il convient de signaler que les valeurs numériques seront récupérées en strings

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
>>> arr = numpy.array([[5, 4, 87], [64, 2, 91]] )
>>> with open('array.csv', 'w') as outf:
...     writer = csv.writer(outf, delimiter=' ')
...     for a in arr:
...             writer.writerow(a)
... 
>>> with open('array.csv', 'r') as inf:
...     reader = csv.reader(inf, delimiter=' ')
...     for row in reader:
...             print row
... 
['5', '4', '87']
['64', '2', '91']

[wiztricks]

Salut,

Plus propre, non ?

On peut passer par le module CSV de Python ou utiliser les fonctions internes du module numpy.
Qu'est ce qui est le plus adapté/simple dépend de ce qu'on veut faire... et çà c'est plus ou moins confus (et dans la tête du PO).

- W

[natdePau]

merci beaucoup à vous deux !

J'essaierai ce soir car je n'ai aucun module python sur le PC actuel pour tester.

Bonne journée,
Nat

[natdePau]

J'ai tenté toute la page de code.
data : liste de plus 2 000 000 d’éléments
Pour faire des calculs, je l’ai transformée en tableau.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
tab = np.array(data)
print tab
[110 110 110 ..., 114 114 118]

J'ai tenté de voir mes données dans un fichier txt.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
    sortie = '.\\valeur\\%s%d%d%dindice.txt' % (nomf,adate[year],bdate[month],cdate[week]) 
    f = open(sortie, 'w')
    f.write(tab)
    f.close()
    f = open(sortie, 'r')
    f.read()

le résultat est pas génial :
nnnnnssrrsuvuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuusuuuuvvvvnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnn


J'ai tenté de voir :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
np.savetxt(sortie, tab, delimiter=",")
f = open(sortie)
f.read()

J'ai obtenu une liste sans virgule

1.100000000000000000e+02
1.100000000000000000e+02
1.100000000000000000e+02
1.100000000000000000e+02
1.100000000000000000e+02


J'ai tenté :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
with open(sortie, 'w') as outf:
    for l in tab:
       outf.write(", ".join(l) + "\n")
 
with open(sortie, 'r') as inf:
  ls = inf.readlines()
     for l in ls:
           print l.strip()
           print l.split(', ')[0] # 1ere colonne

j'ai obtenu

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
    outf.write(", ".join(l) + "\n")
TypeError: can only join an iterable

puis ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
with open('array.csv', 'w') as outf:
writer = csv.writer(outf, delimiter=' ')
  for a in arr:
  writer.writerow(a)
with open('array.csv', 'r') as inf:
   reader = csv.reader(inf, delimiter=' ')
   for row in reader:
   print row

j'ai obtenu
writer.writerow(a)
Error: sequence expected

puis j'ai modifié le (a) en ([a])

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
for a in data:
              writer.writerow ([a])

j'ai une liste
['115']
['115']
['115']
['115']
['110']
['110']
['110']
['110']
....

je pense que je vais faire avec une liste, je dois extraire ma première colonne pour la comparer à la première colonne de chacun des fichiers...
vu que la liste initiale est rangée, je sais que les 1009 premières valeurs occupent la première colonne.
s'il y a plus simple, je suis preneuse

Bonne soirée,
Nat

[VinsS]

J'ai tenté celle de VinsS,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
np.savetxt(sortie, tab, delimiter=",")
f = open(sortie)
f.read()

Non, mon code se base sur la numpy.array(), pas sur le fichier que tu as déjà écrit et que tu relis. Ce fichier est inutilisable.


Ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
with open(sortie, 'w') as outf:
    for l in tab:
       outf.write(", ".join(l) + "\n")

sert à écrire le fichier correctement.

Et ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
with open(sortie, 'r') as inf:
  ls = inf.readlines()
     for l in ls:
           print l.strip()
           print l.split(', ')[0] # 1ere colonne

à le relire.



Pareil en csv, écrire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
with open('array.csv', 'w') as outf:
writer = csv.writer(outf, delimiter=' ')
...     for a in arr:
...             writer.writerow(a)

Lire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
>>> with open('array.csv', 'r') as inf:
...     reader = csv.reader(inf, delimiter=' ')
...     for row in reader:
...             print row

[natdePau]

Je sais, j'ai très bien compris que tu me montrais ce que j'effectuais comme opération, j'ai juste voulu refaire moi-même avec mes données pour voir si j'obtenais les mêmes résultats.

avec le code suivant pour écrire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
with open(sortie, 'w') as outf:
    for l in tab:
       outf.write(", ".join(l) + "\n")

j'ai aussi très bien compris qu'on mettait un séparateur, entre les colonnes pour les retrouver ensuite en lecture et qu'on allait à la ligne avec "\n"

cependant, j'ai testé et j'ai obtenu

TypeError: can only join an iterable

Dommage car je le trouvais bien ce code , si t'as la solution pour qu'il fonctionne, je prends, ça m'éviterait de faire des calculs pour retrouver mes milliers de colonnes, je pourrais faire une boucle.

Bonne soirée

Nat

[VinsS]

Dans cet exemple tab est le tableau et l est une ligne du tableau et cette ligne doit être une liste.

Or le message d'erreur dit que ce n'est pas le cas.

Rajoute un print pour voir ce qu'il en est.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
with open(sortie, 'w') as outf:
    for l in tab:
       print l
       outf.write(", ".join(l) + "\n")

[natdePau]

Salut, c'est bien une liste de plus de 1 900 000 valeurs.

si je fais un print, mon ordi mouline indéfiniment.

si je fait value = data[1000], j'ai bien la bonne valeur qui s'affiche

si je fais len(data), j'ai bien la bonne longueur qui s'affiche

mais si je fais

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
with open(sortie, 'w') as fid:
                    for data in tab:
                       fid.write(", ".join(data) + "\n")

j'obtiens

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
    fid.write(", ".join(data) + "\n")
TypeError: can only join an iterable

pourtant j'ai une liste
j'ai fait print type(data)
il m'affiche <type 'list'>


Nat

[VinsS]

Ouais, je crois comprendre que ton tableau 2 D n'en est pas un mais une simple liste.

Les numpy.array ont un attribut shape pour le savoir.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
>>> a = [['bgf', 'jhy', 'lk'], ['lkn', 'pm', 'olk'], ['vc', 'bgf', 'ldf']]
>>> arr = numpy.array(a)
>>> arr.shape
(3, 3)

ici on a un tableau à deux dimensions comportant 3 colonnes et 3 lignes.

Donc dans ton cas:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
import csv
# Ecrire
with open('array.csv', 'w') as outf:
    writer = csv.writer(outf, delimiter=' ')
    if len(array.shape) == 1:
        writer.writerow(array)
    else:
        for a in arr:
            writer.writerow(a)
 
# Lire
data = []
with open('array.csv', 'r') as inf:
    reader = csv.reader(inf, delimiter= ' ')
    for row in reader:
        data.append(row)

Si il n'y a qu'une seule liste de données, tu obtiendras une liste de une liste, Si c'est gênant, tu peux réduire avec data = data[0].

[natdePau]

Ouais, je crois comprendre que ton tableau 2 D n'en est pas un mais une simple liste.

Donc dans ton cas:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
import csv
# Ecrire
with open('array.csv', 'w') as outf:
    writer = csv.writer(outf, delimiter=' ')
    if len(array.shape) == 1:
        writer.writerow(array)
    else:
        for a in arr:
            writer.writerow(a)
 
# Lire
data = []
with open('array.csv', 'r') as inf:
    reader = csv.reader(inf, delimiter= ' ')
    for row in reader:
        data.append(row)

Si il n'y a qu'une seule liste de données, tu obtiendras une liste de une liste, Si c'est gênant, tu peux réduire avec data = data[0].

merci pour ton aide, finalement un fichier csv ne contient pas assez de lignes et quand je lance mon programme, un nouveau message d'erreur apparait par moment qui m'informe d'un problème de mémoire "error memory".
J'ai trop de données...
sinon, je cherche l'équivalent de "fwrite(fid, data, 'uchar')" (Matlab) en Python??? Si quelqu'un peut m'aider !
Bonne soirée,
Nat

[VinsS]

D'oû vient le csv, est-ce toi qui le crées ou bien tu le reçois tel quel ?

[natdePau]

en fait, je le crée pour y mettre mes données.