Discussion :

[Newenda]

Bonjour

j'ai 3 fichiers de data qui se présentent comme suis:

x1 y1 f1_data1
x2 y2 f1_data2
[...]

x1 y1 f2_data1
x2 y2 f2_data2
[...]

x1 y1 f3_data1
x2 y2 f3_data2
[...]

avec x et y les coordonnées d'un point (identiques aux 3 fichiers) et data une valeur à ce point (différents aux 3 fichiers).

J'aimerais calculer l'écart type des data en chaque point:

x1 y1 sqrt(sum(fi_data1-mean(fi_data1))^2 /3))
x2 y2 sqrt(sum(fi_data2-mean(fi_data2))^2 /3))
[...]

Voyez vous une possibilité sans passé par des boucles longues... j'ai 20000 points dans chaque fichier..

Merci d'avance

[wiztricks]

Salut,

Voyez vous une possibilité sans passé par des boucles longues... j'ai 20000 points dans chaque fichier..

Pour faire des calculs sur de gros fichiers de données, on utilisera plutôt numpy ou pandas.

- W

[Newenda]

Merci pour votre réponse.

Oui j'utilise numpy.

Mon idée avec, est de concaténer les data en array de dimension n*3 (n: nombre de ligne ou data dans un fichier)

[f1_data1 f2_data1 f3_data1
f1_data2 f2_data2 f3_data2
f1_data3 f2_data3 f3_data3
[...]

Puis de faire direct une np.std par ligne.

Mais j'arrive même pas à concatener 3 vecteurs colonnes. Doit on les ajouter les vecteurs les uns à la suite des autres puis faire un reshape ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
[..]
Image0_VS = np.loadtxt(filein0)
print np.shape(Image0_VS)
 
dataI0VS = Image0_VS[:,2]
 
filein1=os.path.join(fileDir1,filename)
Image1_VS = np.loadtxt(filein1)
dataI1VS = Image1_VS[:,2]
 
filein2=os.path.join(fileDir2,filename)
Image2_VS = np.loadtxt(filein2)
dataI2VS = Image2_VS[:,2]
 
filein3=os.path.join(fileDir3,filename)
Image3_VS = np.loadtxt(filein3)
dataI3VS = Image3_VS[:,2]
 
dataAll=np.concatenate((dataI1VS,dataI2VS,dataI3VS),axis=0).reshape(65536,3)

Toutes les valeurs sont à la suite comme ceci, j'aimerais bien avoir chaque colonne correspondant à chaque vecteur défini (data1VS, data2VS et data3VS)

Merci

[lg_53]

Vous avez l'idée, mais le reshape va être inutile, il suffit de transposer la matrice
Comme ceci tout simplement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
dataAll=np.vstack((dataI1VS,dataI2VS,dataI3VS)).transpose()
print(np.std(dataAll, axis=1))

[Newenda]

Vous avez l'idée, mais le reshape va être inutile, il suffit de transposer la matrice
Comme ceci tout simplement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
dataAll=np.vstack((dataI1VS,dataI2VS,dataI3VS)).transpose()
print(np.std(dataAll, axis=1))

Merci pour cette réponse, dommage que la manipulation des matrices n'est pas copier coller de matlab pour le coup..

Maintenant il ne me reste plus qu'à faire une image carte en couleur et là encore, je bloque.

J'ai essayé pcolormesh, imshow de matplotlib.pyplot

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
FinalMap=np.vstack((Image0_VS[:,0],Image0_VS[:,1],STDall)).transpose()
 
plt.figure()
plt.imshow(FinalMap)
plt.title('image')
plt.colorbar()
 
plt.show()

Mais il ne me trace rien, y'a la figure qui sort avec la colorbar mais c'est tout.

ou encore

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
plt.pcolormesh(Image0_VS[:,0],Image0_VS[:,1],STDall)
plt.colorbar()
plt.show()

et là j'ai l'erreur suivante :

Traceback (most recent call last):
File "ImageDiff.py", line 70, in <module>
plt.pcolormesh(Image0_VS[:,0],Image0_VS[:,1],STDall)
File "/usr/lib/python2.7/dist-packages/matplotlib/pyplot.py", line 3092, in pcolormesh
ret = ax.pcolormesh(*args, **kwargs)
File "/usr/lib/python2.7/dist-packages/matplotlib/__init__.py", line 1821, in inner
return func(ax, *args, **kwargs)
File "/usr/lib/python2.7/dist-packages/matplotlib/axes/_axes.py", line 5420, in pcolormesh
X, Y, C = self._pcolorargs('pcolormesh', *args, allmatch=allmatch)
File "/usr/lib/python2.7/dist-packages/matplotlib/axes/_axes.py", line 5020, in _pcolorargs
numRows, numCols = C.shape
ValueError: need more than 1 value to unpack

Une idée de mon erreur?

Merci encore

EDIT: c'est un autre problème, autre post

[lg_53]

Merci pour cette réponse, dommage que la manipulation des matrices n'est pas copier coller de matlab pour le coup..

En même temps, Python ne s'appelle pas Matlab. Et les ingénieurs de Matlab n'aurait aucun intérêt à adopter la même syntaxe qu'un langage gratuit s'il veulent vendre des licences ...

Les syntaxes sont tous de même relativement proche et si tu regardes un peu la doc tu devrais vite trouver les infos qu'il te faut. Va manipuler des tableaux en C++, tu me diras si ça ressemble plus et si c'est plus facile à comprendre !

Maintenant il ne me reste plus qu'à faire une image carte en couleur et là encore, je bloque.

Ceci devrait t'inspirer :
http://jeffskinnerbox.me/notebooks/m...n-ipython.html

et si ce n'est pas le cas, effectivement ouvre un nouveau post.