Discussion :

[lg_53]

Bonjour à tous

Après plusieurs heures de recherche dans mon gros code qui manipule des array, j'ai identifié la source précise de mon problème.
Je vous la présente :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
>>> import numpy as np
>>> a=np.array([1,2,3])
>>> b=np.array([1,2,3], dtype=object)
>>> a
array([1, 2, 3])
>>> b
array([1, 2, 3], dtype=object)
>>> np.mean(a)
2.0
>>> np.mean(b)
2.0
>>> np.average(a)
2.0
>>> np.average(b)
 
Traceback (most recent call last):
  File "<pyshell#43>", line 1, in <module>
    np.average(b)
  File "/Library/Python/2.7/site-packages/numpy/lib/function_base.py", line 515, in average
    scl = avg.dtype.type(a.size/avg.size)
AttributeError: 'float' object has no attribute 'dtype'

Initialement dans mon code j'avais mis un np.average qui aujourd'hui m'a produit une erreur de compilation.
En mettant np.mean à la place, cela fonctionne mais j'aimerais bien comprendre pourquoi ...
De plus, quel est le role de ce mystérieux attribut dtype ? (Je le spécifie ici à la main, mais dans mon code rien de cela, l'array est géneré en fonction de d'autre. C'est avec pdb que j'ai remarqué que parfois il avait l'attribut dtype=object et d'autre non ... )

Question subsidiaire :
Si je veux mettre ce petit test dans un script la commande print a, tout comme la commande print b me fournit : [1,2,3]
Comment puis-je faire afficher de la même manière que l'affichage de base dans le shell (c-a-d de sorte à ce que l'affichage de a et de b produise respectivement array([1, 2, 3]) et array([1, 2, 3], dtype=object) ) ?


Merci pour vos réponses

Lg_53

[wiztricks]

Salut,

Initialement dans mon code j'avais mis un np.average qui aujourd'hui m'a produit une erreur de compilation. En mettant np.mean à la place, cela fonctionne mais j'aimerais bien comprendre pourquoi ...

C'est un bug connu de numpy qui devrait être corrigé dans les versions récentes.

Comment puis-je faire afficher de la même manière que l'affichage de base dans le shell (c-a-d de sorte à ce que l'affichage de a et de b produise respectivement array([1, 2, 3]) et array([1, 2, 3], dtype=object)

print repr(array).

- W

[YCL-1]

Bonjour,

toutes vos interrogations se trouvent dans le manuel NumPy, très complet : http://docs.scipy.org/doc/numpy/reference/

docs.scipy.org/numpy.average
Compute the weighted average along the specified axis.

docs.scipy.org/numpy.mean
Compute the arithmetic mean along the specified axis.

Concernant le « mystérieux » dtype : docs.scipy.org/Data type objects

Tout l'intérêt de NumPy est de pouvoir "typer" des tableaux/matrices afin d'en optimiser le parsing dans le cas d'un fichier, le stockage et la manipulation. Par défaut il gère ça automatiquement mais si on connait le format des données d'entrée alors autant l'indiquer à la déclaration avec dtype.

Dans l'exemple :
a=np.array([1, 2, 3])

a.dtype
Va retourner sur la plupart des machines : dtype('int32')

Si on regarde la mémoire allouée pour chacun des éléments :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
>>> a[0].itemsize
4

Soit 4 octets (32 bits) par élément.

Si on sait que les valeurs du tableau ne dépassera pas une certaine valeur et/ou précision dans le cas d'un nombre flottant alors autant le fixer afin d'en optimiser la taille en RAM et de minimiser le temps de calcul lors des opérations.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
a=np.array([1,2,3], dtype=np.int16)
>>> a.dtype
dtype('int16')

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
>>> a[0].itemsize
2

Voilà comment gagner 1.86 Go de RAM sur 1 milliard d'entiers.

Bonne lecture,

[lg_53]

Salut,


C'est un bug connu de numpy qui devrait être corrigé dans les versions récentes.

print repr(array).

- W

Merci, clair et concis comme réponse.
Merci également YCL-1 pour l'ajout de tes précisions.

Pour ceux que ca intéresse, mon array de type object est produit lorsque je retire les éléments None d'un précédent array comme dans le code ci-dessous.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
import numpy as np
 
a=np.array([1,None,3])
print repr(a)
ind=np.where(a!=np.array([None]))
print ind
b=a[ind]
print repr(b) ### array([1, 3], dtype=object)
c=np.array(b, dtype=np.float32)
print repr(c) ### array([ 1.,  3.], dtype=float32)
d=np.array([1.0,3.4,1.5])
print repr(d) ##array([ 1. ,  3.4,  1.5])
print d.dtype  ###dtype('float64')

Etant donné que le tableau b est défini comme un sous tableau de a, il prend le même type.
On peut faire un cast d'un array en object vers un array en float32 ou 64 par exemple.
Cela dit je pense que faire un cast pour ensuite appliquer la méthode np.average est moins rapide que de directement appeler np.means.

Je vais donc m'en tenir à appeler np.means.

Merci à vous pour ces éclaircissement.

Lg53