Discussion :

[plikplak06]

Bonjour !

J'ai un tableau avec des NaN dans certaines colonnes.
J'aimerais supprimer les lignes de mon dataset lorsqu'il y a 2 NaN dans la ligne (comme ici la première ligne par exemple).



J'ai trouvé un moyen de supprimer une ligne lorsqu'il y a au moins un NaN dedans mais ce n'est pas vraiment ce que je veux faire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
d_f = data[list_colonnes]
index_with_nan = d_f.index[d_f.isnull().any(axis=1)]
index_with_nan
d_f.drop(index_with_nan,0, inplace=True)
d_f

Merci beaucoup pour votre aide !

[plikplak06]

J'ai essayé avec ça mais ça n'a pas l'air de fonctionner :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

d_f.dropna(thresh=2)

Personne n'a d'idée ?

[YCL-1]

Bonjour,

je viens d'essayer, c'est bien la syntaxe d_f.dropna(thresh=2).

L'exemple donné dans la doc : https://pandas.pydata.org/pandas-doc...me.dropna.html

Ça permet bien de supprimer les lignes contenant au moins 2 NaN/NaT.

Il faudrait s'assurer que vos NaN sont bien de type float : float('nan'), np.nan
et non en str.

Car 'NaN' sera affiché pareil en print mais ne pourra pas être reconnu comme une valeur Not a Number.


Essayez cette syntaxe pour inspecter chaque type :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

pd.DataFrame([(type(c).__name__ for c in row) for i, row in d_f.iterrows()])

qui devrait afficher un truc du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
       0    1      2
0    int  int  float
1    int  int  float
2    str  int  float
3    int  int  float
4    int  int  float
5  float  int  float
6    int  int  float
7    int  int  float
8    int  int  float
9    int  int  float

Si les éléments NaN sont indiqués str c'est qu'il faut les convertir au préalable en float.

Avec la syntaxe suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

d_f.replace("NaN", np.nan)

[plikplak06]

Bonjour !

Au final j'ai réussi à résoudre mon problème, il fallait juste écrire d_f = devant pour attribuer les nouvelles données à mon tableau.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

d_f = d_f.dropna(thresh=2)

Merci pour votre aide !

[wiztricks]

Salut,

il fallait juste écrire d_f = devant pour attribuer les nouvelles données à mon tableau.

Il fallait... non ajouter l'argument inplace=True à dropna l'aurait fait tout aussi bien. C'est comme pour tout les outils: lire le mode d'emploi est une étape nécessaire.

- W