écarts entre 2 dataframe pandas

Version imprimable

Bonjour,

J'ai 2 dataframe (com1 et com2) obtenus depuis XL avec pd.read_excel("...

Je défini les écarts dans un dataframe de booléens avec gap=(com1.fillna(0) != com2.fillna(0))
Je remplace les NaN par 0 sinon le != ne donne pas le résultat que je souhaite

Je souhaite obtenir les coordonnées et les valeurs des cellules en écart
Je voudrais éviter de faire des boucles qui itèrent sur les rows et les columns en travaillant plutôt de façon vectorielle pour bénéficier de l'efficacité de pandas

Merci pour vos conseils

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
 
com1
Out[36]: 
   Unnamed: 0  Unnamed: 1  Unnamed: 2 Unnamed: 3 Unnamed: 4
0         NaN         NaN         NaN        NaN        NaN
1         NaN         NaN         NaN        NaN        NaN
2         NaN         NaN         NaN        NaN        NaN
3         NaN         NaN         NaN        ghg          k
4         NaN         NaN         NaN        NaN        NaN
5         NaN         NaN         NaN          h        NaN
6         NaN         NaN         NaN        NaN        NaN
7         NaN         NaN         NaN        NaN        NaN
8         NaN         NaN         NaN        112        NaN
 
com2
Out[37]: 
   Unnamed: 0  Unnamed: 1 Unnamed: 2 Unnamed: 3 Unnamed: 4
0         NaN         NaN         qq        NaN        NaN
1         NaN        45.0        NaN        NaN        NaN
2         NaN         NaN        NaN        NaN        NaN
3         NaN         NaN        NaN        ghg          k
4         NaN         NaN        NaN        NaN        NaN
5         NaN         NaN        NaN          x        NaN
6         NaN         NaN        NaN        NaN        NaN
7         NaN         NaN        NaN        NaN        NaN
8         NaN         NaN        NaN        110        NaN
 
gap
Out[38]: 
   Unnamed: 0  Unnamed: 1  Unnamed: 2  Unnamed: 3  Unnamed: 4
0       False       False        True       False       False
1       False        True       False       False       False
2       False       False       False       False       False
3       False       False       False       False       False
4       False       False       False       False       False
5       False       False       False        True       False
6       False       False       False       False       False
7       False       False       False       False       False
8       False       False       False        True       False

Le résultat souhaité:

Code:

1
2
3
4
0, 2, NaN, 'qq'
1, 1, NaN, 45
5, 3, 'h', 'x'
8, 3, 112, 110

salut,

j'ai pas l'impression qu'il existe une méthode toute faite déjà prête à l'emploi, concernant les NaN il semble qu'il faille dealer avec numpy.nan.

solution naïve avec deux boucles imbriquées :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
>>> a = pd.DataFrame(np.array([  [np.nan, np.nan, 'toto', np.nan, np.nan],
...                              [np.nan, np.nan, np.nan, np.nan, np.nan],
...                              [np.nan, np.nan, np.nan, np.nan,      3]  ]))
>>>
>>> b = pd.DataFrame(np.array([  [np.nan, 'toto', np.nan, np.nan, np.nan],
...                              [np.nan, np.nan,      5, np.nan, np.nan],
...                              [np.nan, np.nan, np.nan, np.nan,      3]  ]))
>>> assert(a.shape == b.shape)
>>> print('\n'.join([f'{i}, {j}, {a.at[i,j]}, {b.at[i,j]}' for i in range(a.shape[0]) for j in range(a.shape[1]) if a.at[i,j] != b.at[i,j]]))
0, 1, nan, toto
0, 2, toto, nan
1, 2, nan, 5

ou sa version déroulée :

Code:

1
2
3
4
for j in range(a.shape[1]):
   for i in range(a.shape[0]):
      if a.at[i,j] != b.at[i,j]:
         print('{}, {}, {}, {}'.format(i, j, a.at[i,j], b.at[i,j]))

19/12/2018, 17h22
francis60
Merci beaucoup.

La valeur NaN a un comportement bizarre avec les tests booléens:
Code:

1 2 3 4 5 com1.iloc[0,2] Out[77]: nan com1.iloc[0,2] != com1.iloc[0,2] Out[78]: True
19/12/2018, 17h50
BufferBob

Citation:

Envoyé par francis60

La valeur NaN a un comportement bizarre avec les tests booléens

il semblerait que ce soit un effet connu

Code:

1
2
np.nan == np.nan
Out[12]: False

Afin des propager les erreurs de façon systématique dans les calculs...

J'ai trouvé un contournement du problème avec .fillna(0)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
    com1.fillna(0, inplace=True)
    com2.fillna(0, inplace=True)
    gap=(com1 != com2)
    print(gap)
    for j in range(gap.shape[1]):
        for i in range(gap.shape[0]):
            if (com1.iloc[i,j] != com2.iloc[i,j]):
                print('{}, {}, {}, {}'.format(i, j, sh1.iloc[i,j], sh2.iloc[i,j]))
 
   Unnamed: 0  Unnamed: 1  Unnamed: 2  Unnamed: 3  Unnamed: 4
0       False       False        True       False       False
1       False        True       False       False       False
2       False       False       False       False       False
3       False       False       False       False       False
4       False       False       False       False       False
5       False       False       False        True       False
6       False       False       False       False       False
7       False       False       False       False       False
8       False       False       False        True       False
 
1, 1, nan, 45.0
0, 2, nan, qq
5, 3, h, x
8, 3, 112, 110

Pour éviter la double boucle, il faudrait une fonction pandas pour extraire les coordonnées de gap qui sont True
In gap.magic(True)
Out [(0,2), (1,1), (5,3), (8,3)]