Merge Dataframe avec pandas, sans dupliquer les colonnes

Bonjour à tous,

J'essaye d’agglomérer des données assez disparates contenues dans une dizaine de fichiers csv. Ces fichiers contiennent approximativement 100 colonnes, mais cela varie. La grande majorité de ces colonnes sont redondantes d'un fichier à l'autre (mais pas toutes!). Cependant, elles ont toutes une colonne en commun, qu'on nomme 'date_time' ici, qui est utilisée comme point d'encrage pour l'agglomération des dataframes. Lorsque j'effectue un pandas.merge() entre deux dataframes qui ont une colonne en commun (imaginons potato), au lieu d'ajouter les nouvelles données à la colonne existante, cette colonne est dupliquée et renommée automatiquement (potato_x, potato_y). Comment éviter la duplication des colonnes ?
On peut résumer mon problème avec le petit exemple ci-dessous.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

# Reference dataframe df = pd.DataFrame({'date_time':['2018-06-01 00:00:00','2018-06-01 00:30:00','2018-06-01 01:00:00','2018-06-01 01:30:00']})   # Dataframes to merge to reference dataframe df1 = pd.DataFrame({'date_time':['2018-06-01 00:30:00','2018-06-01 01:00:00'], 'potato':[13,21]})   df2 = pd.DataFrame({'date_time':['2018-06-01 01:30:00','2018-06-01 02:00:00','2018-06-01 02:30:00'], 'carrot':[14,8,32]})   df3 = pd.DataFrame({'date_time':['2018-06-01 01:30:00','2018-06-01 02:00:00'], 'potato':[27,31], 'zucchini':[11,1]})     df = df.merge(df1, how='left', on='date_time') df = df.merge(df2, how='left', on='date_time') df = df.merge(df3, how='left', on='date_time')

---

ce qui donne comme résultat

Code:

---

1 2 3 4 5

date_time potato_x carrot potato_y zucchini 0 2018-06-01 00:00:00 NaN NaN NaN NaN 1 2018-06-01 00:30:00 13.0 NaN NaN NaN 2 2018-06-01 01:00:00 21.0 NaN NaN NaN 3 2018-06-01 01:30:00 NaN 14.0 27.0 11.0

---

alors que je voudrais

Code:

---

1 2 3 4 5

date_time potato carrot zucchini 0 2018-06-01 00:00:00 NaN NaN NaN 1 2018-06-01 00:30:00 13.0 NaN NaN 2 2018-06-01 01:00:00 21.0 NaN NaN 3 2018-06-01 01:30:00 27.0 14.0 11.0

---

Merci beaucoup !

Il faut utiliser un stratagème expliqué dans http://raju.shoutwiki.com/wiki/Manip..._with_new_data (remplacer, éliminer puis renommer)

Avec

Code:

---

df = pd.DataFrame({'date_time':['2018-06-01 00:00:00','2018-06-01 00:30:00','2018-06-01 01:00:00','2018-06-01 01:30:00','2018-06-01 02:00:00']})

---

puisqu'il y a '2018-06-01 02:00:00' et 2 valeurs de potato dans df3

Code:

---

1 2 3 4 5 6 7 8 9 10 11

df.loc[df['potato_y'].isna(), 'potato_y'] = df['potato_x'] df.drop(['potato_x'], axis=1, inplace=True) df.rename(columns={'potato_y':'potato'}, inplace=True) print(df) date_time carrot potato zucchini 0 2018-06-01 00:00:00 NaN NaN NaN 1 2018-06-01 00:30:00 NaN 13.0 NaN 2 2018-06-01 01:00:00 NaN 21.0 NaN 3 2018-06-01 01:30:00 14.0 27.0 11.0 4 2018-06-01 02:00:00 8.0 31.0 1.0 5 2018-06-01 02:30:00 32.0 NaN NaN

---

:salut:

Avec concat, une seule colonne potato mais c'est date_time qui est multiple :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

result = pd.concat([df, df1, df2, df3], axis=0, sort=False)   print(result)   '''              date_time  potato  carrot  zucchini 0  2018-06-01 00:00:00     NaN     NaN       NaN 1  2018-06-01 00:30:00     NaN     NaN       NaN 2  2018-06-01 01:00:00     NaN     NaN       NaN 3  2018-06-01 01:30:00     NaN     NaN       NaN 0  2018-06-01 00:30:00    13.0     NaN       NaN 1  2018-06-01 01:00:00    21.0     NaN       NaN 0  2018-06-01 01:30:00     NaN    14.0       NaN 1  2018-06-01 02:00:00     NaN     8.0       NaN 2  2018-06-01 02:30:00     NaN    32.0       NaN 0  2018-06-01 01:30:00    27.0     NaN      11.0 1  2018-06-01 02:00:00    31.0     NaN       1.0 '''

---

EDIT : la solution du message précédent fonctionne en remplaçant how="left par how='outer' :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

df = df.merge(df1, how='outer', on='date_time') df = df.merge(df2, how='outer', on='date_time') df = df.merge(df3, how='outer', on='date_time')   df.loc[df['potato_y'].isna(), 'potato_y'] = df['potato_x'] df.drop(['potato_x'], axis=1, inplace=True) df.rename(columns={'potato_y': 'potato'}, inplace=True) print(df)   '''      date_time           carrot  potato  zucchini 0  2018-06-01 00:00:00     NaN     NaN       NaN 1  2018-06-01 00:30:00     NaN     13.0      NaN 2  2018-06-01 01:00:00     NaN     21.0      NaN 3  2018-06-01 01:30:00    14.0     27.0      11.0 4  2018-06-01 02:00:00     8.0     31.0      1.0 5  2018-06-01 02:30:00    32.0     NaN       NaN '''

---

Salut,

Citation:

---

Envoyé par thecrazydonut

Comment éviter la duplication des colonnes ?

---

En utilisant .combine_first qui est juste là pour çà:

Code:

---

1 2 3 4 5 6

df = df.merge(df1, how='left', on='date_time') ## df = df.merge(df2, how='left', on='date_time') ## df = df.merge(df3, how='left', on='date_time') df = df.combine_first(df2) df = df.combine_first(df3) print(df)

---

sortie:

Code:

---

1 2 3 4 5

carrot date_time potato zucchini 0 14.0 2018-06-01 00:00:00 27.0 11.0 1 8.0 2018-06-01 00:30:00 13.0 1.0 2 32.0 2018-06-01 01:00:00 21.0 NaN 3 NaN 2018-06-01 01:30:00 NaN NaN

---

- W

Citation:

---

Envoyé par wiztricks

[...]sortie:

Code:

---

1 2 3 4 5

carrot date_time potato zucchini 0 14.0 2018-06-01 00:00:00 27.0 11.0 1 8.0 2018-06-01 00:30:00 13.0 1.0 2 32.0 2018-06-01 01:00:00 21.0 NaN 3 NaN 2018-06-01 01:30:00 NaN NaN

---

- W

---

Le résultat n'est pas bon du tout, mélange des horaires et il manque potato 31 ! :aie:

Code:

---

1 2 3 4 5 6 7 8 9

'''      date_time           carrot  potato  zucchini 0  2018-06-01 00:00:00     NaN     NaN       NaN 1  2018-06-01 00:30:00     NaN     13.0      NaN 2  2018-06-01 01:00:00     NaN     21.0      NaN 3  2018-06-01 01:30:00    14.0     27.0      11.0 4  2018-06-01 02:00:00     8.0     31.0      1.0 5  2018-06-01 02:30:00    32.0     NaN       NaN '''

---

Citation:

---

Envoyé par danielhagnoul

Le résultat n'est pas bon du tout, mélange des horaires et il manque potato 31 ! :aie:

---

Oops!: oui tu as raison, il faut qu'on ait les mêmes lignes pour le faire. Désolé.
J'ai oublié d'ajouter des index:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

import pandas as pd   # Reference dataframe df = pd.DataFrame({'date_time':['2018-06-01 00:00:00','2018-06-01 00:30:00','2018-06-01 01:00:00','2018-06-01 01:30:00']})   # Dataframes to merge to reference dataframe df1 = pd.DataFrame({'date_time':['2018-06-01 00:30:00','2018-06-01 01:00:00'], 'potato':[13,21]})   df2 = pd.DataFrame({'date_time':['2018-06-01 01:30:00','2018-06-01 02:00:00','2018-06-01 02:30:00'], 'carrot':[14,8,32]})   df3 = pd.DataFrame({'date_time':['2018-06-01 01:30:00','2018-06-01 02:00:00'], 'potato':[27,31], 'zucchini':[11,1]})   df = df.merge(df1, how='left', on='date_time') df.set_index('date_time', inplace=True)   for z in df2, df3: z.set_index('date_time', inplace=True) df = df.combine_first(z)   print(df)

---

Code:

---

1 2 3 4 5 6 7 8

carrot potato zucchini date_time 2018-06-01 00:00:00 NaN NaN NaN 2018-06-01 00:30:00 NaN 13.0 NaN 2018-06-01 01:00:00 NaN 21.0 NaN 2018-06-01 01:30:00 14.0 27.0 11.0 2018-06-01 02:00:00 8.0 31.0 1.0 2018-06-01 02:30:00 32.0 NaN NaN

---

- W

Finalement, c'était moins trivial que ce que j'avais imaginé. Merci beaucoup pour le coup de main !