Boucle sur Dataframe

Version imprimable

Bonjour,

Je suis entrain de travaillé sur plusieurs dataframe assez lourdes sur python.

J'ai deux tables

df1_na, c'est ma table d'opération avec des informations de station et d'heure
df1_2, c'est ma datable de méteo avec un relevé sur une station et toutes les heures

J'ai plusieurs station dans mes fichier et je cherche a faire un truc annuel, donc plusieurs mois.
Mon objectif c'est que pour chaque couple origin_code et actual_time je trouve mon humidité, ma température et mon point de rosé

Pour trouver l'heure la plus proche je prend juste le direct supérieur. C'est plus simple.

J'ai commencer a codé avec une boucle, sauf que c'est vraiment super long. Est ce quelqu'un a une idée pour passer par une fonction.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 while x<len(df1_na): df1_2=df1_3 Station=df1_na.iloc[x,df1_na.columns.get_loc('origin_code')] Day=df1_na.iloc[x,df1_na.columns.get_loc('actual_time')] ### On construit une liste de date autour de la date que l'on cherche Date=df1_na.iloc[x,df1_na.columns.get_loc('actual_day')] Date2=Date+timedelta(days=1) Date1=Date-timedelta(days=1) Liste_date=[] Liste_date.append(Date1) Liste_date.append(Date) Liste_date.append(Date2) ###On filtre par Station puis par date avec les deux jour entourant la date que l'on cherche. df1_2=df1_2[(df1_2.station==Station)] df1_2=df1_2[(df1_2['day'].isin(Liste_date))] df1_2=df1_2[(df1_2.time>=Day)] df1_2.sort_values(by=['time'],ascending=True) if len(df1_2)>0: df1_na.iloc[x,df1_na.columns.get_loc('humidité')]=df1_2.iloc[0,df1_2.columns.get_loc('rel_humidity')] df1_na.iloc[x,df1_na.columns.get_loc('température')]=df1_2.iloc[0,df1_2.columns.get_loc('temp_c')] df1_na.iloc[x,df1_na.columns.get_loc('point de rosée')]=df1_2.iloc[0,df1_2.columns.get_loc('dew_point_c')] print((x/len(df1_na))*100) compteur_1+=1 x+=1
J'ai essayé avec d'autre fonction style iterrows, mais ça ne fonctionne pas.

Merci d'avance.

05/02/2020, 16h53
BufferBob

salut,

perso j'ai pas tout compris, tu pourrais prendre quelques données d'exemple (éventuellement fictives/simplifiées) et montrer ce que tu attends en sortie ?
05/02/2020, 17h20
Julien_VBA

1 pièce(s) jointe(s)

Bonsoir,

Je vais essayer d'être plus clair. Ma première base c'est df1_na avec eux info importante

origin_code actual_time

LEAS 03/06/2018 09:59

EBBR 06/06/2018 07:25

FNLU 07/06/2018 16:05

LLBG 03/06/2018 09:04

KEWR 04/06/2018 06:04

LLBG 04/06/2018 23:04

KEWR 05/06/2018 12:36

et ma deuxième table

Pièce jointe 536190

Et je dois prendre les 3 colonnes de la deuxième table et la mettre dans la première avec l'heure la plus proche.

J'ai plusieurs station et un mois de données.

Est-ce que c'est plus clair ?

origin_code	actual_time
LEAS	03/06/2018 09:59
EBBR	06/06/2018 07:25
FNLU	07/06/2018 16:05
LLBG	03/06/2018 09:04
KEWR	04/06/2018 06:04
LLBG	04/06/2018 23:04
KEWR	05/06/2018 12:36

Citation:

Envoyé par Julien_VBA

Est ce que c'est plus clair ?

plus ou moins, du coup je reprends une partie de ton jeu de données et te propose un truc de ce style :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import pandas as pd
 
df1_na = pd.DataFrame([ ['LEAS', '03/06/2018 08:08'],
                        ['LEAS', '03/06/2018 09:09'],
                        ['LEAS', '03/06/2018 10:10'],
                        ['LEAS', '03/06/2018 11:11']],
                      columns = ['origin_code', 'actual_time'])
df1_na['actual_time'] = pd.to_datetime(df1_na['actual_time'], format='%d/%m/%Y %H:%M')
 
df1_2 = pd.DataFrame([
    ['03/06/2018', 'LEAS',  9, 15.0, 100.0, 15.0, '03/06/2018 08:00'],
    ['03/06/2018', 'LEAS',  1, 14.0,  94.0, 15.0, '03/06/2018 08:30'],
    ['03/06/2018', 'LEAS', 18, 14.0,  94.0, 15.0, '03/06/2018 08:37'],
    ['03/06/2018', 'LEAS', 47, 14.0, 100.0, 14.0, '03/06/2018 08:52'],
    ['03/06/2018', 'LEAS', 19, 14.0, 100.0, 14.0, '03/06/2018 09:00'],
    ['03/06/2018', 'LEAS', 16, 14.0, 100.0, 14.0, '03/06/2018 09:09'],
    ['03/06/2018', 'LEAS', 48, 14.0, 100.0, 14.0, '03/06/2018 09:30'],
    ['03/06/2018', 'LEAS',  7, 13.0,  94.0, 14.0, '03/06/2018 10:00'],
    ['03/06/2018', 'LEAS', 14, 13.0,  94.0, 14.0, '03/06/2018 10:23'],
    ['03/06/2018', 'LEAS', 17, 13.0,  94.0, 14.0, '03/06/2018 10:30'],
    ['03/06/2018', 'LEAS', 35, 13.0,  94.0, 14.0, '03/06/2018 10:47'],
    ['03/06/2018', 'LEAS', 33, 13.0,  94.0, 14.0, '03/06/2018 11:00'],
], columns = ['day', 'station', 'daily_report', 'dew_point', 'rel_humidity', 'temp_c', 'time'])
df1_2['day'] = pd.to_datetime(df1_2['day'], format='%d/%m/%Y')
df1_2['time'] = pd.to_datetime(df1_2['time'], format='%d/%m/%Y %H:%M')
 
def f(x):
    return df1_na.loc[(df1_na[(df1_na['origin_code'] == x['station'])]['actual_time'] - x['time']).abs().idxmin()]['actual_time']
 
df1_2['closest_time'] = df1_2.apply(f, axis=1)

et le résultat :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
          day station  daily_report  dew_point  rel_humidity  temp_c                  time         closest_time
0  2018-06-03    LEAS             9       15.0         100.0    15.0   2018-06-03 08:00:00  2018-06-03 08:08:00
1  2018-06-03    LEAS             1       14.0          94.0    15.0   2018-06-03 08:30:00  2018-06-03 08:08:00
2  2018-06-03    LEAS            18       14.0          94.0    15.0   2018-06-03 08:37:00  2018-06-03 08:08:00
3  2018-06-03    LEAS            47       14.0         100.0    14.0   2018-06-03 08:52:00  2018-06-03 09:09:00
4  2018-06-03    LEAS            19       14.0         100.0    14.0   2018-06-03 09:00:00  2018-06-03 09:09:00
5  2018-06-03    LEAS            16       14.0         100.0    14.0   2018-06-03 09:09:00  2018-06-03 09:09:00
6  2018-06-03    LEAS            48       14.0         100.0    14.0   2018-06-03 09:30:00  2018-06-03 09:09:00
7  2018-06-03    LEAS             7       13.0          94.0    14.0   2018-06-03 10:00:00  2018-06-03 10:10:00
8  2018-06-03    LEAS            14       13.0          94.0    14.0   2018-06-03 10:23:00  2018-06-03 10:10:00
9  2018-06-03    LEAS            17       13.0          94.0    14.0   2018-06-03 10:30:00  2018-06-03 10:10:00
10 2018-06-03    LEAS            35       13.0          94.0    14.0   2018-06-03 10:47:00  2018-06-03 11:11:00
11 2018-06-03    LEAS            33       13.0          94.0    14.0   2018-06-03 11:00:00  2018-06-03 11:11:00

libre à toi de t'en inspirer

06/02/2020, 08h12
Julien_VBA

Merci beaucoup.

Je vais tester ça de ce pas.

J'avais essayé de créer plusieurs fonction mais j'avais pas pensé à créer une nouvelle colonne pour pouvoir faire un merge après.

Je te remercie vraiment.

Je note résolue quand ça marchera dans l'après midi.

Merci

Re bonjour,

J'ai adapter ma fonction mais je me rend compte que j'ai des stations unique dans chacune des tables donc python me renvoie une erreur
Code:

1 2 3 4 5 def f2(x): try: return df1_na.loc[(df1_na[(df1_na['origin_code']==x['station'])]['actual_day'] - x['time']).abs().idxmin()]['actual_day'] except(ValueError, IndexError): return None
J'ai l'erreur suivant :

Citation:

TypeError: ("cannot do label indexing on <class 'pandas.core.indexes.numeric.Int64Index'> with these indexers [nan] of <class 'float'>", 'occurred at index 4894')

Je ne sais pas du d'ou ça vient...

Merci d'avance

Citation:

Envoyé par Julien_VBA

Je ne sais pas du d'ou ça vient...

moi non plus.

tu peux toujours essayer de dérouler la fonction pour y voir plus clair :

Code:

1
2
3
4
5
6
7
def f(x):
    print('--------------------------------------------------', x.name)
    z = df1_na[(df1_na['origin_code'] == x['station'])]; print(z, '\n')
    z = (z['actual_time'] - x['time'])                 ; print(z, '\n')
    z = df1_na.loc[z.abs().idxmin()]                   ; print(z, '\n')
    z = z['actual_time']                               ; print(z, '\n')
    return z

Bonjour,

Merci BufferBob.

La fonction fonctionne superbien. J'ai juste ajouter un filtre avant pour que toute les stations de l'un soit bien présent dans l'autre.
Code:

1 2 3 4 5 6 df1_2_2=df1_2.drop_duplicates(subset=['station']) Liste_Station=df1_2_2['station'] del df1_2_2 df1_na=df1_na[(df1_na['origin_code'].isin(Liste_Station))] del Liste_Station df1_na2=df1_na.drop_duplicates(subset=['origin_code'])