Discussion :

[fifi75018]

Bonjour

Je dispose d'une dataframe de type A où chaque ligne est indexée par une clé unique. Je dispose de plusieurs autres dataframes de type B, qui possèdent toutes une colonne contenant des clés du type A. On peut retrouver plusieurs lignes avec la même valeur de clé de type A*répétée. Chaque ligne d'une dataframe de type B*est indexée par une clé unique, et contient également 2 autres champs intéressants, une date et un montant. Comment créer une dataframe de type C indexée de la même manière que A et qui contient une colonne de dictionnaires où la clé est du type B (correspondant évidemment aux lignes qui contiennent la clé de type A ) et la valeur un couple (date, montant). L'implémentaion peut avoir de l'importance dans la mesure où chaque dataframe fait 100 000 lignes au moins.
dataframe A

cle_A_1	clair_A_1
cle_A_2	clair_A_2
cle_A_3	clair_A_3

dataframe B

cle_B_1	montant_B_1	date_B_1	cle_A_1
cle_B_2	montant_B_2	date_B_2	cle_A_3
cle_B_3	montant_B_3	date_B_3	cle_A_1
cle_B_4	montant_B_4	date_B_4	cle_A_3
cle_B_5	montant_B_5	date_B_5	cle_A_2

Je souhaiterais que cela me donne

cle_A_1	{cle_B_1:(date_B_1,montant_B_1),cle_B_3:(date_B_3,montant_B_3)}
cle_A_2	{cle_B_5:(date_B_5,montant_B_5)}
cle_A_3	{cle_B_2:(date_B_2,montant_B_2),cle_B_4:(date_B_4,montant_B_4)}

Typiquement, la dataframe A représentent des contrats pluriannuels et les dataframes B les factures annuelles.

Merci d'avance

[wh6b.]

salut

Je reprends ton exemple, je te laisse le soin de faire la génération des 2 données en entrée en 2 dataframes

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import numpy as np
import pandas as pd
 
dfa = np.array([
['cle','contrat'],
['cle_A_1','clair_A_1'],
['cle_A_2','clair_A_2'],
['cle_A_3','clair_A_3']
])
pda=pd.DataFrame(data=dfa[1:,1:], index=dfa[1:,0], columns=dfa[0,1:])
dfb = np.array([
['cle','montant','date','fk_dfA'],
['cle_B_1','montant_B_1','date_B_1','cle_A_1'],
['cle_B_2','montant_B_2','date_B_2','cle_A_3'],
['cle_B_3','montant_B_3','date_B_3','cle_A_1'],
['cle_B_4','montant_B_4','date_B_4','cle_A_3'],
['cle_B_5','montant_B_5','date_B_5','cle_A_2']
])
pdb=pd.DataFrame(data=dfb[1:,1:], index=dfb[1:,0], columns=dfb[0,1:])

Je verrai un truc comme ça. Je pense qu'une grande quantité de données en entrée ne posera pas de problème avec cette façon.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
import numpy as np
import pandas as pd
## Generation du dataframe du résultat et de ses indexes
pdr=pd.DataFrame(data=np.array([{}]*len(dfa[1:,0])), index=dfa[1:,0], columns=['val'])
## Remplissage du dataframe au bon format
for index,row in pdb.iterrows() :
  montant,date,clefdfa = list(row)
  cell = { **pdr.loc[clefdfa]['val'], index:(date,montant)}
  pdr.set_value(clefdfa, 'val', cell)
 
print('Affichage du resultat:')
for index,row in pdr.iterrows() :
    print('%s   %s' % (index, row['val']) )

[fifi75018]

Merci

C'est très propre et beaucoup plus rapide que ce que j'avais fait. Je suis débutant en python. Pour bien comprendre, quel est le sens du ** ?
Bonne journée.

[wh6b.]

Si tu n'as des problèmes de perfs / volumétries et si tu n'utilises pas des fonctions particulières des dataframes, il sera plus intéressant de faire directement avec numpy plutot qu'avec les dataframes de panda. L'algorythme ressemblera à ce que j'ai proposé.
les ** sont très (très) bien expliqués là : http://deusyss.developpez.com/tutori...n/args_kwargs/

[fifi75018]

L'origine des données, ce sont des fichiers csv avec une centaine de colonnes, certaines pas très propres (string et int mélangés,...) et j'en sélectionne une quarantaine, dont les index, montants et dates. Je dois conserver les autres colonnes car elles me renseignent sur des taux de TVA, etc...
du coup la ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

montant,date,clefdfa = list(row)

m'embête "un peu".

Bref des lignes hétérogènes et des colonnes que je dois nettoyer, convertir des formats de date, etc...

Merci pour le lien **, je vais devenir *** un jour...

[wh6b.]

Je pense que tu peux très bien utiliser des dictionnaires python si tu n'utilises pas des fonctionnalités des dataframes

S'il y a d'autres champs en entrée il faudra alors récupérer les valeurs qui t'interessent

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
montant = row['colonneA']
date= row['colonneJ']
clefdfa = row['colonneH']