Discussion :

[SaS_Jimbo]

Bonjour, étant actuellement en formation pour apprendre à utiliser le langage Pyhton et ses bibliothèques dans le cadre de la datascience (le volume de données à traiter dans mon métier est de plus en plus important, d'ou ma volonté de me former en datascience), je rencontre un problème de gestion des dataframes. En effet, je souhaiterai importer des données stockées dans des tableaux excel (ou des classeurs d'un fichier excel) les placer dans des dataframes pour ensuite concaténer les tableaux avec les données qui m'intéressent.

Je vous mets un bout de code pour que ce soit peut-être plus clair. Ce code fonctionne et j'obtiens bien mon tableau concaténer, mais comme vous allez le voir il est limité en nombre de tableaux car je suis obligé de recréer des dataframes en dehors de ma boucle pour les concaténer:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
######            Exemple         ##########################
for i in range (1,4):
    df=pd.read_excel('C:\\...\\Exemple.xlsx', sheet_name='Peak Table_{}'.format(i), usecols="B:F", skiprows=1, nrows=10)
    df.to_excel('C:\\...\\Traitement_Excel\\Exemple_{}.xlsx'.format(i))
df_1=pd.read_excel('C:\\...\\Traitement_Excel\\Exemple_1.xlsx')
df_2=pd.read_excel('C:\\...\\Traitement_Excel\\Exemple_2.xlsx')
df_3=pd.read_excel('C:\\...\\Traitement_Excel\\Exemple_3.xlsx')
df=df_1.merge(df_2, on="Name ").merge(df_3, on="Name ")
df.to_excel('C:\\...\\Traitement_Excel\\Exemple_summary.xlsx')

J'ai exploré les forums et repris mes cours pour voir comment incrémenter le nom de la dataframe et enregistrer à chaque boucle pour y avoir accès ensuite... J'ai aussi tenté de concaténer dans la boucle for... Dans l'idéal il faudrait qu'à la fin de la boucle for j'ai autant de dataframe indépendantes que de tableaux excel (ou de classeurs dans l'exemple ci-dessus) importés afin de pouvoir travailler dessus, ou bien que je puisse concaténer dans la boucle for en conservant les données précédentes à chaque itération. L'objectif visé est de traiter des centaines de tableaux provenant de fichiers excel en automatique.

Il doit exister une solution, mais je ne la trouve pas... Un peu d'aide serait la bienvenue. Merci.

[wiztricks]

Il doit exister une solution, mais je ne la trouve pas... Un peu d'aide serait la bienvenue. Merci.

La solution est de penser collections d'objets à laquelle on va pouvoir appliquer des opérations semblables.
Techniquement, des boucles sur des listes de... font basiquement déjà cela. Et tout le sujet de l'apprentissage est d'arriver à extrapoler ces constructions basiques à des cas plus touffus (ou à décomposer le touffu en opérations basiques).
Il faut prendre du temps pour çà... Et si vous êtes juste pressé, on ne peut pas grand chose sauf coder à votre place.

- W