Discussion :

[Eric_03]

Bonsoir,

J'essaie de concaténer des dataframes à partir du code suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
import tarfile
 
df2 = pd.DataFrame(columns=our_list)
 
with tarfile.open('V2_GLFI.tar.gz', 'r:*') as tar:
 
    for n in tar.getnames():
 
        if n.endswith('.TXT'):
 
            try:
 
                df = pd.read_fwf(tar.extractfile(n),colspecs=resultNumCar, header=None, names=our_list,encoding="utf_8_sig")
 
                df2.append(df, ignore_index=True)
 
            except pd.errors.EmptyDataError:
 
                continue

le dataframe df2 reste vide bien qu'un print(df) me montre à chaque tour un nouveau dataframe df?

Merci
Eric

[wiztricks]

Salut,

Ouvrez la documentation, çà dit que .append retourne un nouveau dataframe (pas que çà modifie le courant) et qu'il y a des méthodes peut être plus efficaces.

- W

[Eric_03]

Bonjour,

je l'avais lu



mais ne l'avez pas compris ainsi

Je voulais seulement appliquer l'exemple ci-dessous dans une boucle



Merci
Eric

[wiztricks]

Pourtant çà dit bien "returning a new object"... et les exemples données à la suite sont assez éclairants.

- W

[tsuji]

D'abord, je ne pense pas que l'extension .TXT soit une norme, elle s'écrit souvent même comme .txt ... Il faut mieux faire un texte plus souple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
        #if n.endswith('.TXT'):
        if n.upper().endswith('.TXT'):

Et puis, comme souligné déjà, append() retourne un DataFrame qui est le résultat d'append() qu'il faut le capturer pour qu'on puisse travailler dessus. L'exemple en IPython démontre sous-entendu un display() sur le DataFrame résulté et retourné. En pratique dans un script python, çelà se fait comme ça.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
                #df2.append(df, ignore_index=True)
                df2=df2.append(df, ignore_index=True)

Voilà !

[Eric_03]

Merci tsuji,

j'ai réussi avec

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
 
import tarfile
 
df = pd.DataFrame(columns=our_list)
 
with tarfile.open('EE.tar.gz', 'r:*') as tar:
 
    for n in tar.getnames():
 
        if n.endswith('.TXT'):
 
            try:
 
                df_new_line = pd.read_fwf(tar.extractfile(n),colspecs=resultNumCar, header=None, names=our_list,encoding="utf_8_sig")
 
                df = pd.concat([df,df_new_line], ignore_index=True)
 
            except pd.errors.EmptyDataError:
 
                continue
 
df

Il faut encore que je vide le dataframe si je relance le script sinon celui-ci s'enrichit à chaque exécution.

Je vais tester tes suggestions et de tiens au courant.

Eric