Discussion :

[thecrazydonut]

Bonjour,

J'ai des fichiers CSV qui sont volumineux et qui par conséquent requièrent plusieurs secondes à être chargés. Je voudrais optimiser leur importation sous pandas. La solution classique est de spécifier leur type lors de l'importation:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
import pandas as pd
dtypes = {
'Var1': object,
'Var2': np.int64,
'Var3': np.float64,
'Var4': np.float64,
'Var5': np.float64
}
df = pd.read_csv('../Data/my_file.csv', dtype=dtypes)

Mon problème est que j'ai des valeurs manquantes qui sont indiquée par des "NAN" (donc des lettres entouré de guillemets). Si je tente de forcer le type de variable comme int ou float alors que la colonne contient ces "NAN", j'obtiens le message

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

TypeError: Cannot cast array data from dtype('O') to dtype('float64') according to the rule 'safe'

Comment faire en sorte pour que les "NAN" soient interprétés comme des np.nan lors de l'importation et n'interfèrent pas avec ma définition des dtypes ?

Merci !

[wiztricks]

Salut,

Comment faire en sorte pour que les "NAN" soient interprétés comme des np.nan lors de l'importation et n'interfèrent pas avec ma définition des dtypes ?

Vous devriez pouvoir faire la conversion "à la main" via l'option converters de read_csv.

- W

[thecrazydonut]

Merci ! Les converters font bien ce qu'on leur demande... mais je suis très surpris de voir que ça ralentit beaucoup l’exécution.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
import pandas as pd
import time
 
def ctf64(var):
    return float(var)
 
def cti64(var):
    return int(var)
 
start_time_import = time.time()
df = pd.read_csv('../Data/20200830_0000_eddy.csv', skiprows=[0,2,3], low_memory=True)
print("Import took {:0.3}s without converter\n".format(time.time() - start_time_import))
 
converters = {
'RECORD':                 cti64,
'Ux':                     ctf64,
'Uy':                     ctf64,
'Uz':                     ctf64,
'T_SONIC':                ctf64,
'diag_sonic':             cti64,
'CO2_density':            ctf64,
'CO2_density_fast_tmpr':  ctf64,
'H2O_density':            ctf64,
'diag_irga':              cti64,
'accel_x':                ctf64,
'accel_y':                ctf64,
'accel_z':                ctf64,
'ang_rate_x':             ctf64,
'ang_rate_y':             ctf64,
'ang_rate_z':             ctf64,
'roll':                   ctf64,
'pitch':                  ctf64,
'yaw':                    ctf64
}
 
start_time_import = time.time()
df = pd.read_csv('../Data/20200830_0000_eddy.csv', skiprows=[0,2,3], converters=converters)
print("Import took {:0.3}s with converter\n".format(time.time() - start_time_import))

J'obtiens :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Import took 8.86s without converter
Import took 17.8s with converter

Alors que mon but initial était d'améliorer la vitesse de chargement...

Le plus "amusant" dans tout ça, c'est que si je convertis les colonnes après importation:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
start_time_import = time.time()
for c in df.columns:
    if c != 'TIMESTAMP':
        df[c].astype(float)
print("Conversion took {:0.3}s after import\n".format(time.time() - start_time_import))

le temps de conversion est vraiment petit

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Conversion took 0.702s after import

Qu'est-ce qu'il se passe ?

[wiztricks]

Qu'est-ce qu'il se passe ?

Si on appelle une fonction Python pour chaque item plutôt que de buriner en C, çà va mettre plus de temps.

Vous avez une autre option à essayer côté read_csv: na_values (ce qui par ailleurs donne des indications sur les NAN reconnus par défaut).

- W