Discussion :

[julieng31]

Bonjour,

je suis actuellement en train de développer un script très simple de conversion de format de donnée en Pyhton. Mon script marche bien mais comme il doit tourner intensivement, j'aimerais savoir si vous pouviez me donner des pistes pour le rendre le plus rapide possible.

Il prend en entrée le contenu d'un fichier.

Exemple de format d'entrée (fichier texte) :
1.24 2.54 6.25 7.28
2.98 2.19 0.38 0.01

Et doit ressortir des listes de floats.

Format de sortie attendue :
[[1.24,2.54,6.25,7.28],[2.98,2.19,0.38,0.01]]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
test = data.read().split("\n")[:-1] # Lecture du fichier ligne par ligne [['A B C D'],['E F G H']]
dataList = map(lambda t: t.split(),test) # Sépare chaque élément
nbData = len(dataList)
store = []
for i in range(nbData ):
    store.append(map(float, dataList[i])) # Pour chaque ligne, transforme chaque élément en float

Merci d'avance pour votre aide.

[dividee]

Plus court, et sans doute plus rapide:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

store = [[float(e) for e in t.split()] for t in data]

ou bien

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

store = [map(float, t.split()) for t in data]

[mont29]

Je ferais tout en une seule listcomprehension:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

store = [[float(f) for f in l.rstrip('\n').split()] for l in data]

Ça évite à tout le moins la manipulation de variables intermédiaires…

À noter, il semble que vous ayez besoin de vous débarrasser de la dernière ligne de votre texte, dans ce cas le code ci-dessus risque de ne pas fonctionner, il faudrait rajouter une fonction generator pour se débarrasser de cette dernière ligne, par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
def itf(f):
    prev_l = f.__next__()
    for l in f:
        yield prev_l
        prev_l = l
 
store = [[float(f) for f in l.rstrip('\n').split()] for l in itf(data)]

[Edit] Woops, grilled by dividee :p

[julieng31]

Merci beaucoup dividee et mont29.

Les 2 solutions marchent très bien. Elles me semblent assez équivalentes en terme de vitesse d'exécution.

[wiztricks]

Salut,

Ne sachant trop ce que vous allez faire de ces "list"es de "float", ma réponse est peut être décalée. Mais si vous avez besoins de "performances", il faut sortir de Python et déléguer à numpy qui va se charger de remonter un tableau construit avec sa librarie C:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
import io
import numpy as np
 
TEXT = """1.24 2.54 6.25 7.28
2.98 2.19 0.38 0.01"""
 
f = io.StringIO(TEXT)
a = np.loadtxt(f, delimiter=' ')
for row in a:
    print (row)

Bon courage
- W

[julieng31]

Merci wiztricks pour cette piste. Malheureusement, j'utilise ce code dans un environnement fermé et je ne peux pas installer d'application supplémentaire.