Discussion :

[cm34lab]

Bonjour, je souhaite importer un fichier txt qui a le format suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
18/03/2011 12:39:18	MA	20,0	50,0	19,7	53,1
18/03/2011 12:39:19	MA	20,0	50,0	19,7	53,1
18/03/2011 12:39:20	MA	20,0	50,0	19,7	53,3

La commande data=csv.reader(open(file, 'rb'), delimiter=' ') ne renvoi pas d'erreur, mais je n'arrive pas à accéder au contenu. L'objectif étant de pouvoir tracer ces données avec matplotlib et faire des calculs avec numpy.

Pouvez vous m'aider ?

Merci

[tyrtamos]

Bonjour,

Si la ligne est aussi simple que ça, un simple .split devrait faire l'affaire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
x = "18/03/2011 12:39:18 MA 20,0 50,0 19,7 53,1"
print x.split(' ')
['18/03/2011', '12:39:18', 'MA', '20,0', '50,0', '19,7', '53,1']

Bien entendu, tous les éléments sont des chaines de caractères. Pour accéder aux nombres flottants, il faudra d'abord remplacer la virgule par un point décimal.

Tyrtamos

[cm34lab]

Comment peux t-on convertir les dernières valeur en float une fois ce split exécuté ? (Je souhaite éviter les boucles car les fichiers sont très long, ce qui engendrerai de long temps de calcul).
Merci.

[pfeuh]

Salut,

Par un simple cast

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
text = "123.456"
value = float(text)
print type(value), value

[cm34lab]

Les valeurs en string sont de la forme '50,9' stockées dans un array (array(['50,9', '50,0', '49,9', ..., '91,9', '91,9', '91,9'],dtype='|S19'))...

[pfeuh]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
data = ['18/03/2011', '12:39:18', 'MA', '20,0', '50,0', '19,7', '53,1']
for word in data:
    try:
        value = float(word.replace(',', '.'))
    except:
        value = word
    print type(value), value

[cm34lab]

Pour revenir à mon problème initial = lire un fichier txt (de plus de 16000 lignes) (cf. exemple réduit joint), je fais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

data_env = list(csv.reader(open(ftp_env_file, 'rU'), delimiter='\t'));

Si j'affiche les 2 premières lignes de cette liste, j'ai mes valeurs :
>>data_env[0:2]

[['22/04/2011 12:03:12', 'MA', '23,0', '50,0', '23,1', '50,9'], ['22/04/2011 12:03:33', 'MA', '23,0', '50,0', '22,9', '50,0']]

Ce que je souhaite, c'est créer des vecteurs colonnes contenant les dates, info texte, chiffres en float (pour utiliser les outils numpy et matplotlib)...

[tyrtamos]

Bonjour,

Voilà ce que je peux proposer:

A partie de la liste de chaine donnée:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
L = ['22/04/2011', '12:03:12', 'MA', '23,0', '50,0', '23,1', '50,9']
 
R = [' '.join(L[0:2])] + [L[2]] + [float(elem.replace(',','.')) for elem in L[3:]]
 
print R
['22/04/2011 12:03:12', 'MA', 23.0, 50.0, 23.1, 50.9]

Tyrtamos

[cm34lab]

Super... mon souci est presque résolu. J'ai essayer de boucler sur les lignes pour en extraire les colonnes, mais je n'arrive pas à les stocker...
Je fais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
data_env = list(csv.reader(open(ftp_env_file, 'rU'), delimiter='\t'));#Lecture du fichier d'environment
for line in data_env:
    Env = [' '.join(line[0:1])] + [line[1]] + [float(elem.replace(',','.')) for elem in line[2:]]

Mais je ne récupère qu'une seule ligne ...!

Python est un super langage mais j'ai le sentiment qu'il faut avoir un besoin bien poussé pour dépasser les possibilités d'excel (où l'import de fichier texte est simplissime)...:-)

[tyrtamos]

Non, ça marche:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
import csv
 
ftp_env_file = "le_fichier.csv"
data_env = list(csv.reader(open(ftp_env_file, 'rU'), delimiter='\t'));#Lecture du fichier d'environment
 
R = []
for line in data_env:
    Env = line[0:2] + [float(elem.replace(',','.')) for elem in line[2:]]
    R.append(Env)
 
print R    
[['22/04/2011 12:03:12', 'MA', 23.0, 50.0, 23.1, 50.9], ['22/04/2011 12:03:33', 'MA', 23.0, 50.0, 22.9, 50.0], ['22/04/2011 12:03:53', 'MA', 23.0, 50.0, 22.8, 49.9], ['22/04/2011 12:04:13', 'MA', 23.0, 50.0, 22.8, 50.1], ['22/04/2011 12:04:33', 'MA', 23.0, 50.0, 22.9, 50.4], ['22/04/2011 12:04:54', 'MA', 23.0, 50.0, 23.0, 51.4], ['22/04/2011 12:05:14', 'MA', 23.0, 50.0, 23.2, 51.9]]

On obtient une liste de listes, chaque sous-liste représentant une ligne.

Tyrtamos

[cm34lab]

Super. Donc je résumé pour indiquer ce post en résolu.

Je souhaite importer un fichier texte nommé filetoimport au format suivant :
29/04/2011 09:39:01 MA 23,0 40,0 21,8 100,0
29/04/2011 09:39:02 MA 23,0 40,0 21,8 100,0
29/04/2011 09:40:08 MA 23,0 40,0 21,7 100,0

Je créé une liste contenant un liste de chaque ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
import csv
data_env = list(csv.reader(open(filetoimport, 'rU'), delimiter='\t'));

Puis je converti les valeurs numériques en float :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Env = []
for line_env in data_env:
    R_env = line_env[0:2] + [float(elem.replace(',','.')) for elem in line_env[2:]]
    Env.append(R_env)

Et enfin je converti cette liste en array :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
import numpy as np
env=np.array(Env);

Merci à tous de vos réponses.