Reproduire la même opération sur un ensemble de fichier de données

Version imprimable

Bonjour,

Un programme python a été réalisé pour réduire la taille d'un fichier d'origine (données oscilloscope) pour seulement avoir les points prédéterminer (selon une condition donnée). Ces points sélectionné sont ensuite enregistrés dans un nouveau fichier csv.
Le programme réalisé permet de faire cette modification sur seulement un fichier à la fois.
Je dispose d'une cinquantaine de fichier que je souhaiterai modifier, comment pourrais-je procéder pour réaliser cela automatiquement sur l'ensemble des fichier?

Voici le programme réalisé:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
 
 
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
from scipy.signal import argrelextrema
 
 
 
data = pd.read_csv("C:\\Users\\Utilisateur général\\Desktop\\PI\\A1.csv")
 
col_names = ['time','amp']
data.columns = col_names
 
t = data.time
y = data.amp
 
L1=[]
L2=[]
Ly=[]
Lt=[]
 
x=np.zeros(len(y))
 
for i in range(len(y)):
    x[i]=y[i]
 
c_max_index = argrelextrema(x, np.greater, order=10)
 
for i in range(np.size(c_max_index[0])):
    if y[c_max_index[0][i]]>0.001:
        L1.append(y[c_max_index[0][i]])
        L2.append(t[c_max_index[0][i]])
 
for i in range(len(L1)):
    if i<40:            
        Ly.append(L1[i])
        Lt.append(L2[i])
    else:
        if L1[i]>0.002: 
            Ly.append(L1[i])
            Lt.append(L2[i])
 
 
plt.scatter(Lt,Ly,c='r')
plt.plot(t,y)
plt.grid()
plt.ylim(0,0.02)
plt.show()
 
Lt=['time']+Lt
Ly=['amp']+Ly
 
 
indata = pd.read_csv("C:\\Users\\Utilisateur général\\Desktop\\A1n.csv")
zipped = pd.DataFrame(zip(Lt,Ly))
 
outdata = pd.concat([indata, zipped], axis=1)
 
outdata.to_csv("C:\\Users\\Utilisateur général\\Desktop\\PI\\A1n.csv", header=False, index=False, encoding='utf-8')
outdata2 = pd.read_csv("C:\\Users\\Utilisateur général\Desktop\\PI\\A1n.csv", usecols=[1,2])
outdata2.to_csv("C:\\Users\\Utilisateur général\\Desktop\\PI\\A1n.csv", index=False)

Merci d'avance pour votre aide.

Cordialement.

C.

14/09/2020, 13h30
wiztricks

Salut,

Il faut commencer par mettre les différentes instructions qui modifient un fichier sous la forme d'une fonction prenant (au moins) le nom du fichier à transformer en paramètre.

Puis il faut récupérer l'ensemble des noms de fichiers à traiter.
S'ils sont dans le même répertoire çà peut se faire avec glob.glob (par exemple).

- W
14/09/2020, 15h24
Sve@r
Bonjour

Citation:

Envoyé par Cerise22

Le programme réalisé permet de faire cette modification sur seulement un fichier à la fois.
Je dispose d'une cinquantaine de fichier que je souhaiterai modifier, comment pourrais-je procéder pour réaliser cela automatiquement sur l'ensemble des fichier?

Les langages de script (shell sous Linux, Powershell sous W10) peuvent très bien ordonnancer une liste de fichiers et les passer par une boucle à un programme prévu pour n'en traiter qu'un seul.

Sinon malheureusement il faut refondre le programme qui, soit dit en passant, a été écrit bien maladroitement. En effet, si au lieu de benner tout le traitement en principal ledit traitement avait été encapsulé dans une fonction, c'était alors pas difficile ensuite de programmer le main pour qu'il traite n fichiers.
Exemple: je programme le traitement
Code:

1 2 3 4 5 def traitement(fichier): action1 sur fichier action2 sur fichier action3 sur fichier # traitement()
Maintenant le programme pour traiter un fichier...
Code:

1 2 3 4 if __name__ == "__main__": import sys traitement(sys.argv[1]) # if
... que je veux adapter pour traiter n fichiers...
Code:

1 2 3 4 if __name__ == "__main__": import sys for f in sys.argv[1:]: traitement(f) # if
... et voilà, juste une boucle à rajouter.

Maintenant, ton code prévu pour traiter un fichier...
Code:

1 2 3 action1 sur fichier action2 sur fichier action3 sur fichier
... que tu veux l'adapter à n fichiers et tu te retrouves coinçée.

Si dans les tutos il est conseillé de tout encapsuler dans des fonctions, ce n'est pas que pour faire joli...