Discussion :

[Gagzkul]

Bonjour, Actuellement je fais un petit script pour ne pas m'embeter a faire l'analyse a la main sur 13000 fichiers ( ca se comprend )

Le principe est assez simple, pour l'instant je regarde le temps de calcul de chaque simulation que je veux optimiser pour obtenir un temps de calcul plus ou moins equivalant.

Le script que j'ai cree est le suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
#!/bin/sh
 
OTP=/scratch/theoric2/werner/public/outp
REP1=/users/theoric/sophys/EPOS/Check/gg2mw24a
REP2=/users/theoric/sophys/EPOS/Check/gg2mw24b
 
NMF=12782
 
###################################################################
 
                       #files in gg2mw24a
 
###################################################################
 
if [ ! -d $CHK/gg2mw24a ]; then cd $CHK ; mkdir gg2mw24a; fi
 
cd $OTP/gg2mw24a/1
 
echo "##########################################################################" > $REP1/users_time.txt
echo "##########################################################################" >> $REP1/users_time.txt
echo "                               file gg2mw24a/1                            " >> $REP1/users_time.txt
echo "##########################################################################" >> $REP1/users_time.txt
echo "##########################################################################" >> $REP1/users_time.txt
echo "" >> $REP1/users_time.txt
 
for i in `seq 1 10000`; do
  if [ -f $OTP/gg2mw24a/1/z-gg2mw24a-$i.oxx ]; then
    echo "$i,`grep user z-gg2mw24a-$i.oxx` " >> $REP1/users_time.txt
    if [ `${MTH}mod $i 20` -eq 0 ]; then
      echo " " >> $REP1/users_time.txt
    fi
  else
    if [ `${MTH}mod $i 20` -eq 0 ]; then
      echo " " >> $REP1/users_time.txt
    fi
  fi
done
 
 
cd $OTP/gg2mw24a/2
 
echo "" >> $REP1/users_time.txt
echo "##########################################################################" >> $REP1/users_time.txt
echo "##########################################################################" >> $REP1/users_time.txt
echo "                               file gg2mw24a/2                            " >> $REP1/users_time.txt
echo "##########################################################################" >> $REP1/users_time.txt
echo "##########################################################################" >> $REP1/users_time.txt
echo "" >> $REP1/users_time.txt
 
for i in `seq 10000 $NMF`; do
  if [ -f $OTP/gg2mw24a/2/z-gg2mw24a-$i.oxx ]; then
    echo "$i,`grep user z-gg2mw24a-$i.oxx` " >> $REP1/users_time.txt
    if [ `${MTH}mod $i 20` -eq 0 ]; then
      echo " " >> $REP1/users_time.txt
    fi
  else
    if [ `${MTH}mod $i 20` -eq 0 ]; then
      echo " " >> $REP1/users_time.txt
    fi
  fi
done
 
###############################################################
 
                    #files in gg2mw24b
 
###############################################################
 
if [ ! -d $CHK/gg2mw24b ]; then cd $CHK ; mkdir gg2mw24b; fi
 
cd $OTP/gg2mw24b/1
 
echo "##########################################################################" > $REP2/users_time.txt
echo "##########################################################################" >> $REP2/users_time.txt
echo "                               file gg2mw24b/1                            " >> $REP2/users_time.txt
echo "##########################################################################" >> $REP2/users_time.txt
echo "##########################################################################" >> $REP2/users_time.txt
echo "" >> $REP2/users_time.txt
 
for i in `seq 1 10000`; do
  if [ -f $OTP/gg2mw24b/1/z-gg2mw24b-$i.oxx ]; then
    echo "$i,`grep user z-gg2mw24b-$i.oxx` " >> $REP2/users_time.txt
    if [ `${MTH}mod $i 20` -eq 0 ]; then
      echo " " >> $REP2/users_time.txt
    fi
  else
    if [ `${MTH}mod $i 20` -eq 0 ]; then
      echo " " >> $REP2/users_time.txt
    fi
  fi
done
 
cd $OTP/gg2mw24b/2
 
echo "" >> $REP2/users_time.txt
echo "##########################################################################" >> $REP2/users_time.txt
echo "##########################################################################" >> $REP2/users_time.txt
echo "                               file gg2mw24b/2                            " >> $REP2/users_time.txt
echo "##########################################################################" >> $REP2/users_time.txt
echo "##########################################################################" >> $REP2/users_time.txt
echo "" >> $REP2/users_time.txt
 
for i in `seq 10000 $NMF`; do
  if [ -f $OTP/gg2mw24b/2/z-gg2mw24b-$i.oxx ]; then
    echo "$i,`grep user z-gg2mw24b-$i.oxx` " >> $REP2/users_time.txt
    if [ `${MTH}mod $i 20` -eq 0 ]; then
      echo " " >> $REP2/users_time.txt
    fi
  else
    if [ `${MTH}mod $i 20` -eq 0 ]; then
      echo " " >> $REP2/users_time.txt
    fi
  fi
done
 
echo " Job Finished "

Donc la j'ai la chose que je recherche a la base, donc mes temps de calculs qui sont sur la meme ligne que user (grep user blabla)

Mais maintenant tout se complique, j'aimerais prendre les nombres juste apres le user (dans chaque fichier) et les divise par un autre nombre qui est le premier des temps de user.

En gros ce que j'aimerais faire est de faire un grep qui pourrait me permettre de prendre ce qu'il y a sur la ligne APRES ce que j'ai mis dans grep.

J'ai recherche pendant une petite heure sur la toile et rien ne m'est apparu ...

Help ????

[N_BaH]

Bonjour,


¿ un petit exemple, pour qu'on se fasse une image du truc, stp ?

les données que tu veux sont déjà extraites dans le fichier users_time.txt, non ?

pourquoi faire une boucle jusquà 10000 ? tu ne veux traîter que les 10000 premiers fichiers de chaque répertoire ?
s'il y en a plus ? s'il y en a moins ???

c'est quoi $CHK ? et $MTH ?


ps:
les noms de variables tout en majuscules sont, par convention, réservés aux variables d'environnement.

[Flodelarab]

Bonjour

J'ai recherche pendant une petite heure sur la toile et rien ne m'est apparu ...

Rien ne t'est apparu car quand on cherche à transformer un fichier texte en un autre fichier texte, on ne fait pas un script long et douloureux.
On écrit un script awk.

Donc, pour ton grep sur la ligne suivante, la réponse est probablement awk.

Mais comme ta question n'est pas compréhensible, on ne peut pas dire plus.

Peux-tu donner un exemple d'entrée et de sortie attendue ?

[Gagzkul]

J'ai des variables MTH et CHK qui sont des répertoires de mon .cshrc
Le code que j'ai actuellement fonctionne parfaitement et fait ce que je demande, c'est pour faire une chose en plus que je pose la question

Donc ce que je fais :

Je vais dans un répertoire où il y a 10 000 fichiers, je veux prendre que le temps qui est une seule ligne pour chaque fichier et les comparer les uns avec les autres sachant qu'il y a une histoire que certaines simus ne se font pas etc et j'ai besoin de paquet de mod 20, je m'explique, je fais 13 000 simus du fichier gg2mw24a(b ou c) et on me ressort les fichiers de sortie.

Je répète, il n'y a que 10 000 fichiers, je suis sur que j'aurais pu faire un truc du style 'grep user *' mqis si je faisais ça je perdais mes opérations de modulo et mes echo en paquet que je recherche (voir plus tard).

Dans ceux de sortie on cherche à optimiser le temps et pour cela on utilise quelques facteurs qui n'ont rien à voir avec cela. Pour ne pas regarder tous les fichiers indépendamment et noter le temps, je fais ce script.

Alors j'ai quatre grands répertoires :

/scratch/.../gg2mw24a/1 où il y a les fichiers de sorties pour les simus 1 à 10 000 pour le fichier gg2mw24a
/scratch/.../gg2mw24a/2 où il y a les fichiers de sorties pour les simus 1 à 10 000 pour le fichier gg2mw24a

/scratch/.../gg2mw24b/1 où il y a les fichiers de sorties pour les simus 1 à 10 000 pour le fichier gg2mw24b
/scratch/.../gg2mw24b/2 où il y a les fichiers de sorties pour les simus 10 000 à NMF pour le fichier gg2mw24b

Donc j'ai fais mon modulo, patati, j'ai fais la condition d'avoir le dossier qui existe bien, blablabla et là j'ai les résultats que je veux sur mon fichier de sortie : par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
##########################################################################
##########################################################################
                               file gg2mw24b/1
##########################################################################
##########################################################################
 
1,user    476m54.551s
2,user    365m54.391s
3,user    795m33.434s
4,user    744m50.127s
5,user    713m49.819s
6,user    648m15.075s
7,user    1336m8.336s
8,user    1153m3.206s
9,user    1120m38.669s
10,user    874m49.472s
11,user    672m2.152s
12,user    533m46.806s
13,user    402m31.044s
14,user    355m49.103s
15,user    433m14.921s
16,user    278m43.607s
17,user    229m14.729s
18,user    98m28.653s
19,user    24m59.300s
20,user    29m29.816s
 
21,user    473m27.105s
22,user    426m51.394s
 
41,user    456m11.234s
42,user    417m8.150s
44,user    764m41.957s
45,user    697m8.228s
46,user    667m48.883s
 
61,user    460m4.758s
62,user    359m27.460s
 
81,user    440m15.369s
82,user    431m7.210s
83,user    746m24.226s
84,user    693m6.313s
85,user    572m25.106s
86,user    652m27.151s
87,user    1241m59.123s
88,user    942m26.689s
89,user    813m28.660s
90,user    930m28.494s
91,user    612m53.922s
92,user    441m47.159s
93,user    399m26.484s
94,user    281m15.800s
 
101,user    436m53.850s
102,user    417m34.804s
 
121,user    405m14.221s
122,user    398m49.097s
123,user    808m45.364s
124,user    758m24.347s
125,user    635m4.288s
126,user    651m2.038s
 
141,user    427m10.846s
142,user    398m54.005s
 
161,user    394m31.727s
162,user    419m54.167s
163,user    800m30.880s
164,user    741m45.803s
165,user    698m30.307s
166,user    638m31.360s
167,user    1112m40.051s
168,user    1108m25.257s
169,user    979m58.741s
170,user    935m38.844s
171,user    723m32.167s
172,user    552m43.717s
173,user    440m28.984s
174,user    382m22.654s
175,user    466m42.142s
176,user    232m33.535s
177,user    60m19.799s
178,user    58m7.907s
179,user    49m9.965s
180,user    2m42.144s
 
181,user    457m23.835s
182,user    416m50.047s
 
201,user    516m13.047s
202,user    430m0.668s
203,user    791m37.486s
204,user    734m7.310s
205,user    635m19.195s
206,user    556m45.663s
 
221,user    440m5.894s
222,user    431m59.531s
 
241,user    473m42.514s
242,user    419m13.096s
243,user    816m0.054s
244,user    751m36.012s
245,user    716m48.736s
246,user    651m44.891s
247,user    1267m54.298s
248,user    914m3.733s
249,user    1145m31.044s
250,user    907m7.768s
251,user    682m41.671s
252,user    471m44.448s
253,user    458m46.957s
254,user    304m49.260s
 
261,user    478m29.105s
262,user    393m38.322s
 
281,user    499m0.165s
282,user    442m56.582s
283,user    742m7.921s
284,user    780m2.346s
285,user    697m4.752s
286,user    651m21.350s
 
301,user    448m53.609s
302,user    355m53.186s
 
321,user    412m30.405s
322,user    407m50.339s
323,user    814m46.176s
324,user    726m14.015s
325,user    647m56.102s
326,user    661m54.725s
327,user    1255m31.822s
328,user    993m31.424s
329,user    859m34.905s
330,user    766m52.151s
331,user    772m49.869s
332,user    488m17.461s
333,user    408m22.829s
334,user    265m7.666s
335,user    459m6.180s
336,user    230m46.553s
337,user    170m39.047s
338,user    82m56.983s
339,user    45m37.606s
340,user    3m25.669s
 
341,user    455m13.810s
342,user    395m42.572s

à chaque fois j'ai le numéro du fichier, et la ligne où il y a user qui sont dans mes fichiers user_time.txt exactement.

Tout cela fonctionne et j'ai ce qu'il faut, comme je veux, tout le monde est content.

Maintenant je veux faire une moyenne et diviser les nombres et juste les nombres que j'ai trouvé avec le grep, mais avec le grep bah j'ai les caractères "user" etc ...

Comment je peux faire pour n'avoir que les nombres derrière les "user" en utilisant grep ou autre chose ?

Après j'aimerais bien faire des trucs du style :

j pour le paquet suivant la dernière colonne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
281,user    499m0.165s    499m0.165s/499m0.165s
282,user    442m56.582s  442m56.582s/499m0.165s
283,user    742m7.921s   742m7.921s/499m0.165s
284,user    780m2.346s
285,user    697m4.752s
286,user    651m21.350s

Du coup là je prendrais que les minutes pour ne pas faire compliqué (si possible) parce qu'il reste toujours les caractères m et s ....

Enfin faire vite fait un truc moyenné avec la valeur du premier paquet pour pouvoir voir la différence de temps sur TOUTE mes simulations.

J'espère que vous pourrez mieux comprendre et du coup m'aider

[N_BaH]

comme cela a été dit, quand tu te dis : « je voudrais faire un grep ET après je voudrais faire autre chose avec ce qui a été récupéré »
il faut passer à un vrai langage : awk, perl, python...

gawk fonctionne bien avec les regex , peut opérer de nombreuses transformations et de nombreux calculs, et est facile à utiliser pourvu que ton algorithme soit clair.
tu devrais pouvoir tout faire ± à la volée, sans nécessiter des fichiers temporaires.


ps:

J'ai des variables MTH et CHK qui sont des répertoires de mon .cshrc

je ne compterais pas sur des variables exportées depuis mon .shellrc : tous mes scripts doivent pouvoir être exécutés de manière totalement indépendante, quel que soit le contexte d'exécution (autre utilisateur, cron, cgi...).

[disedorgue]

Bonjour,

Pas sur d'avoir tout compris, mais voila un résultat selon le fichier exemple que tu as donné que j'appelerais aaa.txt:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
$ awk 'FNR < 7 || /^ *$/ {X=0;print;next};X == 0 { Y=$2 ;sub(/m.*/,"",Y) ; X=1}{sub(/m.*/,"",$2);print $1,$2"/"Y"=>"$2/Y}' aaa.txt
##########################################################################
##########################################################################
                               file gg2mw24b/1
##########################################################################
##########################################################################
 
1,user 476/476=>1
2,user 365/476=>0.766807
3,user 795/476=>1.67017
4,user 744/476=>1.56303
5,user 713/476=>1.4979
6,user 648/476=>1.36134
7,user 1336/476=>2.80672
8,user 1153/476=>2.42227
9,user 1120/476=>2.35294
10,user 874/476=>1.83613
11,user 672/476=>1.41176
12,user 533/476=>1.11975
13,user 402/476=>0.844538
14,user 355/476=>0.745798
15,user 433/476=>0.909664
16,user 278/476=>0.584034
17,user 229/476=>0.481092
18,user 98/476=>0.205882
19,user 24/476=>0.0504202
20,user 29/476=>0.0609244
 
21,user 473/473=>1
22,user 426/473=>0.900634
 
41,user 456/456=>1
42,user 417/456=>0.914474
44,user 764/456=>1.67544
45,user 697/456=>1.52851
46,user 667/456=>1.46272
 
61,user 460/460=>1
62,user 359/460=>0.780435
 
81,user 440/440=>1
82,user 431/440=>0.979545
83,user 746/440=>1.69545
84,user 693/440=>1.575
85,user 572/440=>1.3
86,user 652/440=>1.48182
87,user 1241/440=>2.82045
88,user 942/440=>2.14091
89,user 813/440=>1.84773
90,user 930/440=>2.11364
91,user 612/440=>1.39091
92,user 441/440=>1.00227
93,user 399/440=>0.906818
94,user 281/440=>0.638636
 
101,user 436/436=>1
102,user 417/436=>0.956422
 
121,user 405/405=>1
122,user 398/405=>0.982716
123,user 808/405=>1.99506
124,user 758/405=>1.8716
125,user 635/405=>1.5679
126,user 651/405=>1.60741
 
141,user 427/427=>1
142,user 398/427=>0.932084
 
161,user 394/394=>1
162,user 419/394=>1.06345
163,user 800/394=>2.03046
164,user 741/394=>1.88071
165,user 698/394=>1.77157
166,user 638/394=>1.61929
167,user 1112/394=>2.82234
168,user 1108/394=>2.81218
169,user 979/394=>2.48477
170,user 935/394=>2.3731
171,user 723/394=>1.83503
172,user 552/394=>1.40102
173,user 440/394=>1.11675
174,user 382/394=>0.969543
175,user 466/394=>1.18274
176,user 232/394=>0.588832
177,user 60/394=>0.152284
178,user 58/394=>0.147208
179,user 49/394=>0.124365
180,user 2/394=>0.00507614
 
181,user 457/457=>1
182,user 416/457=>0.910284
 
201,user 516/516=>1
202,user 430/516=>0.833333
203,user 791/516=>1.53295
204,user 734/516=>1.42248
205,user 635/516=>1.23062
206,user 556/516=>1.07752
 
221,user 440/440=>1
222,user 431/440=>0.979545
 
241,user 473/473=>1
242,user 419/473=>0.885835
243,user 816/473=>1.72516
244,user 751/473=>1.58774
245,user 716/473=>1.51374
246,user 651/473=>1.37632
247,user 1267/473=>2.67865
248,user 914/473=>1.93235
249,user 1145/473=>2.42072
250,user 907/473=>1.91755
251,user 682/473=>1.44186
252,user 471/473=>0.995772
253,user 458/473=>0.968288
254,user 304/473=>0.642706
 
261,user 478/478=>1
262,user 393/478=>0.822176
 
281,user 499/499=>1
282,user 442/499=>0.885772
283,user 742/499=>1.48697
284,user 780/499=>1.56313
285,user 697/499=>1.39679
286,user 651/499=>1.30461
 
301,user 448/448=>1
302,user 355/448=>0.792411
 
321,user 412/412=>1
322,user 407/412=>0.987864
323,user 814/412=>1.97573
324,user 726/412=>1.76214
325,user 647/412=>1.57039
326,user 661/412=>1.60437
327,user 1255/412=>3.04612
328,user 993/412=>2.41019
329,user 859/412=>2.08495
330,user 766/412=>1.85922
331,user 772/412=>1.87379
332,user 488/412=>1.18447
333,user 408/412=>0.990291
334,user 265/412=>0.643204
335,user 459/412=>1.11408
336,user 230/412=>0.558252
337,user 170/412=>0.412621
338,user 82/412=>0.199029
339,user 45/412=>0.109223
340,user 3/412=>0.00728155
 
341,user 455/455=>1
342,user 395/455=>0.868132

[N_BaH]