Collecte de statistiques

[xav2229]

Bonjour,

Je ne sais pas si vous êtes comme moi mais certaines fois on me demande "Est-ce que le server est rapide?"

Alors j'ai codé un programme qui fait toujours les même opérations afin de voir si niveau CPU, IO tout marchait bien:

Au début on construit la table qui va stocker les temps de différentes actions.

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
/*---------------------------------------------------------------------
  -- Program : sastask.sas                                           --
  --                                                                 --
  -- Author : xav2229                                                --
  --                                                                 --
  -- Date : 2011/01/14                                               --
  --                                                                 --
  -- Description : Gather stats from SAS tasks                       --
  ---------------------------------------------------------------------*/
 
%put CPUCOUNT = <%sysfunc(getoption(CPUCOUNT, keyword))>;
%put MEMSIZE  = <%sysfunc(getoption(MEMSIZE, keyword))>;
%put SUMSIZE  = <%sysfunc(getoption(SUMSIZE, keyword))>;
%put SORTSIZE = <%sysfunc(getoption(SORTSIZE, keyword))>;
 
%let PSdatetime = %sysfunc(datetime());
/* Build table for gathering stats */
proc sql;
   CREATE TABLE WORK.SAS_TASK
   (PSdatetime num format = datetime22.3
   ,STAT char(32)
   ,MEASURE num    
   )
   ;
   INSERT INTO WORK.SAS_TASK
   (PSdatetime, STAT)
   VALUES(&PSdatetime, 'DATA')
   VALUES(&PSdatetime, 'MD5')
   VALUES(&PSdatetime, 'SORT')
   VALUES(&PSdatetime, 'INDEX')
   VALUES(&PSdatetime, 'SUMMARY')
   ;
quit;

Premiere stat : on compte les IO afin de voir si le disque répond bien

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
 
/* STAT : measuring IO in DATA step */
%let start = %sysfunc(datetime());
DATA WORK.BIG;
   length LONG $ 8000;
   do i = 1 TO 5*(10**5);
      LONG = 'X';
      aleas = time();
      mod = mod(int(aleas)*100, 3); 
      output;
   end;
run;
%let gap = %sysevalf(%sysfunc(datetime()) - &start);
%put gap = <&gap>;
 
proc sql;
   UPDATE WORK.SAS_TASK
   SET MEASURE = &gap
   WHERE STAT = 'DATA'
   ;
quit;

Ensuite un peu de calcul CPU, pas d'IO ici

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
/* STAT : DATA : measuring CPU */
%let start = %sysfunc(datetime());
DATA _NULL_;
   length LONG $ 64 BIG $ 16;
   do i = 1 TO 20**6;
      LONG = put(i, z32.) || reverse(put(i, z32.));
      BIG = put(md5(LONG), hex16.);
   end;
run;
%let gap = %sysevalf(%sysfunc(datetime()) - &start);
%put gap = <&gap>;
 
proc sql;
   UPDATE WORK.SAS_TASK
   SET MEASURE = &gap
   WHERE STAT = 'MD5'
   ;
quit;

Puis encore de l'IO avec beaucoup de données manipulées

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
/* STAT : measuring IO in SORT */
%let start = %sysfunc(datetime());
proc sort DATA=WORK.BIG;
   BY mod aleas;
run;
%let gap = %sysevalf(%sysfunc(datetime()) - &start);
%put gap = <&gap>;
 
proc sql;
   UPDATE WORK.SAS_TASK
   SET MEASURE = &gap
   WHERE STAT = 'SORT'
   ;
quit;

Encore de l'IO avec du CPU egalement

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
/* STAT : measuring IO when creating INDEX */
%let start = %sysfunc(datetime());
proc datasets lib=WORK mt=DATA nolist;
   MODIFY BIG;
   INDEX CREATE mod;
quit;
%let gap = %sysevalf(%sysfunc(datetime()) - &start);
%put gap = <&gap>;
 
proc sql;
   UPDATE WORK.SAS_TASK
   SET MEASURE = &gap
   WHERE STAT = 'INDEX'
   ;
quit;

Puis enfin une tache d'agrégation

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
/* STAT : measuring multi-thread in SUMMARY */
%let start = %sysfunc(datetime());
proc summary DATA=WORK.BIG;
   class mod;
   var aleas;
   output out=WORK.ZZ;
quit;
%let gap = %sysevalf(%sysfunc(datetime()) - &start);
%put gap = <&gap>;
 
proc sql;
   UPDATE WORK.SAS_TASK
   SET MEASURE = &gap
   WHERE STAT = 'SUMMARY'
   ;
quit;

Au final :

Code :

1
2
3
4
5
 
DATA _NULL_;
   SET WORK.SAS_TASK;
   put (_ALL_) (=);
run;

Mon résultat :

Code :

1
2
3
4
5
6
7
 
 
DATA	16,05
MD5	279,48
SORT	68,66
INDEX	4,10
SUMMARY	1,98

a vous !

xav

[steelspirit]

pas mal, mais pour un truc comme ça je regarde SAS ARM qui est dédié à ça :
http://support.sas.com/documentation...a003275772.htm

En fait non, comme je suis un flemmard et que je suis sous windows, j'utilise l'observateur de performance et je monitor sas.exe

http://support.sas.com/documentation...#ntperfmon.htm

Steel

[Manoutz]

Et comment on peut lire la performance (ou non) du serveur? par exemple, y-a-t-il moyen de la comparer à une performance "moyenne"?

[xav2229]

Je veux avoir une base de référence, pour comparer.

Je ne veux pas mesurer la performance, je veux voir comment le server répond.

[datametric]

Ah bah tiens, je regarderai chez mes différents clients. J'en ai dimensionné un avec 12 cores pour les économètres

[Manoutz]

okay. Vos résus m'intéressent, ca fera justement une base de départ.

[xav2229]

sur un laptop DELL D630

2 CPU
500 000 DATA 498,01
500 000 MD5 83,17
500 000 SORT 2688,27
500 000 INDEX 211,75
500 000 SUMMARY 212,79

sur un AIX
2 CPU
500 000 DATA 18,53
500 000 MD5 280,65
500 000 SORT 74,48
500 000 INDEX 8,56
500 000 SUMMARY 2,10

[datametric]

J'ai comparer ton programme à celui que j'utilise pour tuner les serveurs pendant les audits et j'ai un point de blocage sur le principe de ton test.

Tu ne prends pas en compte les valeurs de MEMSIZE, SORTSIZE, SUMSIZE et autres options du groupe PERFORMANCE dans les options.
Cela peut faire varier les résultats notamment sur les SUMMARY et SORT.

En plus d'afficher le CPUCOUNT, il faudrait les afficher pour pouvoir correctement comparer les résultats.

[datametric]

sur un serveur windows 2003


STAT=DATA MEASURE=76.35
STAT=MD5 MEASURE=160.53
STAT=SORT MEASURE=722.34
STAT=INDEX MEASURE=16
STAT=SUMMARY MEASURE=3.42

SUMSIZE=0
MEMSIZE=0
SORTSIZE=67108864
CPUCOUNT=8

[xav2229]

OK, j'ai ajouté les informations sous la forme de

Code :

1
2
3
4
%put CPUCOUNT = <%sysfunc(getoption(CPUCOUNT, keyword))>;
%put MEMSIZE  = <%sysfunc(getoption(MEMSIZE, keyword))>;
%put SUMSIZE  = <%sysfunc(getoption(SUMSIZE, keyword))>;
%put SORTSIZE = <%sysfunc(getoption(SORTSIZE, keyword))>;

je dois refaire tourner, pour avoir les infos

[xav2229]

un run sur un AIX :

CPUCOUNT 2
MEMSIZE 134 217 728
SUMSIZE 0
SORTSIZE 83886080

DATA 19,90
MD5 182,98
SORT 58,81
INDEX 4,76
SUMMARY 2,26

[xav2229]

un run sur un autre AIX :

CPUCOUNT 2
MEMSIZE 536 870 912
SUMSIZE 0
SORTSIZE 536 870 912

DATA 48,38
MD5 389,78
SORT 103,37
INDEX 10,54
SUMMARY 1,94

[datametric]

SAS 9.2 M2
Windows 2008 R2 x64
CPU : Xeon E5530 2.4 Hhz
RAM : 32 GB

STAT=DATA MEASURE=19.94
STAT=MD5 MEASURE=96.55
STAT=SORT MEASURE=42.96
STAT=INDEX MEASURE=6.16
STAT=SUMMARY MEASURE=3.85

CPUCOUNT = <CPUCOUNT=16>
MEMSIZE = <MEMSIZE=1.073.741.824>
SUMSIZE = <SUMSIZE=805.306.368>
SORTSIZE = <SORTSIZE=536.870.912>

[xav2229]

ca pete sur le sort!

autre collecte:
AIX

CPUCOUNT : 2
MEMSIZE : 536 870 912
SUMSIZE : 0
SORTSIZE : MAX

DATA 20,13
MD5 284,18
SORT 71,19
INDEX 8,89
SUMMARY 1,99