Discussion :

[alers]

Bonjour,

J'ai une question sur la clause WHERE. Je sais qu'elle est (quand on peut s'en servir) plus rapide d'exécution que IF, car elle teste les conditions avant lecture des observations.

En revanche je ne sais pas quelle "syntaxe" (je ne sais pas si j'utilise le bon terme) est le plus approprié pour son utilisation. Je sais que l'on peut utiliser WHERE soit au moment du SET, soit dans le corps de l'étape DATA.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
data __test1;
	set sashelp.cars (where=(Type="SUV"));
run;
 
data __test2;
	set sashelp.cars;
	where Type="SUV";
run;

Je sais que pour du KEEP/DROP il est préférable de les placer directement dans DATA et/ou SET, mais je ne trouve rien pour WHERE.

Avez-vous une idée ?

Merci beaucoup,

alers

[s_a_m]

Hello,

si tu n'as aucune opération à faire sur le champ en question, alors le mieux c'est de placer ton where dans le SET, cela permet de limiter les données remontées en mémoire.

[alers]

Bonsoir et merci pour ta réponse.

Je n'ai pas totalement compris ce que tu entends par "opération". Par exemple, si je fais ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
data __test;
set sashelp.class (where=(weight*2<120));
run;

il vaut mieux mettre le WHERE dans l'étape DATA et pas dans le SET ?

[s_a_m]

Hello,

Si tu n'as besoin de toutes les valeurs du champ weight , alors oui il vaut mieux l'utiliser dans le SET. donc dans ton Exemple, le mieux c'est de le placer dans le SET.

Un exemple où on ne peut pas filtrer à l'entrer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
data __test;
set sashelp.class ;
if weight*2<120 then poids='catégorie A ';
length poids $15;
run;

Dans cet exemple j'ai besoin de toutes les valeurs de la variable weight pour calculer la variable poids. donc le filtre est à positionner dans le DATA ( en sortie) .

[alers]

Bonjour et merci.

Dans ce cas là tu utilises un IF. Ce serait indispensable si je voulais conserver toutes les observations. Mais en imaginant que je ne veuille que la "Catégorie A", j'imagine que je pourrais faire ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
data __test;
set sashelp.class (where=(weight*2<120)) ;
poids='catégorie A ';
length poids $15;
run;

Merci encore !

alers

[mohamed_]

Bonjour,

J'ai fait un petit test pour vérifier

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
%Macro RunTime(BGN_END);
%GLOBAL runbegin runend rundiff;
%If &BGN_END EQ %Then %Do; /* use BEGIN by default if no parameter value is
specified */
%let BGN_END= BEGIN;
%End;
%If %Upcase(&BGN_END) = BEGIN %Then %Do; /*report BEGIN time */
%Let runbegin = %Sysfunc(Datetime());
%Let runend =;
%Let msg = NOTE: The specified block of code BEGAN AT %Sysfunc(Sum(&runbegin),
Datetime16.).;
%End; %Else
%If %Upcase(&BGN_END) = END %Then %Do; /*report END time and calculate elapsed
time*/
%Let runend = %Sysfunc(Datetime());
%Let rundiff = %Sysfunc(Sum(&&runend, -&&runbegin));
%Let msg = NOTE: The specified block of code ENDED AT %Sysfunc(Sum(&&runend),
Datetime16.).;
%Let msg = &msg....Elapsed time of (hh:mm:ss): %Sysfunc(Sum(&rundiff), Time8.);
%End;
%Else %Do; /*To print error message if other parameter value than BEGIN and END is
used*/
Options Nosource;
%Let runbegin =%Sysfunc(Datetime());
%Let runend =%Sysfunc(Datetime());
%Put;%Put;
%Put ERROR- NOTE: Wrong parameter. Please use RunTime(BEGIN) or RunTime(END).;
%Put; %Put;
Options Source;
%goto SKIP; /*Skip to end of the macro*/
%End;
Options Nosource;
%Put;%Put;
%Put %Superq(msg); /*Print the running time message*/
%Put;%Put;
Options Source;
%SKIP: /*end of macro*/
%Mend RunTime;
 
 
%LET mult = 10000;
DATA table;
	SET sashelp.cars;
	DO i = 1 to &mult.;
	OUTPUT;
	END;
RUN;
 
/* Test 1 */
PROC DATASETS LIB=WORK NOLIST NODETAILS NOWARN;
	DELETE triee ;
RUN ; QUIT ;
PROC SORT DATA = table OUT = triee;
	BY origin make;
RUN;
 
%RunTime(BEGIN);
DATA triee2;
SET triee;
IF type = 'Wagon';
RUN;
%RunTime(End);
 
/*
NOTE: The specified block of code ENDED AT 04NOV15:10:31:42....Elapsed time of (hh:mm:ss):  0:00:02
*/
 
/* Test 2 */
PROC DATASETS LIB=WORK NOLIST NODETAILS NOWARN;
	DELETE triee ;
RUN ; QUIT ;
PROC SORT DATA = table OUT = triee;
	BY origin make;
RUN;
 
%RunTime(BEGIN);
DATA triee2;
SET triee;
WHERE type = 'Wagon';
RUN;
%RunTime(End);
 
/*
NOTE: The specified block of code ENDED AT 04NOV15:10:32:10....Elapsed time of (hh:mm:ss):  0:00:01
*/
 
 
/* Test 3 */
PROC DATASETS LIB=WORK NOLIST NODETAILS NOWARN;
	DELETE triee ;
RUN ; QUIT ;
PROC SORT DATA = table OUT = triee;
	BY origin make;
RUN;
 
%RunTime(BEGIN);
DATA triee2;
SET triee(WHERE= (type = 'Wagon'));
RUN;
%RunTime(End);
/*
NOTE: The specified block of code ENDED AT 04NOV15:10:32:35....Elapsed time of (hh:mm:ss):  0:00:01
*/

Dans ces trois test ce sont les deux clauses WHERE qui sont plus performantes que le IF.
Il faudrait peut-être augmenter le volume de la base pour que ce soit plus net.

[alers]

De manière générale j'utilise WHERE quand je veux sélectionner des observations uniquement.

Dans l'exemple de s_a_m, j'aurais utilisé IF si je voulais créer la catégorie A et la catégorie B pour le reste et conserver les deux catégories (toutes les observations).

Sinon c'est amusant parce que sur mon ordinateur avec SAS 9.3 le dernier test, avec WHERE dans le SET, donc supposément le plus rapide, est en fait le plus long avec 0:00:01 alors que les deux autres sont à 0:00:00.

J'essaierai de plus gros datasets.

EDIT :

Oui en effet avec un multiplicateur de 100000 (bonjour le temps pour trier la table au début) on voit bien la différence. Il m'a fallu 16 secondes avec IF, 3 avec WHERE, et 4 avec WHERE dans le SET (donc un tout petit peu plus de temps).

J'imagine que si je teste avec un zéro en plus on verra mieux la différence entre les deux WHERE et qui sait le troisième sera en fait plus rapide.

[s_a_m]

Hello,

La différence entre le IF et le WHERE dans une étape data est : IF s'applique sur les données lues et/ou créées dans une étape data, En revanche le WHERE s'applique uniquement sur les données lues.

Pour revenir au sujet initial, c'est facile de savoir où il faut placer ton WHERE. il suffit de se poser la question suivante :

Est ce que j'ai besoin de toutes les données de la table en entrée pour mes traitements dans l'étape data ?
===> Si oui, le where est à placer en sortie ( dans le DATA)
===>Si non, le filtre est à placer en entrée ( dans le SET )

[datametric]

Bonjour,
En revanche je ne sais pas quelle "syntaxe" (je ne sais pas si j'utilise le bon terme) est le plus approprié pour son utilisation. Je sais que l'on peut utiliser WHERE soit au moment du SET, soit dans le corps de l'étape DATA.

C'est pareil, la clause WHERE en tant qu'instruction dans l'étape DATA ou en tant qu'option dans le SET permet à SAS de restreindre la lecture des données avant leur insertion dans le PDV.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
Data toto;
set titi;
where mavar=2;
run;
 
Data toto;
set titi (where=(mavar=2));
run;

[alers]

D'accord donc en gros on le mets dans le SET si on veut éviter une ligne de code en plus.

Merci !

[datametric]

Je le mets en instruction pour éviter les parenthèses et un =