Jointure multiple avec volumétrie importante [Résolu]

[dadou225]

Bonjour à tous,

Je travaille avec SAS V8. J'essaie de rapprocher des informations de plusieurs bases de très petites tailles à une base d'une importante volumétrie ( nombre de lignes > 1 million et plus de 200 variables via PROC SQL ( avec plusieurs LEFT OUTER JOIN )).
Le traitement met au moins 1h à tourner sans créer la table souhaitée.
J'ai le message d'erreur suivant :

ERROR: An I/O error has occurred ON file WORK.#tf0038.n.DATA.

Ci-dessous le Code que j'ai utilisé.

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
 
rsubmit;
proc sql;
CREATE INDEX var1 ON malib.matable(var1);
CREATE INDEX var2 ON malib.matable(var2);
CREATE INDEX var3 ON malib.matable(var3);
CREATE INDEX var4 ON malib.matable(var4);
CREATE INDEX var5 ON malib.matable(var5);
CREATE INDEX var6 ON malib.matable(var6);
CREATE INDEX var7 ON malib.matable(var7);
CREATE INDEX var8 ON malib.matable(var8);
CREATE INDEX var9 ON malib.matable(var9);
quit;
endrsubmit;
 
 
rsubmit;
proc sql ;
 
CREATE TABLE malib.matable
AS SELECT a.*,
           b.var_a AS nomvar_a_1,
           c.var_a AS nomvar_a_2,
		   d.var_b AS nomvar_b,
           e.var_c AS nomvar_c_1,
           f.var_c AS nomvar_c_2,
           g.var_d AS nomvar_d_2,
		   h.var_e AS nomvar_e_2,
		   i.var_f AS nomvar_f_1,
           j.var_f AS nomvar_f_2
 
FROM malib.matable AS a 
 
 LEFT OUTER JOIN malib2.matable1  AS b  ON  a.var1=b.var1
 LEFT OUTER JOIN malib2.matable1  AS c  ON  a.var2=c.var1 
 LEFT OUTER JOIN malib2.matable2  AS d  ON  a.var3=d.var2
 LEFT OUTER JOIN malib2.matable3  AS e  ON  a.var4=e.var3 
 LEFT OUTER JOIN malib2.matable3  AS f  ON  a.var5=f.var3
 LEFT OUTER JOIN malib2.matable4  AS g  ON  a.var6=g.var4
 LEFT OUTER JOIN malib2.matable5  AS h  ON  a.var7=h.var5
 LEFT OUTER JOIN malib2.matable6  AS i  ON  a.var8=i.var6
 LEFT OUTER JOIN malib2.matable6  AS j  ON  a.var9=j.var6
   ;
  quit;
endrsubmit;

J'ai compressé ( option compress=yes) ça ne change pas grand chose.
J'ai nettoyé ma WORK (en local) ça ne change rien.
La vérification de la WORK sur le serveur montre qu'elle n'est pas "saturée". Le traitement est toujours long.

J'ai fais un test sur un échantillon de la grosse bas ( 10 000 lignes), je n'ai pas le message d'erreur concernant la WORK (!!!!) mais le traitement mais néanmoins plus de 35 mn.

J'ai besoin d'aide et je sais que je peux compter sur vous.

Merci d'avance.

[bahraoui]

http://support.sas.com/kb/12/135.html

Je pense que tu exploses l'espace de stockage.
Tu peux relancer ton programme et surveiller la work
si tu es sous unix tu peux lancer la commande sous le répertoire ou se trouve la work

Code :

df -u .

.

[suistrop]

Salut,

As tu testé avec les HASH?

Regarde ce lien :

http://www.sas.com/offices/europe/fr...200703_a1.html


Suistrop

[Manoutz]

bonjour,

tu fais deux submit au serveur. A quel moment rencontre tu le problème? A ce que je comprends tu travailles sur une librairie en mode serveur donc il est inutile de nettoyer ta work locale. Tu peux également essayer de limiter l'utilisation des variables de tes tables via un keep.

Après, sans être un grand connaisseur, la solution via des hash proposée par suistrop, peut démontrer des performances très intéréssantes...

[Géraldine_Cade_SAS]

Bonjour,

Je suis sceptique pour le hash : les données seraient stockées uniquement en mémoire. Si la volumétrie est importante, ça suppose de la RAM ! De plus le code hash est une nouveauté SAS 9, or vous êtes en 8.2.

Je vous recommande
1. de découper l'unique PROC SQL en plusieurs
2. de tester avec un MERGE
3. de faire pointer la WORK vers disque ayant + d'espace libre
4. éventuellement d'utiliser cleanwork pour libérer de l'espace sur le disque hébergeant la WORK actuellement. Cet utilitaire supprime les dossiers WORK fantômes.

Géraldine Cade-Deschamps
Support Clients SAS

[dadou225]

Merci à tous pour votre aide.

J'ai utilisé plusieurs "merge" comme l'a suggéré Géraldine_Cade_SAS.

Le traitement est très très rapide et se passe sans problème.

Par ailleurs il me semblait avoir lu quelque part qu'il "n y avait pas de différence" entre jointure avec sql et jointure avec merge.
Cela à l'air de ne pas être toujours vrai !!!!!!!

Merci à tous une fois encore.