Rediriger les tables temporaires (.lck) de traitements

[alexd]

Bonjour,

Est-il possible d'imposer à SAS de travailer exclusivement dans la WORK et non dans la librairie en cours d'étape ?

Je m'explique, nous devons purger des tables ENORMES car plus de places (on va effectuer des purges par année avec recette, etc..) :

Code :

1
2
3
DATA Lib1.Table1;
SET Lib1.Table1(WHERE=(ANNEE ne 2004 ));
run;

Mais le problème c'est qu'avec ce code, SAS crée la table temporaire Table1.sas7bdat.lck dans la libraire Lib1, qui est déja saturé ... et non dans la WORK comme je l'aurais pensé.

La seule solution que je vois c'est d'effectuer mon étape data vers la WORK, puis de copier (proc copy) la table obtenue vers ma librairie LIB1 en annule et remplace. MAIS ça va être terriblement long vu la taille de la table (8,24 Go et 51 millions d'obs)

Avez-vous une solution ?

[datametric]

Ben non, tu dois utiliser la WORK de façon explicite. En fait il peut utiliser dans certains cas précis la bib UTILLOC mais il détruira tes données temporaires immédiatement. Dans ton cas, ca ne sert à rien.

Tu as compressé tes tables ?

[alexd]

Oui les tables sont compressées, mais même avec ça ce n'est pas suffisant il nous reste 16Mo de libre sur le FS de la librairie alors que la table fait 8 Go...


Il n'existe donc pas d'option sous SAS qui permet de forcer la création des .lck dans la work?

J'ai dit une bétise il nous reste 16Go de dispo : c'est étrange qu'une étape data sur une table 8Go arrive à saturer les 16Go, non ?

[alexd]

C'est bon on a réussi à le faire passer avec l'ajout de l'option compress=BINARY qui avait été supprimé dans une version antèrieur.

Merci datametric, c'est suite à ta remarque que j'ai été vérifier.

Par contre cela me fait rebondir sur une autre question : le Développeur qui a commenté cette option, a précisé : "Performance dégradé avec cette option"
Est-ce vrai ? (ou toujours d'actualité)

Nous somme en SAS 9.1.3 sur serveur AIX.

[s_a_m]

Exacte,
regardes cette NOTE.
la méthode binary qui utilise RDC (Ross Data Compression) est éfficace dans le cas de variables de type numérique. est ce que vous tables contiennent plus de variables num que char?

[datametric]

non pour moi, il n'y a pas dégradation. Nous avions même consaté dans des post antérieurs, et je l'avais revérifié, que certains traitement vont plus vite (particularité de SAS).
Pour AIX, on pourrait se poser la question mais il faut tout vérifier autour (SAN, options SAS ...) .

[alexd]

Pour répondre à s_a_m :

Ce sont des tables ayant les 2 types et aucune avec les mêmes proportions. Cependant, en testant le BINARY je gagne plus de compression, certainnement car mes variables CHAR sont bien dimensionné par rapport aux variables numériques.

Pour la question de dégradation : Oui j'ai lu cette note, mais j'ai cru comprendre que c'est corrigé dès le SP1 or nous somme en SP3.

Je suis d'accord avec toi, datametric, rien ne vaut un test en réel mais mes bases d'intégration sont bien infèrieur en volumétrie à celle de la Prod, et ce qui est vrai sur de petite volumétrie peu totalement s'inverser en condition réel...

En tout cas je vous remercie pour votre aide , je vais tenter le coup en réactivant l'option définitivement et on verra bien.