Discussion :

[valboubou]

Bonjour,

J’ai un problème d’optimisation.

En effet, chaque jour je mets à jour des bases Oracle via SAS.
Je reçois donc des fichiers avec les nouvelles factures à intégrer.
J’ai 3 identifiants dans ce fichier et avec ces 3 identifiants je crée un ID_FACTURE.
Si les 3 identifiants existent déjà dans la base Oracle existante je dois reprendre l’ID_facture déjà présent dans la table sinon j’incrémente mon ID_FACTURE.

Exemple :
Ligne1 : ID1 = 1 ID2=exem ID3=1 =>ID_FACTURE=1
Ligne2 : ID1 = 2 ID2=exem ID3=1 =>ID_FACTURE=2
Ligne3 : ID1 = 1 ID2=exem ID3=1 =>ID_FACTURE=1
Ligne4 : ID1 = 3 ID2=exep ID3=2 =>ID_FACTURE=3

Donc pour vérifier l’unicité des 3 ID, je descends ma base ORACLE facture sous SAS pour faire une jointure avec mes nouvelles factures du jour.
Le problème est que ma base ORACLE comporte plus de 100 Millions de ligne et donc le temps de traitement est énorme…
Connaissez vous une autre méthode pour vérifier l’unicité dans ma base ORACLE via SAS ?

Merci d’avance.

[Géraldine_Cade_SAS]

Bonjour,

La jointure peut être faite côté Oracle, tout dépends de la manière dont elle est codée. Si c'est un MERGE qui est fait alors la table Oracle est rapatriée en locale. Mais si la jointure est réalisée en PROC SQL, il y a de grande chances qu'elle soit exécutée directement côté oracle.
Pour optimiser le temps, la volumétrie étant côté Oracle, il faut penser le code pour qu'il soit soumis par le SGBD.

Je vous conseille ces 2 lectures :
Optimisez les performances de traitement de vos données avec SAS/ACCESS®
SAS In-Database : quand le traitement SAS s'exécute dans le SGBD

[valboubou]

Merci pour vos liens mais je n'arrive pas à trouver de meilleurs solutions que celle utilisé ci dessous :
Peut être en utilisant table volatile?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
/*descente de la base oracle en SAS*/
Proc sql;
connect to oracle (user=iser pw=password path='@PRO_XXX');
Create table REF.REF_BASE_FACTURES as select * from connection to oracle( select ID_FACTURE, 
ID_INT_FLUX,ID_INT_LOT,ID_INT_FACT From BASE_FACTURES );
disconnect from oracle;
 Quit;

66 millions de lignes =>16 Minutes de real times

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
/*trie de la base*/
Proc sort data=REF.REF_SIDTP_FACTURES;
by ID_INT_FLUX ID_INT_LOT ID_INT_FACT;
Run;

7 Minutes de real times

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
/*trie de notre table SAS =>new factures du jour*/
Proc sort data=TRAN.SIDTP_FACTURES ;
by ID_INT_FLUX ID_INT_LOT ID_INT_FACT;
Run;

57471 observations =>real time 1s

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
/*jointure pour voir si les identifiants des new factures existent déja ou pas*/
Data SIDTP_FACTURES_existe SIDTP_FACTURES_noexiste(drop=ID_FACTURE);
merge TRAN.SIDTP_FACTURES(in=b) REF.REF_SIDTP_FACTURES(in=a keep=ID_INT_FLUX ID_INT_LOT ID_INT_FACT 
ID_FACTURE);
by ID_INT_FLUX ID_INT_LOT ID_INT_FACT;
if b and a then output SIDTP_FACTURES_existe;
if b and not a then output SIDTP_FACTURES_noexiste;
Run;

=>real time 8:55.13

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
Data SIDTP_FACTURES_noexiste ;
Set SIDTP_FACTURES_noexiste;
by ID_INT_FLUX ID_INT_LOT ID_INT_FACT;
retain ID_FACTURE;
if _N_=1 then ID_FACTURE=max+1;
else do;
num=ID_FACTURE;
if first.ID_INT_FACT then ID_FACTURE=num + 1;
 end;
Run;