Traitement en masse des données

**alcos** · 11/07/2014, 22h28

Bonjour,

Je suis débutant sous Oracle et on m'a demandé pour mon stage d'étudier les solutions offertes par Oracle pour effectuer un traitement sur un volume de données important (Une table contenant environ 1 000 000 d'enregistrements).
Voici globalement la logique du traitement :
1. Récupérer le texte XML contenu dans un enregistrement ;
2. Parser le texte XML ;
3. Stocker le contenu du texte XML dans deux autres tables ;

J'ai pu lire que les opérateurs "bulk collect" et "forall" pouvait m'aider dans ce genre d'opération. Pouvez-vous me le confirmer ? Concernant la lecture du document XML faut-il mieux passer par un object de type XMLType ou DOM ? J'ai l'impression que le DOM est plus rapide pour traiter les requête XPath !
J'ai pu lire aussi qu'il faut mieux éviter d'effectuer trop de requête SQL dans un code PL/SQL car cela était coûteux à cause du changement de contexte. Est-ce vrai ?

J'espère que mes questions ne sont pas trop idiote pour ce forum et merci d'avance pour votre aide.

**mnitu** · 15/07/2014, 11h06

J'ai un peu de mal à comprendre le traitement à exécuter et son lien avec la table d'un million d'enregistrement, pourriez-vous détailler un peu.

Concernant le bulk, forall, nombres des requêtes PL/SQL etc.
Dans la base Oracle il y a 2(3) moteurs différentes: un moteur SQL et un moteur PL/SQL (le troisième étant le moteur java) qui sont optimisés d'une manière différente et qui utilisent des structure de mémoire différentes. Le changement de contexte concerne les transformations de représentation des données entre ces structures.

Ce qu'il faut éviter ces sont les traitements des requêtes SQL en boucle, ligne par ligne, souvent employées par des développeurs inexpérimentés, de type:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
Pour chaque direction
  Pour chaque employé de la direction
     lecture de son salaire actuel
     calcul du nouveau bonus en prenant en compte la fourchette de la mase salariale et le coefficient de la direction
     mise à jour du bonus de l'employé via son id
  Fin boucle employé
Fin boucle direction

Ce type de traitement peut être effectué souvent directement dans SQL via

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
Update tabl_emp
   Set bonus = Case When sal between ... Then round(sal * (coef_dir + 0.02),2) ...
Where ...

soit en employant les collections et en travaillant par lot via les "Bulk et forall".

**aspire** · 15/07/2014, 16h40

Il existe plusieurs méthodes sous pl/SQL pour traiter les volumes important d' informations...
Cependant votre problématique n'est pas assez claire :

S'agit-il de récupérer un seul enregistrement et de faire un update sur les 2 tables ?
Ou bien un update massif a chaque lecture ?
Quel est le probleme de perf ?

Pouvez vous reformuler ?

Sinon, pour compléter ce qu'a dit mnitu, utilisez une procédure (pour compiler le traitement et le réutiliser) et/ou un curseur (pas de requete SQL avec boucle par exemple) suivant les données retournées, avec un stockage dans les collections si le traitement l'exige.

**alcos** · 15/07/2014, 23h05

Désolé de ne pas avoir été suffisamment clair.
Mon but est d'analyser un ensemble de documents XML stockés dans une table et de stocker les informations qu'ils contiennent dans cinq autres tables.
Les questions que je me pose sont :
1. Quelle est la meilleur méthode pour analyser les XML ?
2. L'utilisation des opérateurs forall et bulk collect est-il une bonne idée ?
3. Y-a-t-il d'autres solutions permettant de rendre l'analyse des documents XML et le stockage des informations le plus rapide possible ? J'ai vu récemment qu'il est possible d'exécuter des procédures en parallèle en utilisant les différents core présent sur la machine.

Encore merci pour vos réponses.