Discussion :

[pavel]

Bonjour,

Contexte:
Appli C++
En gros le programme fait:

Pour chaque element dans Contener1
Res = Calcule(parametres venant de elements);
ecritRES(RES); //ecrit les resultats dans la DB

Donc une appli basique.

Infos et volumetrie:
- On a a peut pres 2 millions de resultats a ecrire (=nb element de contener1)
- Les resultats correspondent a 10 champs que l on ecrit dans une seule table.
- On passe plus de temps a ecrire les resultats que a Calculer


Questions
Quelle est la maniere la plus efficace de faire cela ?
Utiliser un insert multi values, utiliser sqlbulkoperations, utiliser un buffer de resultats et tout ecrire d un coup ou autre .
Vu que je ne suis pas un expert, toute suggestion est bien venue.

[mnitu]

Les données du conteneur 1 provient d'où ?
Les calculs peuvent se faire en SQL ?

[pavel]

Les donnees de contener1 viennent de la base de donnee
Les calcules de peuvent pas se faire en SQL

On est dans un cas typique de :
- LoadData() from DB --> Build Contener1
- For each elmt in Contener1
-

• RES = Calcule()
• WriteSingleResult(RES) in DB

Ou on peut faire :
- LoadData() from DB --> Build Contener1
- For each elmt in Contener1
-

• RES = Calcule() --> build vectorResult

- WriteAllResult(vectorResult) in DB


Le truc c est que l on a 2 millions de resultats a ecrire.
Je souhaiterais donc savoir la maniere la plus efficace pour le faire.
Parceque un petit gain de temps multiplie par 2 millions ca commence a faire.

[mnitu]

Les meilleurs solutions sont:

• si c'est possible utiliser que du SQL, éventuellement en parallèle, [EDIT]éventuellement en mode nologging [/EDIT]
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
   
  insert into table2 select col1, col2, f_SQL_simple (col1, col2) res from table 1

• en PL/SQL via les fonctions pipelined éventuellement en parallèle si les calculs sont plus complexes
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
   
  insert into table2 select col1, col2, col3_res from table(f_pipe(param))

• en autre langage en travaillant en tableau et non pas ligne par ligne. Attention, parsez une seule fois, utilisez de variables de liaison (bind variable).

[mnitu]

J'avais lu à travers votre réponse. Dans aucun cas il n'est pas envisageable de stocker et écrire 2 millions d'enregistrements d'un seul coup.

Cella se fait par tranches de 1000 à 5000 enregistrements il faut tester pour trouver l'optimum.
Donc:

Tant qu'il y a des enregistrements à lire

• lecture d'un paquet de 1000 enregistrements dans le conteneur 1
• calcule des valeurs
• écriture de 1000 enregistrements

Mais, cette méthode est encore très loin derrière les autres.

Jetez aussi un œil sur Making Database Friends