Discussion :

[looping]

bonjour,

je suis en train de récupérer des données d'une base dbase3 vers une base Firebird.

J'utilise la syntaxe suivante pour faire ses récup:
(j'utilise le compo table pour la base dbase et le compo IBtable pour la base firebird)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
IBTable8.EmptyTable;
IBtable8.Active:=true;
 
table8.Active:=true;
 
table8.first;
while not table8.Eof do
begin
 
IBtable8.Insert;
 
IBtable8CHAMP1.Value:=table8CHAMP1.Value;
IBtable8CHAMP2.Value:=table8CHAMP2.Value;
etc, etc...
 
 
IBtable8.Post;
 
table8.Next;
end;
 
table8.Close;
IBtable8.Close;
ibtransaction1.Commit;

le code ci dessus se répète 15 fois (il ya 15 tables) et je récupère environ 900 000 enregistrements.

Tous fonctionne bien mais cela me ralenti le poste a tel point que je suis obligé de le rebooter

A mon avis il doit y avoir une mémoire tampon, un buffer qui faut vider pas programmation mais je ne sais pas lequel ?

cordialement

[dehorter olivier]

as tu pensé à faire un COMMIT tous les x enregistrements à l'aide d'un compteur ?

[ShaiLeTroll]

Si tu comptes 1 ms par enregistrement, tu montes à 15 minutes pour 900000 ! Avec 10 ms ça monte à 2h30 !

1 ms ça serait pour MySQL, avec IB, je le trouvais lent, j'utilisais du SQL, en mettant prepared explicitement à true, j'étais passé de 10ms par requête (prepare, execute, unprepare) à 2ms par requête ...
je pense que l'utilisation de Insert\Post provoque un SQL avec prepare implicite, donc cela perd bcp de temps !

Voir aussi CachedUpdates, si il est à true, effectivement, tu as un risque de consommer bcp de mémoire !

Commit ? mais où est le BeginTrans ?



Comme il n'y a aucun application.ProcessMessages, ton application s'affiche en blanc et "ne répond plus"
Ajoute un ProcessMessages disons toutes les 1000 lignes (un petit calcul avec GetTickCount permettrait de faire un ProcessMessages toutes les demi-secondes par exemple en affichant un compteur ou barre de progression)

[looping]

bonsoir,

oups !! je me suis mal expliqué !!

C'est pas le programme en lui même qui est lent.
La procédure dure environ 20 minutes et tout se passe bien.

mais c'est après: une fois que ce programme est fermé, le poste informatique devient très lent à un point ou je suis obligé de le rebooter.

A+

[SergioMaster]

J'aurais tendance a dire comme Olivier . Le commit de ta transaction ne se fait qu'a la fin du programme (ou du moins du transfert de la table entière) si j'ai bien lu le programme . Ton PC est ralenti car c'est ton serveur Firebird qui fait son boulot (Commit) .

Je suis toujours parti d'un principe : Faire des transactions courtes (1 insert, 1 commit) .

as tu pensé a datapump ou aux tables externes de Firebird tuto