Discussion :

[looping]

Bonjour,

je fait l'import/export d'une base dBase vers une base firebird en utilisant le code suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 
IBtransaction1.Active:=true;
 
IBTable4.EmptyTable;
IBtable4.Active:=true;
 
table4.Active:=true;
 
table4.first;
i:=1;
 
while not table4.Eof do
begin
 
IBtable4.Insert;
 
IBtable4champ1.Value:=table4champ1.Value;
IBtable4champ2.Value:=table4champ2.Value;
IBtable4champx.Value:=table4champx.Value;
/
/
/
IBtable4dernierchamp.Value:=table4dernierchamp.Value;
 
IBtable4.Post;
inc(i);
 
if i mod 500=0 then  ibtransaction1.CommitRetaining;
 
table4.Next;
end;
 
ibtransaction1.Commit;
table4.Close;
IBtable4.Close;

Il y a environ 230000 lignes et cela fonctionnait bien jusqu'a maintenant, mais aujourd'hui j'obtient une erreur système:

"unable to allocate memory from operating system"

Auriez une astuce pour solutionner ce problème ?

cordialement

[ShaiLeTroll]

Je suppose que ibtransaction1 est lié via IBtable4.Transaction
Tu n'as pas perdu le lien entre les deux ?

Ajoute un try except, ajoute une variable entière, et tu affecte une valeur à cet entier avant chaque opération majeure, tu pourras repérer l'erreur
souvent en débogage cela fausse ce genre de diagnostique d'où l'utilisation d'un marquage !

dans le except, tu affiche l'entier, ensuite tu affines jusqu'à trouver la ligne problématique (si elle ne change pas à chaque essai )
N'hésite pas à faire cela dans un projet tout neuf ne contenant que ça !

[Ph. B.]

Bonjour,

Quelle version de Firebird ?
Composants IBX avec Firebird, hum...
La transaction est elle bien gérée ?

Auriez une astuce pour solutionner ce problème ?

1) La base serait-elle corrompue ? cf. Doc
gfix -validate -full

2) Eviter les IBTable et utiliser un IBQuery paramétré
ou plutôt
Eviter les IBTable et utiliser un IBScript
ou
Utiliser des composants autres que IBX (dbExpress, UIB)
--
Philippe.

[looping]

bonjour,

En m'aidant des infos de ShaiLeTroll j'ai fini par trouver quelque chose.

j'ai observé que l'import/import se bloquait après 225096 enregistrements.
Après divers essais (suppression d'enregistrement, de champ ) j'ai fini par arrivé à la conclusion suivante: c'est un champ type blob qui bloquait tout !


Et comme ce champ était à la valeur NULL pour toute la table, je l'ai supprimé de l'import/export.
Et maintenant tout refonctionne, les 234647 lignes sont exportées correctement.

Par contre je ne m'explique pas le pourquoi ? Est ce que c'est le fait que tout les enregistrement soientt NULL qui pose problème ?

Concernant les composants, c'est bien en IBX. Je sais c'est pas optimun, mais c'est un programme qui n'est que temporaire.

merci

[SergioMaster]

Concernant les composants, c'est bien en IBX. Je sais c'est pas optimun, mais c'est un programme qui n'est que temporaire.

tant qu'a faire tu n'avais qu'a utiliser BDE pour les 2

le problème c'est que tu utilises des variants

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

IBtable4champ1.Value:=table4champ1.Value;

et avec les mémos ça passe mal
si pour le champ mémo tu avais forcé en string je pense que tu n'aurais eu aucun soucis

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

IBtable4champMemo.asString:=table4champMemo.asString;

[looping]

Bonjour,

j'ai viré tous les champs inutiles pour ne garder que le champ clé et le champ memo.

soit

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
IBtransaction1.Active:=true;
 
IBTable4.EmptyTable;
IBtable4.Active:=true;
 
table4.Active:=true;
 
table4.first;
 
while not table4.Eof do
begin
IBtable4.Insert;
IBtable4champcle.Value:=table4champcle.Value;
IBtable4champmemo.asstring:=table4champmemo.asstring;
IBtable4.Post;
 
table4.Next;
end;
 
ibtransaction1.Commit;
table4.Close;
IBtable4.Close;

résultat identique: arrêt à la ligne 225096 avec le méssage "unable to allocate memory from operating system"

Vraiment étonnant !!
Pour information, j'utilise ce programme 1 fois par semaine depuis 6 mois et je n'avais pas eu de problème jusqu'a aujourd'hui

Il y a en tout 1 000 000 d'enregistrements répartis sur 30 tables avec 450 champs;dont 25 autres champs memo où je n'ai pas de problème.
Cette table là est la plus grande, d'où je pense le problème ? (les autres n'excedent pas 50000 lignes)

C'est bon que je peux supprimer ce champ dans ce cas vu qu'il est à null, mais si cela m'arrive avec une table ou je dois impérativement l'importer

J'ai essayé avec un poste Windows 7 qui a plus de memoire mais c'est le même résultat .

cordialement

[Rayek]

Au lieu d'utiliser un IBTable, passe par un IBQuery avec une requête insert.
Car la a chaque enregistrement que tu ajoutes t'as mémoire augmente alors qu'avec un IbQuery, c'est juste la base de données qui augmentera.

Les xxxTable c'est à bannir surtout sur des traitements lourd comme celui la.
(BDE c'est aussi à bannir, vu que c'est obsolète depuis plus de 10 ans)