Traitement table Paradox

Version imprimable

27/10/2005, 09h52
James64

Traitement table Paradox

Salut,

g un soucis avec une requête SQL pour traiter une table Paradox. Il s'agit de supprimer des doublons. Lors des tests avec une table de 20 enregistrements, cela fonctionne nickel. Dans le cas réél, avec une table de 170 000 enregistrements, la requete genère une erreur!

Pouvez vous m'aider
Merci :wink:
27/10/2005, 09h54
James64

Je rappelle que les 2 tables (test et réél) sont identiques d'un point de vue champ, index...
27/10/2005, 10h23
Rayek

Tu pourrais préciser l'erreur, la version de delphi et les composants db que tu utilises.
Car comme ça, sans plus d'information, ca va êter dur que t'aider ^^
27/10/2005, 11h18
James64

J'utilise un composant query avec les lignes de commandes Query.SQL.text pour définir les requetes et query.open et query.ExecSQL.

Je pense que ca vient de la capacité de la table? Y a til une limite par rapport à la mémoire ou un truc comme ca lors du traitement ?
27/10/2005, 11h19
James64

C Delphi 7

mon code est le suivant :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
chemin:=StatusBar1.Panels[0].Text+'\'+Label1.Caption+'\'+'sortick.db';
 
query1.SQL.Text:=
 
SELECT DISTINCT * FROM  "chemin" T1 
WHERE EXISTS (SELECT * FROM "chemin" T2
WHERE T1.Ninc <> T2.Ninc
AND T1.NoTicket = T2.NoTicket
AND T1.DatPai = T2.DatPai);
 
 
Query2.SQL.Text:=
 
DELETE FROM "chemin" T 
WHERE T.Ninc < ANY (SELECT Ninc FROM "chemin" T2
WHERE T.Ninc <> T2.Ninc
AND T.NoTicket = T2.NoTicket
AND T.DatPai = T2.DatPai);
 
    Form2.Caption:='Sélection des enregistrements défectueux...';
    query1.Open;
    query1.FlushBuffers;
    Form2.Caption:='Suppression des doublons...';
    showmessage('Sélection terminée !');
    Query2.ExecSQL;
    Query2.Close;
    Query1.Close;
    showmessage('Suppression terminée !');

27/10/2005, 11h42
Rayek

Citation:

J'utilise un composant query avec les lignes de commandes Query.SQL.text pour définir les requetes et query.open et query.ExecSQL.

Bde ou Ado ou dbexpress ?
Sinon tu dois utiliser Open pour des requetes de type Select ou ExecSQL pour des requetes de type Insert/update/Delete pas les deux en même temps (Activate := true correspond a un open).

Citation:

Je pense que ca vient de la capacité de la table? Y a til une limite par rapport à la mémoire ou un truc comme ca lors du traitement ?

Ca peut venir que le traitement est trop long par rapport au timeout du query donc vu qu'il n'a pas la reponse de fin de traitement de la requete dans le temps imparti, il génère une erreur.

Mais bon, difficile d'être précis vu que tu ne m'as toujours pas dit quel etait l'erreur qu'il t'affiche.
27/10/2005, 14h51
James64

Pour l'erreur, je vais voir. il faut que je lance l'appli sous delphi et que je le laisse tourner toute une nuit. Je vous dirais ca demain....

j'utilise le BDE

A mon avis tu devrais franctionner en plusieurs fois.

Vu que la requete à l'air de faire appel a une date je pense que tu pourrais faire un truc du style

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
 
var
  dDebut,dFin : TDate;
 
begin
  With Query1 do 
  begin
    Close;
    SQL.clear;
    SQL.Add('Select Min(DatPai) as DateDebut,Max(DatPai) as DateFin from TATable');
    Open;
    dDebut := FieldByName('DateDebut').AsDateTime;
    dFin := FieldByName('DateFin').asDateTime;
  end;
 
  While dDebut <= dFin do
    With Query2 do
    begin
       Close;
       SQL.Clear;
       SQL.Add('DELETE FROM "chemin" T');
       SQL.Add('WHERE T.Ninc < ANY (SELECT Ninc FROM "chemin" T2');
       SQL.Add('WHERE T.Ninc <> T2.Ninc');
       SQL.Add('AND T.NoTicket = T2.NoTicket');
       SQL.Add('AND T.DatPai = T2.DatPai');
       SQL.Add('and T2.DatPai = :PDate)');
       ParamCheck := True;
       Params.ParamByName('PDate').Value := dDebut;
       ExecSQL;
       dDebut := dDebut + 1; // + 1 jour
    end;
end;

A tester et a modifier en consequence.

27/10/2005, 15h26
James64

je récupère et test le champ de date car c un champ qui fait apparaitre des doublons. J'aurai pu en prendre un autre...

Mais le problème n'est pas là, comme je l'ai dit au début, prog fonctionne avec une table de 20 à 500 record, je sais pas trop. Mais pour un nombre conséquent de record, ca plante. alors je ne pense pas que ca vienne du code. Il est correct. Mais plutot de la mémoire ou de la capacité du query.
27/10/2005, 16h04
Rayek

Avec ma méthode ca fait plusieurs petites requetes au lieu d'en faire une grosse qui autant n'arrivera pas au bout à cause d'un timeout.
La requete fait une jointure sur elle meme, vaut mieux le faire sur une portion que la totalité de la table.
28/10/2005, 10h01
James64

qu'est ce que tu as voulu mettre avec cette ligne ?

Code:

SQL.Add('and T2.DatPai = :PDate)');

Il n'y a pas d'erreur ?
28/10/2005, 11h06
Rayek

pourquoi une erreur ?

cette partie de la requete doit faire partie du select, donc il y a peut être un soucis au niveau des ()
28/10/2005, 11h10
James64

A l'execution de ExecSQL un message d'erreur apparait :
'difference de type dans une expression'
28/10/2005, 11h32
Rayek

DatPai est bien un datetime ?
28/10/2005, 11h42
James64

oui, l'erreur vient de la requete query2 et je pense que la ligne que je t'ai mis précedemment est fausse.... Je ne la comprend pas!?
28/10/2005, 14h18
Rayek

Le and T2.DatPai = :PDate sert a limite la requete select par rapport a une date.
:PDate est un paramètre qui est remplie par params.parambyName('PDate').Value.
Le problème peut venir au niveau du format de la date. Dans paradox, faut iil ecrire la date DD/MM/YYYY ou MM/DD/YYYY ?

Pour tester remplace :

Code:

Params.ParamByName('PDate').Value := FormatDateTime('DD/MM/YYYY',dDebut);

Par :

Code:

Params.ParamByName('PDate').Value := FormatDateTime('MM/DD/YYYY',dDebut);

ou

Code:

Params.ParamByName('PDate').Value := dDebut;