Discussion :

[James64]

Salut,

g un soucis avec une requête SQL pour traiter une table Paradox. Il s'agit de supprimer des doublons. Lors des tests avec une table de 20 enregistrements, cela fonctionne nickel. Dans le cas réél, avec une table de 170 000 enregistrements, la requete genère une erreur!

Pouvez vous m'aider
Merci

[James64]

Je rappelle que les 2 tables (test et réél) sont identiques d'un point de vue champ, index...

[Rayek]

Tu pourrais préciser l'erreur, la version de delphi et les composants db que tu utilises.
Car comme ça, sans plus d'information, ca va êter dur que t'aider ^^

[James64]

J'utilise un composant query avec les lignes de commandes Query.SQL.text pour définir les requetes et query.open et query.ExecSQL.

Je pense que ca vient de la capacité de la table? Y a til une limite par rapport à la mémoire ou un truc comme ca lors du traitement ?

[James64]

C Delphi 7

[James64]

mon code est le suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
chemin:=StatusBar1.Panels[0].Text+'\'+Label1.Caption+'\'+'sortick.db';
 
query1.SQL.Text:=
 
SELECT DISTINCT * FROM  "chemin" T1 
WHERE EXISTS (SELECT * FROM "chemin" T2
WHERE T1.Ninc <> T2.Ninc
AND T1.NoTicket = T2.NoTicket
AND T1.DatPai = T2.DatPai);
 
 
Query2.SQL.Text:=
 
DELETE FROM "chemin" T 
WHERE T.Ninc < ANY (SELECT Ninc FROM "chemin" T2
WHERE T.Ninc <> T2.Ninc
AND T.NoTicket = T2.NoTicket
AND T.DatPai = T2.DatPai);
 
    Form2.Caption:='Sélection des enregistrements défectueux...';
    query1.Open;
    query1.FlushBuffers;
    Form2.Caption:='Suppression des doublons...';
    showmessage('Sélection terminée !');
    Query2.ExecSQL;
    Query2.Close;
    Query1.Close;
    showmessage('Suppression terminée !');

[Rayek]

J'utilise un composant query avec les lignes de commandes Query.SQL.text pour définir les requetes et query.open et query.ExecSQL.

Bde ou Ado ou dbexpress ?
Sinon tu dois utiliser Open pour des requetes de type Select ou ExecSQL pour des requetes de type Insert/update/Delete pas les deux en même temps (Activate := true correspond a un open).

Je pense que ca vient de la capacité de la table? Y a til une limite par rapport à la mémoire ou un truc comme ca lors du traitement ?

Ca peut venir que le traitement est trop long par rapport au timeout du query donc vu qu'il n'a pas la reponse de fin de traitement de la requete dans le temps imparti, il génère une erreur.

Mais bon, difficile d'être précis vu que tu ne m'as toujours pas dit quel etait l'erreur qu'il t'affiche.

[James64]

Pour l'erreur, je vais voir. il faut que je lance l'appli sous delphi et que je le laisse tourner toute une nuit. Je vous dirais ca demain....

j'utilise le BDE

[Rayek]

A mon avis tu devrais franctionner en plusieurs fois.

Vu que la requete à l'air de faire appel a une date je pense que tu pourrais faire un truc du style

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
 
var
  dDebut,dFin : TDate;
 
begin
  With Query1 do 
  begin
    Close;
    SQL.clear;
    SQL.Add('Select Min(DatPai) as DateDebut,Max(DatPai) as DateFin from TATable');
    Open;
    dDebut := FieldByName('DateDebut').AsDateTime;
    dFin := FieldByName('DateFin').asDateTime;
  end;
 
  While dDebut <= dFin do
    With Query2 do
    begin
       Close;
       SQL.Clear;
       SQL.Add('DELETE FROM "chemin" T');
       SQL.Add('WHERE T.Ninc < ANY (SELECT Ninc FROM "chemin" T2');
       SQL.Add('WHERE T.Ninc <> T2.Ninc');
       SQL.Add('AND T.NoTicket = T2.NoTicket');
       SQL.Add('AND T.DatPai = T2.DatPai');
       SQL.Add('and T2.DatPai = :PDate)');
       ParamCheck := True;
       Params.ParamByName('PDate').Value := dDebut;
       ExecSQL;
       dDebut := dDebut + 1; // + 1 jour
    end;
end;

A tester et a modifier en consequence.

[James64]

je récupère et test le champ de date car c un champ qui fait apparaitre des doublons. J'aurai pu en prendre un autre...

Mais le problème n'est pas là, comme je l'ai dit au début, prog fonctionne avec une table de 20 à 500 record, je sais pas trop. Mais pour un nombre conséquent de record, ca plante. alors je ne pense pas que ca vienne du code. Il est correct. Mais plutot de la mémoire ou de la capacité du query.

[Rayek]

Avec ma méthode ca fait plusieurs petites requetes au lieu d'en faire une grosse qui autant n'arrivera pas au bout à cause d'un timeout.
La requete fait une jointure sur elle meme, vaut mieux le faire sur une portion que la totalité de la table.

[James64]

qu'est ce que tu as voulu mettre avec cette ligne ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SQL.Add('and T2.DatPai = :PDate)');

Il n'y a pas d'erreur ?

[Rayek]

pourquoi une erreur ?

cette partie de la requete doit faire partie du select, donc il y a peut être un soucis au niveau des ()

[James64]

A l'execution de ExecSQL un message d'erreur apparait :
'difference de type dans une expression'

[Rayek]

DatPai est bien un datetime ?

[James64]

oui, l'erreur vient de la requete query2 et je pense que la ligne que je t'ai mis précedemment est fausse.... Je ne la comprend pas!?

[Rayek]

Le and T2.DatPai = Date sert a limite la requete select par rapport a une date.
Date est un paramètre qui est remplie par params.parambyName('PDate').Value.
Le problème peut venir au niveau du format de la date. Dans paradox, faut iil ecrire la date DD/MM/YYYY ou MM/DD/YYYY ?

Pour tester remplace :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Params.ParamByName('PDate').Value := FormatDateTime('DD/MM/YYYY',dDebut);

Par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Params.ParamByName('PDate').Value := FormatDateTime('MM/DD/YYYY',dDebut);

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Params.ParamByName('PDate').Value := dDebut;