Discussion :

[NABIL74]

Bonjour,

dans mon application, j'utilise une Query pour faire une sélection des enregistrements. La TTable contient 100000 enregistrements pour l'instant.

Voici le SQL de la Query :

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
SELECT Field1, Field2, Field3, Field4
FROM MyTable
WHERE Field1 = Field1
Order BY Field1

And the button code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
Query1.Filtered:=false;
Query1.DisableControls;
if not Query1.Prepared then
Query1.Prepare;
Query1.Open;
Query1.EnableControls

pour 100000 enregistrements, ça prend 10 secondes. Est-ce que ce temps d'exécution est bon svp?

Ma Table peut contenir des dizaines de millions d'enregistrements, donc ça peut prendre des dizaines de minutes...
Comment faire pour optimiser et réduire le temps d'exécution svp?
Ou y a-t-il une autre méthode à suivre?

Les champs sont indexés.

N.B. Base de données : Absolute Database.
Merci pour votre aide

[SergioMaster]

Bonjour,

Ma Table peut contenir des dizaines de millions d'enregistrements, donc ça peut prendre des dizaines de minutes...
Comment faire pour optimiser et réduire le temps d'exécution svp?

à mon avis c'est beaucoup, beaucoup trop long !
test rapide pour info, une simple requêtesur des champs non indexé de surcroît, sans préparation préalable (table de 370000 enregistrement) prend pour firebird (base locale) environ 5s, préparée moins de 1s et à peu près les mêmes temps (hors temps de connexion) sur un serveur (non occupé) éloigné (donc via internet)

Les champs sont indexés.

si le champ Field1 est indexé alors je ne vois pas
mais la query, je pense que tu t'es trompé (du moins dans la clause WHERE)

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

WHERE Field1 = Field1

c'est (désolé) complètement idiot et ne sert à rien

N.B. Base de données : Absolute Database.

reste pour moi, cette, inconnue

[NABIL74]

Bonjour,

si le champ Field1 est indexé alors je ne vois pas
mais la query, je pense que tu t'es trompé (du moins dans la clause WHERE)
c'est (désolé) complètement idiot et ne sert à rien

Je l'avais fait sans la clause Where mais quand j'ai vu le fichier d'aide de Absolute Database sur l'optimisation, je l'ai ajouté.
- Temps d'exécution(100000 records) avec where: 10 s
- Temps d'exécution(100000 records) sans where: 13 s

[SergioMaster]

Bonsoir

where Field1=Field1 est toujours vrai donc , n'a aucune utilité
on met une clause WHERE quand il y a sélection de valeur d'un champ , par exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

WHERE field1='TOTO'

ou par paramètre WHERE Field1=:Param ou le paramètre a une valeur que l'on passe avant d'ouvrir la requête
C'est pour cela que je demandais s'il n'y avait pas un problème dans la clause

[NABIL74]

Bonsoir,

Ok Serge pigé. Comme je l'ai déjà dis, j'ai trouvé ça dans le help de cette BDD.
Comment fais-tu ta Query de sélection pour des millions d'enregistrements? Passes-tu par un Thread? ou par ClientDataSet ou ...?

[retwas]

Je rejoins Serge sur les temps de réponse pour un ensemble de données équivalent sur SQL Serveur.

La base est en locale ? La requête exécutée simplement dans le SGBD met combien de temps ? Si déjà la, le temps d'exécution est long on pourrais avoir un début de reponse..

[SergioMaster]

Bonjour

Comment fais-tu ta Query de sélection pour des millions d'enregistrements? Passes-tu par un Thread? ou par ClientDataSet ou ...?

Même pas, j'ai fait le test directement avec un GUI (flamerobin)
A mon avis cela vient d'Absolute Database, il me semble que c'est à peu près comme Paradox moins le BDE or, si c'est le cas, Paradox travaille surtout en mémoire, pour avoir des résultats si catastrophique, c'est que tu mets le poste "à genoux".

[ShaiLeTroll]

Certains providers gère une gestion de Packet
C'est le PacketRecords du TClientDataSet, ainsi un SQL facile à traiter mais renvoyant beaucoup de ligne, c'est instantané à ouvrir et récupérer les 25 premiers enregistrements.
Par contre, parfois, cela ne suffit pas, un SQL complexe, avant d'envoyer la moindre ligne mettra du temps à s'exécuter et là il n'y a rien à faire (sauf si tu es un admin pro sur SQL Server ou Oracle)

Absolute Database pour 10 millions d'enregistrement, cela me semble bien lourd

[NABIL74]

Bonsoir,
J'ai suivi le conseil de Serge. J'ai migré vers Firebird + Zeos et le problème de recherche et de lourdeur a disparu.
Merci pour votre aide.
Nabil