IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Bases de données Delphi Discussion :

Comparaison entre une liste de plusieurs millions de fichiers et une table sous SQL Server


Sujet :

Bases de données Delphi

  1. #1
    Candidat au Club
    Femme Profil pro
    Développeur .NET
    Inscrit en
    Mai 2015
    Messages
    5
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 38
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur .NET

    Informations forums :
    Inscription : Mai 2015
    Messages : 5
    Points : 4
    Points
    4
    Par défaut Comparaison entre une liste de plusieurs millions de fichiers et une table sous SQL Server
    Bonjour à tous,

    mon problème est le suivant.
    Je dispose d'une liste de fichiers pour chacun desquels je devais vérifier l'existence dans une table SQL Server.
    Jusque la, pour chaque fichier, je faisais une requête, si bien que pour 1 million de fichiers, je dois faire... 1 millions de requête.
    Quelle serait selon vous la méthode la plus performante (surtout en gain de temps) pour comparer une aussi grosse liste à une table?

    Au plaisir de vous lire

    Jennifer

  2. #2
    Expert éminent sénior
    Avatar de ShaiLeTroll
    Homme Profil pro
    Développeur C++\Delphi
    Inscrit en
    Juillet 2006
    Messages
    13 426
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Développeur C++\Delphi
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juillet 2006
    Messages : 13 426
    Points : 24 790
    Points
    24 790
    Par défaut
    Faire un 1 million de requête, ne pose aucun soucis
    Une astuce fait un Prepare d'une requète paramètrée, ensuite, il suffira de faire le Bind des paramètres qui change comme le nom de fichier
    Ta requête ira plus vite car elle n'est pas reconstruire à chaque fois, le SGBD peut la passer en cache directement, conserver le Plan d'exécution, ...

    Ne surtout pas faire un truc genre Query.SQL.Text := 'SELECT 1 FROM TableFichier WHERE NomFichier = ' + QuotedStr(Fichiers[i]); Open IsEmpty Close
    tu dois le faire en deux temps
    donc Query.SQL.Text := 'SELECT 1 FROM TableFichier WHERE NomFichier = :pFichier'; puis le Prepare
    puis Query.ParamByName('pFichier').AsString := Fichiers[i]; puis le Open IsEmpty Close


    Sinon une autre méthode, tu créés une table temporaire
    Tu injectes ton fichier via des INSERT INTO par lot de 1000 (voir insertions en masse BULK ...)

    Ensuite, tu fais une jointure
    - INNER JOIN, tous les fichiers existants
    - LEFT JOIN t2 ON t2.cle = t1.cle ... WHERE te2.cle IS NULL, tu auras tous les fichiers qui n'existent pas (une syntaxe souvent plus rapide qu'un NOT EXISTS)
    Aide via F1 - FAQ - Guide du développeur Delphi devant un problème - Pensez-y !
    Attention Troll Méchant !
    "Quand un homme a faim, mieux vaut lui apprendre à pêcher que de lui donner un poisson" Confucius
    Mieux vaut se taire et paraître idiot, Que l'ouvrir et de le confirmer !
    L'ignorance n'excuse pas la médiocrité !

    L'expérience, c'est le nom que chacun donne à ses erreurs. (Oscar Wilde)
    Il faut avoir le courage de se tromper et d'apprendre de ses erreurs

Discussions similaires

  1. Réponses: 6
    Dernier message: 09/05/2014, 18h23
  2. Réponses: 2
    Dernier message: 14/05/2011, 02h08
  3. inserer une liste de personne dans un champ d'une liste
    Par must19 dans le forum SharePoint
    Réponses: 1
    Dernier message: 02/09/2008, 11h12
  4. Réponses: 1
    Dernier message: 30/06/2008, 13h55
  5. Réponses: 7
    Dernier message: 28/06/2007, 12h08

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo