IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

 Firebird Discussion :

insertion massive


Sujet :

Firebird

  1. #1
    Membre actif

    Profil pro
    Inscrit en
    Juillet 2004
    Messages
    479
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Juillet 2004
    Messages : 479
    Points : 267
    Points
    267
    Par défaut insertion massive
    bjr

    j'insère via une appli delphi 350000 enregistrements dans une table interbase.

    Si la table n'est pas indéxée, j'insère 3,7 enregistrement à la seconde. Si elle est indéxée 120 enregistrements à la seconde.

    Je m'étonne de ce résultat. Gérer un index entraine davantage de travail, pourquoi est-ce plus rapide ?

  2. #2
    Membre averti

    Profil pro
    Inscrit en
    Décembre 2004
    Messages
    379
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Décembre 2004
    Messages : 379
    Points : 376
    Points
    376
    Par défaut
    la solutions passe par un "create external table" en d'autre terme, on crée un lien entre une table et un fichier.

    pour fonctionner, il faut que le fichier à importer soit "colonné", donc chaque "champ" à une taille fixe.

    une fois "créée", il suffit alors de faire un "insert table matableinterne select * from matableexterne" et hop, le diable est dans la boîte en un minimum de temps, compte quelques secondes/minutes pour l'insertion du volume indiqué.

    recherche sur ce forum, tu trouvera plusieurs réponses à ce problème courant.

    n'oublie j'amais que l'insertion doit ce faire sur une table non indexé ou alors tous les indexes désactivés, puis créer ou réactiver les index.

    deux raisons à cela:
    1) la lenteur!
    2) la désorganisation des index.

    dans les deux cas, c'est pénalisant.

    la création ou la réactivation des index prendra moins de temps (au total) que de les laisser actifs.

    si le fichier à importer et assez "brute", une procédure stockée peut souvent arranger les chose en lisant les données de la table externe puis en les injectants dans la table "interne" (regarde sur ce forum, il y a des exemples)

    bonne chance.

  3. #3
    Membre expert

    Homme Profil pro
    Responsable de service informatique
    Inscrit en
    Janvier 2004
    Messages
    2 123
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : Responsable de service informatique

    Informations forums :
    Inscription : Janvier 2004
    Messages : 2 123
    Points : 3 256
    Points
    3 256
    Par défaut
    Salut,

    En effet c'est curieux... (a moins qu'il y est des référencements lors des inserts)

    Cela peut-il t'aider ?
    http://gagneux.developpez.com/InterBase/ImportExport/
    CV :
    - LinkedIn
    - Viadeo

  4. #4
    Membre actif

    Profil pro
    Inscrit en
    Juillet 2004
    Messages
    479
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Juillet 2004
    Messages : 479
    Points : 267
    Points
    267
    Par défaut
    Cela peut-il t'aider ?
    sans aucun doute. J'ignorais que Interbase (FB) possédait ce type d'outil. Je teste et je vous tiens au courant des débits obtenus (relativement aux autres méthodes).

    Cela reste néanmoins curieux car non, il n'y a pas de référencement, pas de trigger.

    Merci

  5. #5
    Membre actif

    Profil pro
    Inscrit en
    Juillet 2004
    Messages
    479
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Juillet 2004
    Messages : 479
    Points : 267
    Points
    267
    Par défaut résultat
    bjr

    je confirme que l'insertion via une table externe est bien plus rapide que par une application à travers les composants IB.

    je n'ai pas testé avec ou sans index car cela va de soi dans ce cas malgré l'étonnante constatation du premier post toujours inexpliquée.

    Je génère les scripts par Delphi (car j'ai quand même une trentaine de table à insérer) et je tiens le code à disposition de qui est intéressé (gratuitement).

    797000 lignes pour environ 180Mo sont insérées en 5 minutes. La génération du fichier texte (base externe) prend un peu plus de temps. environ 7 à 8 minutes (CPU 1GHZ).

    Bien que le post initial reste inexpliqué, soyons pragmatique, je considère le cas résolu.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. [Performance] Insertion massive et index ?
    Par brolon dans le forum SQL
    Réponses: 1
    Dernier message: 23/01/2009, 10h04
  2. Problème d'insertion massive de données
    Par donnadieujulien dans le forum DB2
    Réponses: 9
    Dernier message: 09/09/2008, 21h40
  3. Réponses: 2
    Dernier message: 03/06/2007, 02h30
  4. Comment faire des inserts massivement et rapidement ?
    Par JYves dans le forum Langage SQL
    Réponses: 6
    Dernier message: 09/08/2006, 10h57
  5. Comment faire des inserts massivement et rapidement ?
    Par JYves dans le forum Décisions SGBD
    Réponses: 5
    Dernier message: 09/08/2006, 10h57

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo