IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

SGBD Perl Discussion :

Insertion en masse et commit régulier


Sujet :

SGBD Perl

  1. #1
    Membre habitué
    Profil pro
    Inscrit en
    Décembre 2002
    Messages
    230
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Décembre 2002
    Messages : 230
    Points : 132
    Points
    132
    Par défaut Insertion en masse et commit régulier
    Bonjour,

    j'ai créé un script qui insère dans une table environ 1,5 Million d'enregistrements. Pour accélérer le traitement, je ne veux pas faire de commit à chaque enregistrement, sinon j'en ai pour 4 jours d'importation et le traitement doit être fait tous les jours . Mon problème est que du coup si je fais ca je fais exploser le journal des transactions, ce qui parait logique. Je cherche donc un moyen de faire comme j'arrive à faire sous java c'est à dire flusher le buffer de transaction toutes les 100 requetes par exemple, tout en conservant une transaction globale que je peux rollbacker en cas de problème.
    Moi y'en a pas être sur d'être bien clair... Du coup un petit algo pour me faire comprendre :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
     
    prepare_requete(INSERT)
     
    demarre_transaction
     
    pour ligne dans lignes_fichier
        param_requete
        execute_requete
        si ko alors 
             rollback
             fin processus
        sinon
            incremente_compteur
            si (compteur % 1000) = 0 alors
                 flush_buffer
            fin si
        fin si
    fin pour
     
    commit_transaction
    Any idea ?

  2. #2
    Expert éminent
    Avatar de Jedai
    Homme Profil pro
    Enseignant
    Inscrit en
    Avril 2003
    Messages
    6 245
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Enseignant

    Informations forums :
    Inscription : Avril 2003
    Messages : 6 245
    Points : 8 586
    Points
    8 586
    Par défaut
    Et comment flushes-tu le buffer de transaction en Java, ça ne me semble pas exactement une opération standard sur les DB ?

    --
    Jedaï

Discussions similaires

  1. Mass Insert dans une table & commit
    Par Bad_Guy dans le forum SQL
    Réponses: 6
    Dernier message: 29/08/2007, 06h27
  2. commit régulier avec un delete en masse
    Par kalyparker dans le forum Oracle
    Réponses: 18
    Dernier message: 16/01/2007, 11h17
  3. [Optimisation] Insert en masse
    Par bobic dans le forum Oracle
    Réponses: 1
    Dernier message: 14/12/2005, 21h11
  4. [9i] Insertion de masse
    Par sygale dans le forum SQL
    Réponses: 2
    Dernier message: 05/12/2005, 09h51
  5. [Optimisation] Insertion en masse !
    Par m-mas dans le forum MS SQL Server
    Réponses: 1
    Dernier message: 26/10/2005, 16h40

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo