IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

PostgreSQL Discussion :

insert/update très massifs dans table de 50 M de record.


Sujet :

PostgreSQL

  1. #1
    Futur Membre du Club
    Profil pro
    Développeur informatique
    Inscrit en
    Juillet 2006
    Messages
    4
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Juillet 2006
    Messages : 4
    Par défaut insert/update très massifs dans table de 50 M de record.
    Mon problème :
    update de 50.000.000 de records et insert de 2.000.000 d'une façon régulière

    je veux améliorer les performances qui sont très insuffisantes.

    J'ai exploré les pistes :
    - englober les opérations par milliers (2000-3000-5000) au sein de transaction entre BEGIN et COMMIT
    - modifier les paramètres du postgresql.conf
    shared_buffers (plusieurs essais 30000 50000 75000)
    fsync = off (la perte de donnée en cas de crash , n'est pas génante, je peux traiter les données non insérées le lendemain)
    checkpoint_segments = 10 (+sieurs essais 20 - 30)
    checkpoint_timeout = 1000 (+sieurs essais 30-1800)
    stats_start_collector = off (désactivation récup des stats)

    Je n'ai pas la possibilité de travailler sur plusieurs disques durs pour le moment.

    Sans toutefois arriver à des résultats probants.

    Pour information supplémentaire : la table à une dizaine de champ text + deux champs date.

    Avez vous des conseils ? des solutions ?
    Connaissez vous les meilleures optimisations possibles pour mon cas ?
    Merci

  2. #2
    Membre émérite
    Avatar de Biglo
    Profil pro
    Inscrit en
    Juillet 2002
    Messages
    537
    Détails du profil
    Informations personnelles :
    Localisation : France, Moselle (Lorraine)

    Informations forums :
    Inscription : Juillet 2002
    Messages : 537
    Par défaut
    A part les conseils donnés ici : http://www.postgresql.org/docs/8.1/i.../populate.html, je ne pense pas que tu trouveras d'autres moyens d'optimisation.

  3. #3
    Futur Membre du Club
    Profil pro
    Développeur informatique
    Inscrit en
    Juillet 2006
    Messages
    4
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Juillet 2006
    Messages : 4
    Par défaut
    j'ai déjà essayé tout çà.

    Par ailleurs, le copy ne répond pas à mon besoin.

Discussions similaires

  1. Evenement Insert,Update,Delete sur une table
    Par olibara dans le forum Développement
    Réponses: 7
    Dernier message: 20/11/2013, 16h28
  2. Réponses: 0
    Dernier message: 21/10/2013, 17h30
  3. Réponses: 2
    Dernier message: 14/12/2010, 12h22
  4. [MySQL] updater en boucle dans table plusieurs fichiers txt
    Par serna dans le forum PHP & Base de données
    Réponses: 4
    Dernier message: 07/07/2010, 19h24
  5. Réponses: 1
    Dernier message: 24/02/2008, 11h08

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo