1. #1
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    février 2008
    Messages
    813
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : février 2008
    Messages : 813
    Points : 1 188
    Points
    1 188

    Par défaut Optimisation des connexions pour un traitement batch

    Bonjour,

    Petite question sur l'utilisation de connexions différentes pour faire les selects et les updates/inserts/deletes sur une même base de données :

    Dans le cadre de l'utilisation d'un ETL (Talend par exemple), on a la possibilité de mutualiser les connexions de plusieurs composants.
    On le fait notamment dans deux cas :
    - Lorsque le nombre de connexions pénalisent les performances (l'overhead d'ouverture / fermeture est trop important par rapport aux actions réalisées)
    - Lorsqu'on a un besoin de gestion de transactions entre des composants (pour garder l'intégrité entre des données)

    Et donc ma question :
    Au delà de ces 2 cas, est-ce qu'il y a un intérêt à séparer les connexions qui font des selects, des connexions qui font des mises à jour ?
    (J'ai en fait trouvé cette recommandation dans des spécifications et je m'interroge sur sa pertinence)

    Par avance merci,
    Nicolas

  2. #2
    Membre éclairé
    Homme Profil pro
    DBA Oracle
    Inscrit en
    avril 2013
    Messages
    723
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : DBA Oracle
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : avril 2013
    Messages : 723
    Points : 688
    Points
    688

    Par défaut

    Dans tous les bouquins ou sites web que j'ai lus sur Oracle, je n'ai jamais rencontré cette recommandation ni même entendu parler de cette histoire.
    Peut-être que d'autres personnes te donneront un autre son de cloche mais quel serait l'intérêt? Séparer les connexions faisant des COMMIT/ROLLBACK d'un côté et celles faisant des SELECT de l'autre?
    DBA Oracle
    Rédacteur du blog : dbaoraclesql.canalblog.com

  3. #3
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    février 2008
    Messages
    813
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : février 2008
    Messages : 813
    Points : 1 188
    Points
    1 188

    Par défaut

    Oui, c'est le but de la recommandation. Mais je ne comprends pas ce que ça apporte. ;-)
    On m'a suggéré que cela permettait au dba une analyse sélective des connexion : il sait qu'il y en a qui font que des selects, et d'autres des mises à jour.

    Nicolas

  4. #4
    Rédacteur
    Avatar de SQLpro
    Homme Profil pro
    Expert SGBDR & SQL, spécialiste Microsoft SQL Server
    Inscrit en
    mai 2002
    Messages
    17 840
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert SGBDR & SQL, spécialiste Microsoft SQL Server
    Secteur : Conseil

    Informations forums :
    Inscription : mai 2002
    Messages : 17 840
    Points : 41 636
    Points
    41 636
    Billets dans le blog
    1

    Par défaut

    Citation Envoyé par DevNico Voir le message
    Dans le cadre de l'utilisation d'un ETL (Talend par exemple), on a la possibilité de mutualiser les connexions de plusieurs composants.
    On le fait notamment dans deux cas :
    - Lorsque le nombre de connexions pénalisent les performances (l'overhead d'ouverture / fermeture est trop important par rapport aux actions réalisées)
    Talend est un ETL pseudo Open Source (en fait payant dans sa version complète) qui a été créé plus spécifiquement dans le monde "libre" pour des outils soit-disant "libre" (MySQLmerde ou PG par exemple) dans lequel le pooling de connexion n'existe pas et pour lequel il faut tout faire à la main... Dans Oracle comme dans SQL Server le pooling existe de manière intégré et automatique. Cette recommandation n'a donc aucun sens dans le monde des grands SGBDR.... (
    - Lorsqu'on a un besoin de gestion de transactions entre des composants (pour garder l'intégrité entre des données)
    Ceci à un peu plus de sens, mais disons que certaines SGBDR savent faire des transactions imbriquées....

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Enseignant CNAM PACA - ISEN Toulon - CESI Aix en Provence * * * * *

  5. #5
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    février 2008
    Messages
    813
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : février 2008
    Messages : 813
    Points : 1 188
    Points
    1 188

    Par défaut

    Alors ta vision Talend me semble un peu réductrice sur ses capacités, on pourrait en discuter à l'occasion si ça t'intéresse. ;-)

    Mais effectivement sa gestion des connexions partagées est plutôt basique et loin des pools de connexions que peuvent proposer d'autres outils.
    Du coup ce que tu dis c'est que cette gestion de partage de connexion n'est pas nécessaire coté Talend et peut être portée coté Oracle ?

    Je vais creuser ça. Ça pourrait être intéressant pour faciliter les développement.

    Merci,
    Nicolas

  6. #6
    Rédacteur
    Avatar de SQLpro
    Homme Profil pro
    Expert SGBDR & SQL, spécialiste Microsoft SQL Server
    Inscrit en
    mai 2002
    Messages
    17 840
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert SGBDR & SQL, spécialiste Microsoft SQL Server
    Secteur : Conseil

    Informations forums :
    Inscription : mai 2002
    Messages : 17 840
    Points : 41 636
    Points
    41 636
    Billets dans le blog
    1

    Par défaut

    Citation Envoyé par DevNico Voir le message
    Alors ta vision Talend me semble un peu réductrice sur ses capacités, on pourrait en discuter à l'occasion si ça t'intéresse. ;-)
    Oh oui, pas de souci... Le jour ou Talend sera capable de battre ce record, je reviendrais pour prendre des leçons...
    https://technet.microsoft.com/en-us/...=sql.100).aspx

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Enseignant CNAM PACA - ISEN Toulon - CESI Aix en Provence * * * * *

  7. #7
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    février 2008
    Messages
    813
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : février 2008
    Messages : 813
    Points : 1 188
    Points
    1 188

    Par défaut

    Ok, pardon. Loin de moi l'idée de te donner des leçons.
    Si ça ne t'intéresse pas, je ne t'en dirai pas plus.

    De mon coté j'ai rarement cette problématique de performance sur de tels volumes.
    Et quand c'est le cas, ce n'est pas ce type de techno qui sont mises en jeux en général.

    Bref...

Discussions similaires

  1. Réponses: 13
    Dernier message: 18/07/2011, 17h24
  2. Réponses: 8
    Dernier message: 14/09/2006, 16h43
  3. Outil pour simuler des connexions pour application web
    Par lehic dans le forum Tests et Performance
    Réponses: 4
    Dernier message: 14/06/2006, 16h16

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo