IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

SGBD Perl Discussion :

[DBD:Oracle] Récupération de données après un execute() ?


Sujet :

SGBD Perl

  1. #1
    Membre du Club Avatar de philobedo
    Profil pro
    Inscrit en
    Avril 2004
    Messages
    80
    Détails du profil
    Informations personnelles :
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations forums :
    Inscription : Avril 2004
    Messages : 80
    Points : 66
    Points
    66
    Par défaut [DBD:Oracle] Récupération de données après un execute() ?
    Bonjour à tous,

    J'ai créer un package perl dans lequel j'ai mes fonctions Oracle (connexion, déconnexion, lecture d'un enregistrement n, lecture de n à m, création, insertion, lecture de tous les enregistrements...).
    Dans le cas de la fonction qui lit tous les enregistrements d'une table à partir d'un select passé en paramètre, je voulais savoir comment je peux renvoyer tous les enregistrements, soit dans une liste, un hash ou encore par référence directement ??

    En fait je voudrais éviter d'avoir à faire une boucle (for, while) dans ma fonction mais plutot dans mon programme principal (pour gain de temps).
    Voici actuellement ce que je fais :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    sub select {
         my ($sql,$instanceOracle)=@_;
         my @values;
         my $sth=$instanceOracle->prepare_cached($sql)
            or die "Unable to prepare the request: " . $instanceOracle->errstr;
         $sth->execute()
           or die "Unable to execute the request: " . $sth->errstr;
     
         my $j=0;
         while ( my @data = $sth->fetchrow_array() ) {
              for (my $i=0; $i <=$#data; $i++) {
                 if (defined($data[$i])) {
                      $values[$j][$i]=$data[$i];
                 }
                 else {$values[$j][$i]="NULL";}
              }
            $j++;
         }
         $sth->finish;
         return @values;
    }
    or je voudrais éviter la boucle while et renvoyer juste une liste, un hash ou une réf d'un tableau.

    En gros je voudrais que mon code ressemble à ceci :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    sub select {
         my ($sql,$instanceOracle)=@_;
         my @values;
         my $sth=$instanceOracle->prepare_cached($sql)
            or die "Unable to prepare the request: " . $instanceOracle->errstr;
         $sth->execute()
           or die "Unable to execute the request: " . $sth->errstr;
     
         my $data = $sth->fonction_adéquate!();
         #ou:
         my @data = $sth->fonction_adéquate!();
         #ou:
         my %data = $sth->fonction_adéquate!();
         #ou:
         $sth->finish;
         return $data;
         #ou:
         return @data;
         #ou:
         return %data;
    }
    J'ai cherché dans la doc CPAN, je n'ai rien trouvé qui pourrait m'aider (même en utilisant les curseurs), y a t-il un moyen d'y parvenir (ça peut être aussi un autre module que DBD:Oracle) ?

    Merci d'avance
    Cordialement
    Philobedo
    "Nous n'héritons pas la terre de nos parents, nous l'empruntons à nos enfants."
    St Ex.

    Philobedo

  2. #2
    Membre émérite
    Profil pro
    Inscrit en
    Octobre 2008
    Messages
    1 874
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Octobre 2008
    Messages : 1 874
    Points : 2 890
    Points
    2 890
    Par défaut
    Il existe une méthode DBI dans ce genre là, c'est fetchall_arrayref

  3. #3
    Membre du Club Avatar de philobedo
    Profil pro
    Inscrit en
    Avril 2004
    Messages
    80
    Détails du profil
    Informations personnelles :
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations forums :
    Inscription : Avril 2004
    Messages : 80
    Points : 66
    Points
    66
    Par défaut
    Bonjour estofilo,

    Merci de ta réponse. Effectivement c'est bien ce genre de fonction que je recherche !

    Par contre je viens de faire un test rapide et le temps de réponse est aussi long (voire plus ?) qu'avec la méthode de remplissage de tableau par boucle...

    Y a t-il d'autre méthode ou moyen de procéder qui soit plus rapide et performant ??

    Pour information je travaille sur une base contenant plusieurs million d'enregistrement...

    Merci
    a+
    "Nous n'héritons pas la terre de nos parents, nous l'empruntons à nos enfants."
    St Ex.

    Philobedo

  4. #4
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 818
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 818
    Points : 499 183
    Points
    499 183
    Par défaut
    Voici une petite documentation sur des points à connaitre en DBI. N'hésite pas à nous montrer ton code par la suite.

  5. #5
    Membre du Club Avatar de philobedo
    Profil pro
    Inscrit en
    Avril 2004
    Messages
    80
    Détails du profil
    Informations personnelles :
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations forums :
    Inscription : Avril 2004
    Messages : 80
    Points : 66
    Points
    66
    Par défaut
    Bonjour djibril,

    ça à l'air intéressant tout ça ! ^^ Merci
    Je m'y plonge et je vous tiens au courant.

    Faut pas cacher les tutos aussi intéressant que ça!!

    ++
    "Nous n'héritons pas la terre de nos parents, nous l'empruntons à nos enfants."
    St Ex.

    Philobedo

  6. #6
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 818
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 818
    Points : 499 183
    Points
    499 183
    Par défaut
    Citation Envoyé par philobedo Voir le message
    Bonjour djibril,

    ça à l'air intéressant tout ça ! ^^ Merci
    Je m'y plonge et je vous tiens au courant.

    Faut pas cacher les tutos aussi intéressant que ça!!

    ++
    Les tutoriels ne sont pas cachés , faut juste avoir le réflexe d'aller dans la rubrique tutoriels de Perl .

  7. #7
    Membre du Club Avatar de philobedo
    Profil pro
    Inscrit en
    Avril 2004
    Messages
    80
    Détails du profil
    Informations personnelles :
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations forums :
    Inscription : Avril 2004
    Messages : 80
    Points : 66
    Points
    66
    Par défaut
    Oui oui...
    Honte à moi !
    "Nous n'héritons pas la terre de nos parents, nous l'empruntons à nos enfants."
    St Ex.

    Philobedo

  8. #8
    Membre émérite
    Profil pro
    Inscrit en
    Octobre 2008
    Messages
    1 874
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Octobre 2008
    Messages : 1 874
    Points : 2 890
    Points
    2 890
    Par défaut
    Il est probable que le temps soit passé non pas à interpréter le Perl mais dans l'exécution à proprement parler de la requête SQL par le serveur et/ou dans le passage par le réseau des données du résultat.
    Quand c'est possible il ne faut pas lire/stocker toutes les données et ensuite les traiter, mais les traiter au fur et à mesure qu'elles arrivent.

  9. #9
    Membre du Club Avatar de philobedo
    Profil pro
    Inscrit en
    Avril 2004
    Messages
    80
    Détails du profil
    Informations personnelles :
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations forums :
    Inscription : Avril 2004
    Messages : 80
    Points : 66
    Points
    66
    Par défaut
    La requête SQL met moins d'une seconde à s'exécuter.
    C'est le stockage du résultat qui prend tout le temps.
    Comme je passe par une fonction je suis obligé de lire/stocker mes résultats qui sont ensuite traité dans mon programme principal.
    Je pourrais effectivement créer un fonction spécifique dans laquelle je lit/stocke et traite mes résultats, mais je préférerais éviter.
    Ce que je trouve bizarre c'est que la même requête exécuté dans un client oracle (lecture et affichage de la donnée) prends environ 1s.
    "Nous n'héritons pas la terre de nos parents, nous l'empruntons à nos enfants."
    St Ex.

    Philobedo

  10. #10
    Membre émérite
    Profil pro
    Inscrit en
    Octobre 2008
    Messages
    1 874
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Octobre 2008
    Messages : 1 874
    Points : 2 890
    Points
    2 890
    Par défaut
    La requête SQL met moins d'une seconde à s'exécuter.
    C'est le stockage du résultat qui prend tout le temps.
    Il y a combien de lignes dans le résultat?

  11. #11
    Membre du Club Avatar de philobedo
    Profil pro
    Inscrit en
    Avril 2004
    Messages
    80
    Détails du profil
    Informations personnelles :
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations forums :
    Inscription : Avril 2004
    Messages : 80
    Points : 66
    Points
    66
    Par défaut
    Non en fait je me suis planté hier quand j'ai dit qu'elle mettait moins d'une seconde... C'était avec une limite de 100 lignes...
    En fait elle met environ 45mn à s'exécuter (dans un client Oracle)...

    Et la requête renvoie 1 839 732 lignes !

    En rajoutant le stockage des lignes dans le tableau le temps varie de 58mn à 65mn, suivant la méthode employée... D'où un surplus "perl" compris entre 13 et 20mn... (de 23 à 31% du total).
    "Nous n'héritons pas la terre de nos parents, nous l'empruntons à nos enfants."
    St Ex.

    Philobedo

  12. #12
    Membre émérite
    Profil pro
    Inscrit en
    Octobre 2008
    Messages
    1 874
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Octobre 2008
    Messages : 1 874
    Points : 2 890
    Points
    2 890
    Par défaut
    Il est possible que le client Oracle qui met 15-20 mn de moins fasse moins d'allers-retour (round-trips) avec le serveur,ces allers-retours étant assez coûteux (temps réseau).
    Il y a un paramètre lié à ça dans DBD::Oracle, c'est RowCacheSize, avec cet exemple de la doc:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
     
      $dbh->{RowCacheSize} = 10;
       $sth=$dbh->prepare($SQL,
    {ora_exe_mode=>OCI_STMT_SCROLLABLE_READONLY,ora_prefetch_memory=>10000});
    Tu peux peut-être essayer ça, mais à mon avis avec des valeurs beaucoup plus importantes, genre 100 fois plus, vu la taille de ton résultat.

  13. #13
    Membre du Club Avatar de philobedo
    Profil pro
    Inscrit en
    Avril 2004
    Messages
    80
    Détails du profil
    Informations personnelles :
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations forums :
    Inscription : Avril 2004
    Messages : 80
    Points : 66
    Points
    66
    Par défaut
    Bonjour,
    Je n'étais pas trop dispo ces derniers jours, mais en mettant le RowCacheSize je gagne environ 30mn sur la même requête !

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    $dbh->{RowCacheSize} = 1000;
    Ici, je suis à 28mn

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    $dbh->{RowCacheSize} = 10000;
    Dans ce cas il faut 26mn

    (pour rappel la requête et le stockage des résultats dans un tableau mettait plus de 55mn avant)

    donc merci de ton indication estofilo ! ^^

    Par contre quelqu'un sait-il ce qui se passe si la valeur du RowCacheSize est supérieure au nombre de ligne renvoyés ?

    Encore merci
    Philobedo
    "Nous n'héritons pas la terre de nos parents, nous l'empruntons à nos enfants."
    St Ex.

    Philobedo

  14. #14
    Mr6
    Mr6 est déconnecté
    Membre éclairé

    Homme Profil pro
    Inscrit en
    Septembre 2004
    Messages
    607
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Secteur : Service public

    Informations forums :
    Inscription : Septembre 2004
    Messages : 607
    Points : 794
    Points
    794
    Par défaut
    Salut !

    RowCacheSize
    Visiblement tu réserveras de la mémoire inutilement si tu mets une réservation trop grande. Cela pourra avoir un impact lors du vidage de l'espace pour la requête suivante (plus de poubelles à sortir ) Ceci dit, pourquoi ne pas faire confiance à DBI ? (valeur à 0)

    @+
    Mr6

  15. #15
    Membre du Club Avatar de philobedo
    Profil pro
    Inscrit en
    Avril 2004
    Messages
    80
    Détails du profil
    Informations personnelles :
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations forums :
    Inscription : Avril 2004
    Messages : 80
    Points : 66
    Points
    66
    Par défaut
    Quand je mets 0 pour une gestion automatique par DBI le temps est deux fois plus long ...
    So I do it by my own !

    A+
    Philobedo
    "Nous n'héritons pas la terre de nos parents, nous l'empruntons à nos enfants."
    St Ex.

    Philobedo

Discussions similaires

  1. Réponses: 4
    Dernier message: 02/05/2012, 15h48
  2. Réponses: 1
    Dernier message: 17/06/2008, 13h02
  3. Réponses: 2
    Dernier message: 08/09/2007, 17h41
  4. Récupération des données après restauration du système avec Ghost
    Par digital prophecy dans le forum Autres Logiciels
    Réponses: 2
    Dernier message: 12/06/2007, 15h05
  5. [ DB2] => [ORACLE] Récupération de données
    Par LeDid dans le forum DB2
    Réponses: 3
    Dernier message: 25/06/2003, 18h10

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo