IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Bioinformatique Perl Discussion :

problème avec $gb->get_Seq_by_acc($acc)


Sujet :

Bioinformatique Perl

  1. #1
    Membre éprouvé
    Avatar de Jasmine80
    Femme Profil pro
    Bioinformaticienne
    Inscrit en
    Octobre 2006
    Messages
    3 157
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 45
    Localisation : Royaume-Uni

    Informations professionnelles :
    Activité : Bioinformaticienne
    Secteur : Santé

    Informations forums :
    Inscription : Octobre 2006
    Messages : 3 157
    Par défaut problème avec $gb->get_Seq_by_acc($acc)
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    			# Recherche dans Genbank
    			#--------------------------
     
    			eval { $gb->get_Seq_by_acc($acc) };
    			if ($@) {
    				print "ERREUR : pb accession $acc\n";
     
    			}
    			else{
    				my $info = $gb->get_Seq_by_acc($acc);
    				my $seq = $info->seq();
    				my $seq_length = length($seq);

    ERREUR :
    ------------- EXCEPTION -------------
    MSG: acc AF454164 does not exist
    STACK Bio:B::WebDBSeqI::get_Seq_by_acc C:/Perl/site/lib/Bio/DB/WebDBSeqI.pm:181
    STACK toplevel Samson.pl:159

    --------------------------------------
    Ligne 159 :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    my $info = $gb->get_Seq_by_acc($acc);
    Normalement, l'eval() permettait d'éviter que le script ne plante si l'accession n'existait pas.

    J'obtiens ici un message d'erreur disant que l'accession n'existe pas, or il existe bien !!

    J'utilise une liste d'accessions et quand cela bloque pour un (AF454164 par exemple), si je relance le script en supprimant de la liste les accessions précédents qui ont correctement été traités, AF454164 est cette fois bien trouvé et le script continue jusqu'à un nouveau message d'erreur similaire.

    ... je ne comprends pas le problème, avez-vous une idée?


    Merci pour votre aide,

  2. #2
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 822
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 822
    Par défaut
    Bah je sais pas comment tu as écris ton script, mais j'ai fais ceci :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    #!/usr/bin/perl 
    use warnings;
    use strict;
    use Carp;
     
    # Moduke Bio ::DB ::GenBank
    use Bio::DB::GenBank;
     
    # Création du handle permettant de se connecter à la banque de données GenBank avec le constructeur new qui ne prend aucun argument
    my $gb = new Bio::DB::GenBank;
     
    # Récupération des informations relatives à une séquence en introduisant son Accession Number
    # Utilisation de la méthode get_Seq_by_acc avec en argument l'accession demandé
    my $seq = $gb->get_Seq_by_acc('AF454164');
     
    my $Sequence = $seq->seq();
    my $Description = $seq->desc();
    print "$Sequence\n";
    print "$Description\n";
    et j'obtiens bien
    ATTGCCT......GGCG
    Aspergillus fumigatus strain CDC B-2570 28S ribosomal RNA gene, partial sequence.
    Sinon pourquoi tu n'écris pas ainsi par exemple :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    my $seq;
    eval {
      $seq = $gb->get_Seq_by_acc('AF4aaa54164');
    };
    if ($@) {
    				print "ERREUR : pb accession \n";
    }
    else {
      my $Sequence = $seq->seq();
      my $Description = $seq->desc();
      print "$Sequence\n";
      print "$Description\n";
    }
    et là j'ai bien
    ERREUR : pb accession

  3. #3
    Membre éprouvé
    Avatar de Jasmine80
    Femme Profil pro
    Bioinformaticienne
    Inscrit en
    Octobre 2006
    Messages
    3 157
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 45
    Localisation : Royaume-Uni

    Informations professionnelles :
    Activité : Bioinformaticienne
    Secteur : Santé

    Informations forums :
    Inscription : Octobre 2006
    Messages : 3 157
    Par défaut
    Citation Envoyé par djibril Voir le message
    Sinon pourquoi tu n'écris pas ainsi par exemple :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    my $seq;
    eval {
      $seq = $gb->get_Seq_by_acc('AF454164');
    };
    if ($@) {
    				print "ERREUR : pb accession \n";
    }
    else {
      my $Sequence = $seq->seq();
      my $Description = $seq->desc();
      print "$Sequence\n";
      print "$Description\n";
    }
    et là j'ai bien
    Oui, tu as raison, c'est mieux écrit ainsi. Je ne comprends pas pourquoi parfois on arrive à récupérer la séquence et parfois non d'autant plus qu'en refaisant tourner une seconde fois le script, l'erreur n'apparait plus ... c'est vraiment étrange, peut-être une saturation due à la liste des accessions demandés en requête (via une boucle sur @accessions ).

  4. #4
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 822
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 822
    Par défaut
    Ouais, je sais, ça arrive souvent. C'est surement dû soit à une connexion internet qui bug (micro coupure), ou même et je confirme que c'est le serveur ncbi qui est de temps en temps saturé. Du coup, il se peut que le module télécharge un fichier genbank corrompu, et donc qu'il n'arrive pas à récupérer l'information.

  5. #5
    Membre éprouvé
    Avatar de Jasmine80
    Femme Profil pro
    Bioinformaticienne
    Inscrit en
    Octobre 2006
    Messages
    3 157
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 45
    Localisation : Royaume-Uni

    Informations professionnelles :
    Activité : Bioinformaticienne
    Secteur : Santé

    Informations forums :
    Inscription : Octobre 2006
    Messages : 3 157
    Par défaut
    Le problème est survenu 5 fois sur les 2000 premiers accessions, je modifie la liste, je relance le script et ça reprend le cours normal des commandes (récupération info et insertion en DB) à partir de l'accession qui a posé problème (premier de la liste). Apparemment les accessions posant problème n'ont rien de particulier. Il en reste un peu plus de 4000 à traiter.

  6. #6
    Membre éprouvé
    Avatar de Jasmine80
    Femme Profil pro
    Bioinformaticienne
    Inscrit en
    Octobre 2006
    Messages
    3 157
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 45
    Localisation : Royaume-Uni

    Informations professionnelles :
    Activité : Bioinformaticienne
    Secteur : Santé

    Informations forums :
    Inscription : Octobre 2006
    Messages : 3 157
    Par défaut
    Citation Envoyé par djibril Voir le message
    Ouais, je sais, ça arrive souvent. C'est surement dû soit à une connexion internet qui bug (micro coupure), ou même et je confirme que c'est le serveur ncbi qui est de temps en temps saturé. Du coup, il se peut que le module télécharge un fichier genbank corrompu, et donc qu'il n'arrive pas à récupérer l'information.

    ^^ dans ce cas récupérer l'objet dans l'eval comme tu l'as proposé évitera ce problème car une fois dans le else on ne devra plus refaire la commande get_Seq_by_acc. Au pire si un problème de récupération se pose, $@ contiendra un message mais le script passera à l'accession suivant.

    Une fois de plus, merci pour ton aide.

  7. #7
    Membre éprouvé
    Avatar de Jasmine80
    Femme Profil pro
    Bioinformaticienne
    Inscrit en
    Octobre 2006
    Messages
    3 157
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 45
    Localisation : Royaume-Uni

    Informations professionnelles :
    Activité : Bioinformaticienne
    Secteur : Santé

    Informations forums :
    Inscription : Octobre 2006
    Messages : 3 157
    Par défaut
    Une dernière question. Vu que la récupération se fait un à un, un sleep(1) entre chaque récupération pourrait-il aider? Histoire de laisser respirer GenBank ... enfin 6000 secondes à attendre ça fait beaucoup trop, c'est juste une question par curiosité.

  8. #8
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 822
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 822
    Par défaut
    non, ne mets pas de sleep, ça ne sert à rien et de plus rendra ton script trop long car 1 secondes fois 10_000 accessions, t'es pas rendu.

    Par contre rien ne t'empêche d'essayer de :
    - soit relancer ton script une 2eme fois en re testant les accessions non trouvés
    - soit dans ton script tu fais un compteur histoire de chercher ton accession sur genbank une fois. s'il ne trouve rien, sleep 1 puis re teste une 2eme fois, et après 3 fois, bah tu passes à l'autre accession.

  9. #9
    Membre éprouvé
    Avatar de Jasmine80
    Femme Profil pro
    Bioinformaticienne
    Inscrit en
    Octobre 2006
    Messages
    3 157
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 45
    Localisation : Royaume-Uni

    Informations professionnelles :
    Activité : Bioinformaticienne
    Secteur : Santé

    Informations forums :
    Inscription : Octobre 2006
    Messages : 3 157
    Par défaut
    Citation Envoyé par djibril Voir le message
    non, ne mets pas de sleep, ça ne sert à rien et de plus rendra ton script trop long car 1 secondes fois 10_000 accessions, t'es pas rendu.

    Par contre rien ne t'empêche d'essayer de :
    - soit relancer ton script une 2eme fois en re testant les accessions non trouvés
    - soit dans ton script tu fais un compteur histoire de chercher ton accession sur genbank une fois. s'il ne trouve rien, sleep 1 puis re teste une 2eme fois, et après 3 fois, bah tu passes à l'autre accession.
    Ici, j'ai pensé à la première option, d'où je récupère les acc non trouvés via un print dans le if($@) (^^ c'est la façon bébé mais ça fonctionne bien). Mais la seconde option parait bien mieux, je modifierai le script pour la prochaine fois. Merci pour cette bonne idée.

  10. #10
    Expert confirmé

    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2009
    Messages
    3 577
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 59
    Localisation : France, Bas Rhin (Alsace)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Avril 2009
    Messages : 3 577
    Par défaut
    J'aurais aussi proposé la solution des retry, bien plus robuste.
    Dans ce cadre là, tu peux aussi gérer ta liste d'accession par un tableau, et gérer ton script selon ce modèle :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    @remaining_accession = @accession_list;
    while (@remaining_accession) {
      my @accession = splice @remaining_accession;
      foreach my $accession (@accession) {
        #trait $accession
        push @remaining_accession, $accession if $failure;
      }
    }

  11. #11
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 822
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 822
    Par défaut
    Le problème est qu'il se peut qu'il y ait des acc qui n'existe vraiment pas. Et dans ce cas, ton script tournerait en boucle indéfiniment

  12. #12
    Membre éprouvé
    Avatar de Jasmine80
    Femme Profil pro
    Bioinformaticienne
    Inscrit en
    Octobre 2006
    Messages
    3 157
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 45
    Localisation : Royaume-Uni

    Informations professionnelles :
    Activité : Bioinformaticienne
    Secteur : Santé

    Informations forums :
    Inscription : Octobre 2006
    Messages : 3 157
    Par défaut
    J'aurais pu utiliser une autre fonction que
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    $gb->get_Seq_by_acc($acc)

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    $seq = $db->get_Stream_by_acc([$acc1, $acc2]);
    Ou même mieux :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    $seq = $db->get_Stream_by_batch($ref);
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    Retrieves Seq objects from Entrez 'en masse', rather than one
                at a time.
    $ref : either an array reference, a filename, or a filehandle
                from which to get the list of unique ids/accession numbers.
    J'essaierai une prochaine fois.

  13. #13
    Expert confirmé

    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2009
    Messages
    3 577
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 59
    Localisation : France, Bas Rhin (Alsace)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Avril 2009
    Messages : 3 577
    Par défaut
    Pour sur, il faut que $failure signifie bien "erreur de connexion", et pas "pas de réponse valide"

  14. #14
    Membre éprouvé
    Avatar de Jasmine80
    Femme Profil pro
    Bioinformaticienne
    Inscrit en
    Octobre 2006
    Messages
    3 157
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 45
    Localisation : Royaume-Uni

    Informations professionnelles :
    Activité : Bioinformaticienne
    Secteur : Santé

    Informations forums :
    Inscription : Octobre 2006
    Messages : 3 157
    Par défaut
    ... ça tourne depuis 8h00 et j'arrive seulement aux 3000 premiers ... faut pas être pressé, heureusement que je peux faire d'autres choses en attendant.

  15. #15
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 822
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 822
    Par défaut

    peux tu nous montrer le script

  16. #16
    Membre éprouvé
    Avatar de Jasmine80
    Femme Profil pro
    Bioinformaticienne
    Inscrit en
    Octobre 2006
    Messages
    3 157
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 45
    Localisation : Royaume-Uni

    Informations professionnelles :
    Activité : Bioinformaticienne
    Secteur : Santé

    Informations forums :
    Inscription : Octobre 2006
    Messages : 3 157
    Par défaut
    Citation Envoyé par djibril Voir le message

    peux tu nous montrer le script
    C'est le script en rapport avec la discussion 'langage>rapidité d'un script' qui montre (via Benchmark::Stopwatch) que le seul fait de récupérer les donnée d'un accession sur GenBank ($gb->get_Seq_by_acc($acc)) prend dans mes exemples 3 sec (petites séquences 800 nuc) à 3 minutes (longues séquences 4000000 nuc).

    Vu que j'ai 6123 séquences (heureusement petites 120 à 1120 nuc ) 6123 * 3 sec = 18369 sec = 5 h ^^ Bref, y'a plus qu'à attendre patiemment que la DB se remplisse.

    EDIT : ^^ je ne sais plus calculer


    Néanmoins voici quand même mon script ^^ on sait j'avais que tu aies encore de bonnes idées pour l'améliorer :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    117
    118
    119
    120
    121
    122
    123
    124
    125
    126
    127
    128
    129
    130
    131
    132
    133
    134
    135
    136
    137
    138
    139
    140
    141
    142
    143
    144
    145
    146
    147
    148
    149
    150
    151
    152
    153
    154
    155
    156
    157
    158
    159
    160
    161
    162
    163
    164
    165
    166
    167
    168
    169
    170
    171
    172
    173
    174
    175
    176
    177
    178
    179
    180
    181
    182
    183
    184
    185
    186
    187
    188
    189
    190
    191
    192
    193
    194
    195
    196
    197
    198
    199
    200
    201
    202
    203
    204
    205
    206
    207
    208
    209
    210
    211
    212
    213
    214
    215
    216
    217
    218
    219
    220
     
     
     
     
     
    #!/usr/local/bin/perl
     
    use strict;
    use warnings;
     
     
    use DBI;
    use Bio::DB::GenBank;
    use Date::Calc qw(:all);
    use Time::localtime;
     
     
    my ($start_hour,$start_min,$start_sec) = Now([+1]);
     
     
    my $Depart = ctime();
    my $Annee = localtime->year() + 1900;
    my $Mois = localtime->mon() + 1;
    my $Jour = localtime->mday();
    my $Heure = localtime->hour();
    my $Min = localtime->min();
    my $Sec = localtime->sec();
     
    # Date pour MySQL     (date du jour)
    my $Date = sprintf("%04d",$Annee)."-".sprintf("%02d",$Mois)."-".sprintf("%02d",$Jour)." ".sprintf("%02d",$Heure).":".sprintf("%02d",$Min).":".sprintf("%02d",$Sec);
    $Date = quotemeta($Date);
     
     
     
    my $driver   = "mysql";
    my $server   = "localhost";
    my $database = "Pierre_Alain";
    my $url      = "DBI:$driver:$database:$server";
     
    my $Table="samson";
     
    my ($user, $password ) = PASS();
     
    my $DBconnect=DBI->connect( $url, $user, $password ) or die "Failure!\n";
     
    =h
    # efface la table si elle existe déjà
    my$sql0="drop table IF exists $Table;";
    my$sth0 = $DBconnect->prepare($sql0) or print "prepare error\n";
    $sth0->execute or die "Could not execute SQL0 statement ... maybe invalid?";
    $sth0->finish;
     
     
    # Créer la table
    my$sql = "CREATE TABLE $Table  (Accession VARCHAR(30) PRIMARY KEY, Id INT(10), Organism VARCHAR(50), Taxon INT(10), Seq_length SMALLINT(5),  Sequence LONGTEXT, Date DATE) ENGINE = InnoDB;";
    my$sth = $DBconnect->prepare($sql) or print "prepare error\n";
    $sth->execute or die "Could not execute SQL statement ... maybe invalid?";
    $sth->finish;
     
    print "\nTABLE $Table cree\n\n\n";
    =cut
     
     
     
     
    my @request =  ('DQ094418','DQ094419');
     
    print @request." acc à rechercher\n\n";
     
    my $gb = new Bio::DB::GenBank;
     
    foreach my $acc (@request){
     
    	# si l'acc est déjà dans Samson, on passe au suivant
    	my $sql0 = "SELECT Id FROM $Table WHERE accession = '$acc'";
    	my $sth0 = $DBconnect->prepare($sql0) or print "prepare error\n";
    	$sth0->execute or die "Could not execute SQL statement ... maybe invalid?";
    	my $exi = $sth0->rows;
     
    	if ($exi == 0){
     
    		# si l'acc est déjà dans Fungi2, on garde le même Id
    		my $sql = "SELECT fungi2.id, fungi2.organism, fungi2_accessions.accession, fungi2.seq_length, fungi2.sequence
    			FROM fungi2
    			LEFT JOIN fungi2_accessions
    			USING ( id ) 
    			WHERE accession = '$acc'";
     
    		my$sth = $DBconnect->prepare($sql) or print "prepare error\n";
    		$sth->execute or die "Could not execute SQL statement ... maybe invalid?";
    		my $num = $sth->rows;
     
    		if ($num > 0){
     
    			my $info;
     
    			eval { $info =  $gb->get_Seq_by_acc($acc) };
    			if ($@) {
    				print "ERREUR : pb accession $acc\n";
    			}
    			else{
     
    				my $taxon = 0;
     
    				my @Features = $info->get_SeqFeatures;
    				my $FeaturesDNA = $Features[0];
     
    				foreach my $k (keys %$FeaturesDNA){
     
    					if ($k eq "annotation"){ 
     
    						my $SousObjet1 = ($FeaturesDNA->{$k});
    						my $SousObjet2 = ($SousObjet1->{"_annotation"});				
    						my $SousObjet4 = ($SousObjet2->{"db_xref"});
    						$taxon = ${$SousObjet4}[0];
    						$taxon =~ s/\D//g;
    						last;
     
    					} #if
     
    				} # foreach my $k (keys %$FeaturesDNA)
     
     
    				while (my @row=$sth->fetchrow_array){
    					my $sql2 = "INSERT INTO $Table (Id, Organism, Taxon, Accession, Seq_length, Sequence, Date) VALUES ('$row[0]', '$row[1]', '$taxon', '$row[2]', '$row[3]', '$row[4]', '$Date')";
    					my $sth2 = $DBconnect->prepare($sql2) or print "prepare error\n";
    					$sth2->execute or die "Could not execute SQL statement ... maybe invalid?";
    					$sth2->finish;		
    				}
    				$sth->finish;
    			}
    		}
    		else{
    			# Recherche dans Genbank
    			#--------------------------
     
    			my $info;
     
    			eval { $info = $gb->get_Seq_by_acc($acc) };
    			if ($@) {
    				print "ERREUR : pb accession $acc\n";
    			}
    			else{
    				my $seq = $info->seq();
    				my $seq_length = length($seq);
     
    				my $organism = "";
    				my $taxon = 0;
     
    				my @Features = $info->get_SeqFeatures;
    				my $FeaturesDNA = $Features[0];
     
     
    				foreach my $k (keys %$FeaturesDNA){
     
    					if ($k eq "annotation"){ 
     
    						my $SousObjet1 = ($FeaturesDNA->{$k});
    						my $SousObjet2 = ($SousObjet1->{"_annotation"});
    						my $SousObjet3 = ($SousObjet2->{"organism"});
    						$organism = ${$SousObjet3}[0];
     
    						my $SousObjet4 = ($SousObjet2->{"db_xref"});
    						$taxon = ${$SousObjet4}[0];
    						$taxon =~ s/\D//g;
    						last;
     
    					} #if
     
    				} # foreach my $k (keys %$FeaturesDNA)
     
    				my $sql2 = "INSERT INTO $Table (Organism, Taxon, Accession, Seq_length, Sequence, Date) VALUES ('$organism', '$taxon', '$acc', '$seq_length', '$seq', '$Date')";
    				my $sth2 = $DBconnect->prepare($sql2) or print "prepare error\n";
    				$sth2->execute or die "Could not execute SQL statement ... maybe invalid?";
    				$sth2->finish;	
    			}
    		}
    	} # end if ($exi > 0){
    } # fin de  foreach my $acc (@request)
     
     
     
     
    # DECONNEXION A LA BASE DE DONNEES
    #-----------------------------------
    $DBconnect->disconnect();
     
     
    print "\n\n\n\n FIN\n\n";
    my ($end_hour,$end_min,$end_sec) = Now([+1]);
     
    my ($D_y,$D_m,$D_d, $Dh,$Dm,$Ds) =
          Delta_YMDHMS(1, 1, 1, $start_hour, $start_min, $start_sec,
                       1, 1, 1, $end_hour,$end_min,$end_sec);
     
    print $Dh." h ".$Dm." min ".$Ds." sec\n";      
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
    sub PASS{
            my $password_file = "P:/Perl/InfoPass.txt";
            open (FILE, $password_file)  or die "Can't open file\n";
            my @line = <FILE>;
    	close (FILE);
            chomp($line[0]);
            chomp($line[1]);
            return ( $line[0], $line[1]);
    }

  17. #17
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 822
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 822
    Par défaut
    Ah, je vois qu'il y a déjà quelque chose à améliorer de toute urgence .
    Tu n'utilises pas les placeholders SQL. Pas bien. ça va te faire ramer à mort ton script.

    Je corrige ton script et te le remets

  18. #18
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 822
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 822
    Par défaut
    Voilà ton script corrigé et indenté. Tu peux voir la différence

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    117
    118
    119
    120
    121
    122
    123
    124
    125
    126
    127
    128
    129
    130
    131
    132
    133
    134
    135
    136
    137
    138
    139
    140
    141
    142
    143
    144
    145
    146
    147
    148
    149
    150
    151
    152
    153
    154
    155
    156
    157
    158
    159
    160
    161
    162
    163
    164
    165
    166
    167
    168
    169
    170
    171
    172
    173
    174
    175
    176
    177
    178
    179
    180
    181
    182
    183
    184
    185
    186
    187
    188
    189
    190
    191
    192
    193
    194
    195
    196
    197
    198
    199
    200
    201
    202
    203
    204
    205
    206
    207
    208
    209
    210
    211
    212
    213
    214
    215
    216
    217
    #!/usr/local/bin/perl
     
    use strict;
    use warnings;
     
    use DBI;
    use Bio::DB::GenBank;
    use Date::Calc qw(:all);
    use Time::localtime;
     
    my ( $start_hour, $start_min, $start_sec ) = Now( [+1] );
     
    my $Depart = ctime();
    my $Annee  = localtime->year() + 1900;
    my $Mois   = localtime->mon() + 1;
    my $Jour   = localtime->mday();
    my $Heure  = localtime->hour();
    my $Min    = localtime->min();
    my $Sec    = localtime->sec();
     
    # Date pour MySQL     (date du jour)
    my $Date
        = sprintf( "%04d", $Annee ) . "-"
        . sprintf( "%02d", $Mois ) . "-"
        . sprintf( "%02d", $Jour ) . " "
        . sprintf( "%02d", $Heure ) . ":"
        . sprintf( "%02d", $Min ) . ":"
        . sprintf( "%02d", $Sec );
    $Date = quotemeta($Date);
     
    my $driver   = "mysql";
    my $server   = "localhost";
    my $database = "Pierre_Alain";
    my $url      = "DBI:$driver:$database:$server";
     
    my $Table = "samson";
     
    my ( $user, $password ) = PASS();
     
    my $DBconnect = DBI->connect( $url, $user, $password ) or die "Failure!\n";
     
    =header
    # efface la table si elle existe déjà
    my$sql0="drop table IF exists $Table;";
    my$sth0 = $DBconnect->prepare($sql0) or print "prepare error\n";
    $sth0->execute or die "Could not execute SQL0 statement ... maybe invalid?";
    $sth0->finish;
     
     
    # Créer la table
    my$sql = "CREATE TABLE $Table  (Accession VARCHAR(30) PRIMARY KEY, Id INT(10), Organism VARCHAR(50), Taxon INT(10), Seq_length SMALLINT(5),  Sequence LONGTEXT, Date DATE) ENGINE = InnoDB;";
    my$sth = $DBconnect->prepare($sql) or print "prepare error\n";
    $sth->execute or die "Could not execute SQL statement ... maybe invalid?";
    $sth->finish;
     
    print "\nTABLE $Table cree\n\n\n";
    =cut
     
    my @request = ( 'DQ094418', 'DQ094419' );
     
    print @request . " acc à rechercher\n\n";
     
    my $gb = new Bio::DB::GenBank;
     
    my $sql0 = "SELECT Id FROM $Table WHERE accession = ? ";
    my $sth0 = $DBconnect->prepare($sql0) or print "prepare error\n";
     
    # <========== c'est mieux :-)
    my $sql = <<"SQL";
        SELECT fungi2.id,                   fungi2.organism, 
               fungi2_accessions.accession, fungi2.seq_length, 
               fungi2.sequence
    		FROM fungi2
    		LEFT JOIN fungi2_accessions
    		USING ( id ) 
    		WHERE accession = ?
    SQL
    my $sth = $DBconnect->prepare($sql) or print "prepare error\n";
     
    foreach my $acc (@request) {
     
        # si l'acc est déjà dans Samson, on passe au suivant
        $sth0->execute($acc)
            or die "Could not execute SQL statement ... maybe invalid?";
        my $exi = $sth0->rows;
     
        if ( $exi == 0 ) { next; }    # <========== c'est mieux :-)
     
        # si l'acc est déjà dans Fungi2, on garde le même Id
        # <========== c'est mieux :-)
        $sth->execute($acc)
            or die "Could not execute SQL statement ... maybe invalid?";
        my $num = $sth->rows;
     
        if ( $num > 0 ) {
     
            my $info;
     
            eval { $info = $gb->get_Seq_by_acc($acc) };
            if ($@) {
                print "ERREUR : pb accession $acc\n";
            }
            else {
     
                my $taxon = 0;
     
                my @Features    = $info->get_SeqFeatures;
                my $FeaturesDNA = $Features[0];
     
                foreach my $k ( keys %$FeaturesDNA ) {
     
                    if ( $k eq "annotation" ) {
     
                        my $SousObjet1 = ( $FeaturesDNA->{$k} );
                        my $SousObjet2 = ( $SousObjet1->{"_annotation"} );
                        my $SousObjet4 = ( $SousObjet2->{"db_xref"} );
                        $taxon = ${$SousObjet4}[0];
                        $taxon =~ s/\D//g;
                        last;
     
                    }    #if
     
                }    # foreach my $k (keys %$FeaturesDNA)
     
                # <========== c'est mieux :-)
                my $sql2 = <<"SQL2";
       INSERT INTO $Table (Id, Organism, Taxon, Accession, Seq_length, Sequence, Date) 
       VALUES (?, ?, ?, ?, ?, ?, ?)
    SQL2
                my $sth2 = $DBconnect->prepare($sql2)
                    or print "prepare error\n";
                while ( my @row = $sth->fetchrow_array ) {
     
                    $sth2->execute(
                        $row[0], $row[1], $taxon, $row[2],
                        $row[3], $row[4], $Date
                        )
                        or die
                        "Could not execute SQL statement ... maybe invalid?";
                    $sth2->finish;
                }
                $sth->finish;
            }
        }
        else {
     
            # Recherche dans Genbank
            #--------------------------
     
            my $info;
     
            eval { $info = $gb->get_Seq_by_acc($acc) };
            if ($@) {
                print "ERREUR : pb accession $acc\n";
            }
            else {
                my $seq        = $info->seq();
                my $seq_length = length($seq);
     
                my $organism = "";
                my $taxon    = 0;
     
                my @Features    = $info->get_SeqFeatures;
                my $FeaturesDNA = $Features[0];
     
                foreach my $k ( keys %$FeaturesDNA ) {
     
                    if ( $k eq "annotation" ) {
     
                        my $SousObjet1 = ( $FeaturesDNA->{$k} );
                        my $SousObjet2 = ( $SousObjet1->{"_annotation"} );
                        my $SousObjet3 = ( $SousObjet2->{"organism"} );
                        $organism = ${$SousObjet3}[0];
     
                        my $SousObjet4 = ( $SousObjet2->{"db_xref"} );
                        $taxon = ${$SousObjet4}[0];
                        $taxon =~ s/\D//g;
                        last;
     
                    }    #if
     
                }    # foreach my $k (keys %$FeaturesDNA)
                my $sql2 = <<"SQL2";
       INSERT INTO $Table (Organism, Taxon, Accession, Seq_length, Sequence, Date) 
       VALUES ('$organism', '$taxon', '$acc', '$seq_length', '$seq', '$Date')
    SQL2
                my $sth2 = $DBconnect->prepare($sql2)
                    or print "prepare error\n";
                $sth2->execute
                    or die "Could not execute SQL statement ... maybe invalid?";
                $sth2->finish;
            }
        }
    }    # fin de  foreach my $acc (@request)
     
    # DECONNEXION A LA BASE DE DONNEES
    #-----------------------------------
    $DBconnect->disconnect();
     
    print "\n\n\n\n FIN\n\n";
    my ( $end_hour, $end_min, $end_sec ) = Now( [+1] );
     
    my ( $D_y, $D_m, $D_d, $Dh, $Dm, $Ds )
        = Delta_YMDHMS( 1, 1, 1, $start_hour, $start_min, $start_sec, 1, 1, 1,
        $end_hour, $end_min, $end_sec );
     
    print $Dh. " h " . $Dm . " min " . $Ds . " sec\n";
     
    sub PASS {
        my $password_file = "P:/Perl/InfoPass.txt";
        open( FILE, $password_file ) or die "Can't open file\n";
        my @line = <FILE>;
        close(FILE);
        chomp( $line[0] );
        chomp( $line[1] );
        return ( $line[0], $line[1] );
    }

  19. #19
    Expert confirmé

    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2009
    Messages
    3 577
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 59
    Localisation : France, Bas Rhin (Alsace)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Avril 2009
    Messages : 3 577
    Par défaut
    C'est quoi un placeholder SQL ?

  20. #20
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 822
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 822
    Par défaut
    Citation Envoyé par Philou67430 Voir le message
    C'est quoi un placeholder SQL ?
    Une petite lecture s'impose .
    Lorsque tu dois effectuer la même requête SQL dans une boucle dont l'unique modification est dans la clause WHERE par exemple, il est mieux d'éviter de faire un prepare, execute à chaque itération. Perl est dans ce cas obligé de créer la requête et de la préparer à chaque fois. Tu peux donc la préparer une seule fois en dehors de la boucle et ensuite tu l'exécutes en lui donnant en paramétre la valeur de la clause Where. C'est plus performant .

+ Répondre à la discussion
Cette discussion est résolue.
Page 1 sur 2 12 DernièreDernière

Discussions similaires

  1. Réponses: 5
    Dernier message: 25/01/2013, 14h29
  2. Problème avec script validation d'accès
    Par rudi2740 dans le forum Balisage (X)HTML et validation W3C
    Réponses: 1
    Dernier message: 27/11/2010, 19h49
  3. problème avec mon code pour accès au serveur ftp
    Par mimi51340 dans le forum Général Java
    Réponses: 1
    Dernier message: 04/03/2008, 00h24
  4. Accès Web depuis un logiciel : problème avec le Firewall
    Par MiJack dans le forum Web & réseau
    Réponses: 2
    Dernier message: 29/10/2007, 16h55
  5. [Excel] Problème avec l'accès aux feuilles et aux cellules
    Par bl00df0x dans le forum API, COM et SDKs
    Réponses: 2
    Dernier message: 30/09/2005, 15h21

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo