Discussion :

[Jasmine80]

Bonjour,


J'aimerais connaitre la taille maximum que peut prendre un tableau indexé en Perl.

J'ai trouvé sur le net

In practice, open addressing is rarely employed- the open addressed hash table has a maximum size, whereas linked list hash tables have no limit to their capacity except available memory

J'aimerais savoir ce qu'est un "tableau indexé de listes liées"
Est ce quand on a une hash qui a des pointeurs vers des listes? Tout comme plus bas mon tableau a des pointeurs vers des autres tableaux.
N'hésitez pas à me reprendre si mon vocabulaire est incorrect.


Ma table est sous la forme

$Info{$Acc[$i]}{"Taxon"}

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
my $Info=  [
                {
                'AY223482'=>    {'Taxon'=> ["3267"],
                                'Souche'=> ["Dd"]},
 
                'AY223483'=>    {'Taxon'=> ["1296"],
                                'Souche'=> ["Jj"]}
                };
 
        ];

%Info peut il contenir 500 Ko? En utilisant des références cela change t'il quelque chose?

Merci,

Jasmine,

[stoyak]

si tu travailles avec des hash, 500 Ko passent amplement! je mets des fichiers de 30Mo en mémoire dans des hash!

[Jasmine80]

Oui justement, mon programme a planté une fois arrivé à 304 Ko et j'en recherche la cause. Aurais-tu une solution à me proposer?

1) J'ai une fonction (dans un fichier .pm) qui interroge Genbank et qui construit et renvoie la hash
2) un script Perl qui
* appelle cette fonction
- entrée: la requête pour Genbank (Bacillus Anthracis [organism])
- sortie: la hash contenant toutes mes informations (%Tableau) qui a la forme $Tableau{$Acc[$i]}{"Taxon"}

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
my %Tableau;
my $Ref= \%Tableau;
%Tableau=Tableau("Bacillus Anthracis [organism]");

* se connecte a MySQL
* crée une table
* remplit la table en lisant la Hash ligne par ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
      foreach my $Acc (keys %$Ref)
        {
                 my $Hash=$Ref->{$Acc};
 
                 foreach my $Champ (keys %$Hash)
                {
                }              
        }

Ou alors je ne fais qu'un grand script qui interroge GenBank et j'insers directement les valeurs dans ma base de données en passant par plusieurs hash plus petites

[djibril]

un hasu ne plante pas pour 1 Mo de données, c'est ridicule comme taille. Donc ton soucis venait surement d'ailleur (Tu pourrais nous montrer le message d'erreur pour information).
Sinon soit tu met tout dans un hash et ensuite l'insert dans ta base. Etant données que ce sont des petits hash, ça ne consommera pas beucoup de memoire.
Mais tu peux faire un grand script comme tu l'as suggéré, tout dépends de toi, de ta facilité à coder avec l'un ou l'autre maniere.

Si tu devais faire des hash de 100Mo, je t'aurais dis, fais du ligne à ligne si possible, mais dans ton cas, pas necessaire.

voilà

[MarneusCalgarXP]

Au boulot, j'avais fait des tests avec 8ko, 80ko, 800ko, 8Mo, 80Mo et 800Mo, et seul le test de remplissage à 800Mo a échoué... Je dirais donc que la limite se situe entre 80 et 800Mo, sans pouvoir t'apporter de précision supplémentaire...

[Jasmine80]

Je n'ai eu aucun message d'erreur de la part de Perl. Mais de mes 1300 entrées seules 758 sont insérées dans la base de données.
Je vais refaire tourner mon programme et écrire les accession dans un fichier texte afin de voir si la hash possèdent bien mes 1300 séquences et afin d'identifier l'accession de la séquence à laquelle l'insertion dans la base de données s'arrête.
Je sais que ce n'est pas un problème de simple quote qui pourrait faire rater la requête SQL car j'ai utilisé la fonction

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$Valeur=quotemeta($Valeur);

Je verrai demain quand j'en saurai plus.

Merci,

[MarneusCalgarXP]

Ton problème est surement un problème de doublons dans la base MySQL. L'insertion MySQL échoue, mais l'instruction execute n'affiche pas d'erreur, elle renvoie juste undef...

A moins que ce ne soit tout simplement que tu insères plusieurs fois la même clé dans ta hash et que du coup tu n'as que 758 entrées distinctes et non 1300 !

[djibril]

tu peux faire un or die ou plutot or print "probleme insertion DB"; dans tes scripts perl. ça te permettrait de voir les requetes qui ont échouées.

[scaleo]

J'ai déjà mis plus d'une giga de données dans un hash sa passe sans soucie , si ta plus d'un giga de ram , parce qu'il vaut mieux que sa ne swap pas .

[Jasmine80]

Bonjour à tous,

Cette nuit mon programme a tourné sans problème. Je ne sais pas la raison pour laquelle il a planté la fois précédente étant donné que je n'ai modifié aucune ligne de code. peut être un problème de connexion avec Genbank.

Jasmine,

[djibril]

c'est possible que ce soit du à une connection internet stoppée.
Bon courage pour la suite