Discussion :

[Jasmine80]

Bonjour,


J'aimerais connaitre la taille maximum que peut prendre un tableau indexé en Perl.

J'ai trouvé sur le net

In practice, open addressing is rarely employed- the open addressed hash table has a maximum size, whereas linked list hash tables have no limit to their capacity except available memory

J'aimerais savoir ce qu'est un "tableau indexé de listes liées"
Est ce quand on a une hash qui a des pointeurs vers des listes? Tout comme plus bas mon tableau a des pointeurs vers des autres tableaux.
N'hésitez pas à me reprendre si mon vocabulaire est incorrect.


Ma table est sous la forme

$Info{$Acc[$i]}{"Taxon"}

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
my $Info=  [
                {
                'AY223482'=>    {'Taxon'=> ["3267"],
                                'Souche'=> ["Dd"]},
 
                'AY223483'=>    {'Taxon'=> ["1296"],
                                'Souche'=> ["Jj"]}
                };
 
        ];

%Info peut il contenir 500 Ko? En utilisant des références cela change t'il quelque chose?

Merci,

Jasmine,

[stoyak]

si tu travailles avec des hash, 500 Ko passent amplement! je mets des fichiers de 30Mo en mémoire dans des hash!

[Jasmine80]

Oui justement, mon programme a planté une fois arrivé à 304 Ko et j'en recherche la cause. Aurais-tu une solution à me proposer?

1) J'ai une fonction (dans un fichier .pm) qui interroge Genbank et qui construit et renvoie la hash
2) un script Perl qui
* appelle cette fonction
- entrée: la requête pour Genbank (Bacillus Anthracis [organism])
- sortie: la hash contenant toutes mes informations (%Tableau) qui a la forme $Tableau{$Acc[$i]}{"Taxon"}

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
my %Tableau;
my $Ref= \%Tableau;
%Tableau=Tableau("Bacillus Anthracis [organism]");

* se connecte a MySQL
* crée une table
* remplit la table en lisant la Hash ligne par ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
      foreach my $Acc (keys %$Ref)
        {
                 my $Hash=$Ref->{$Acc};
 
                 foreach my $Champ (keys %$Hash)
                {
                }              
        }

Ou alors je ne fais qu'un grand script qui interroge GenBank et j'insers directement les valeurs dans ma base de données en passant par plusieurs hash plus petites

[djibril]

un hasu ne plante pas pour 1 Mo de données, c'est ridicule comme taille. Donc ton soucis venait surement d'ailleur (Tu pourrais nous montrer le message d'erreur pour information).
Sinon soit tu met tout dans un hash et ensuite l'insert dans ta base. Etant données que ce sont des petits hash, ça ne consommera pas beucoup de memoire.
Mais tu peux faire un grand script comme tu l'as suggéré, tout dépends de toi, de ta facilité à coder avec l'un ou l'autre maniere.

Si tu devais faire des hash de 100Mo, je t'aurais dis, fais du ligne à ligne si possible, mais dans ton cas, pas necessaire.

voilà

[MarneusCalgarXP]

Au boulot, j'avais fait des tests avec 8ko, 80ko, 800ko, 8Mo, 80Mo et 800Mo, et seul le test de remplissage à 800Mo a échoué... Je dirais donc que la limite se situe entre 80 et 800Mo, sans pouvoir t'apporter de précision supplémentaire...

[Jasmine80]

Je n'ai eu aucun message d'erreur de la part de Perl. Mais de mes 1300 entrées seules 758 sont insérées dans la base de données.
Je vais refaire tourner mon programme et écrire les accession dans un fichier texte afin de voir si la hash possèdent bien mes 1300 séquences et afin d'identifier l'accession de la séquence à laquelle l'insertion dans la base de données s'arrête.
Je sais que ce n'est pas un problème de simple quote qui pourrait faire rater la requête SQL car j'ai utilisé la fonction

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$Valeur=quotemeta($Valeur);

Je verrai demain quand j'en saurai plus.

Merci,