Discussion :

[remixade]

Bonjour à tous,
J'ai besoin d'ouvrir un gros fichier texte (365Mo) avec un script perl, le probleme c'est que ça me met mon serveur à genoux...Connaissez vous un moyen de le faire par "bloc" sans avoir à découper le fichier au préalable ?
Merci pour votre aide et bonne journée...

[Arioch]

Que fais ton programme d'une ligne qu'il lit dans le fichier exactement ? Charge-t-il l'intégralité du fichier en mémoire ?

[Fango]

tu le lis ligne par ligne?

[remixade]

le prog charge la totalité du fichier dans une variable avec un :
open(my $fd, '>','fichier');
my $content=do {local$/;<$fd>};
Je split ensuite le contenu pour alimenter une table...
Et justement, y'a-t-il un moyen de traiter le contenu du fichier par blocs sans avoir à découper mon fichier avant ?

[Fango]

tu n'ouvres pas ton fichier en lecture? Je code habituellement avec

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
open READER, "< $fichier" 
while ($ligne = <READER>)
{...}

et du coup je traite ligne par ligne et je ne crois pas que tout le fichier soit charge. Mais ce n'est qu'une impression, car je n'ai pas eu l'occasion de tester vraiment...
Apres, cela depend des traitements que tu fais dessus, il y a peut etre moyen de contourner.

[Arioch]

le prog charge la totalité du fichier dans une variable avec un :
open(my $fd, '>','fichier');
my $content=do {local$/;<$fd>};
Je split ensuite le contenu pour alimenter une table...
Et justement, y'a-t-il un moyen de traiter le contenu du fichier par blocs sans avoir à découper mon fichier avant ?

Cherche pas plus loin : tout ton fichier est chargé en mémoire et ça surcharge ton serveur

As-tu moyen de traiter les données ligne par ligne ? Ce serait plus simple pour toi.

[remixade]

merci pour ces réponses, mais justement, je ne peux pas traiter le fichier ligne par ligne puisque je fait un split dessus en fonction de certains motifs...
Bonne journée à tous...