Discussion :

[melanifolk]

Bonjour à tous !

Je réutilise un script perl qui me permet de mettre dans des fichiers csv le contenu de plusieurs tables. Suite à la volumétrie assez importante, j'ai rajouté un découpage tous les millions de lignes.

En entrée j'ai 4 fichiers, que j'insère à la suite dans une variable pour me permettre d'exploiter les données car c'est pour une fusion entre deux tables.

Lorsque j'ai plus de 2 millions de lignes à traiter, mon programme plante et arrête d'écrire dans le fichier de log en plein milieu d'une phrase. Alors q'avec 2 millions de lignes, tout s'exécute sans soucis.

Je suppose donc que c'est un problème de mémoire. Par contre, en cherchant des solutions, j'ai trouvé des informations sur le stacksize que j'ai essayé de forcé mais sans succès.

use threads ('stack_size' => 64*4096);

Pourriez-vous me dire s'il y a un moyen de vider un buffer ou la mémoire qui pose pb ?

Merci par avance

Mélanie

[Lolo78]

Bonjour Mélanie,

Si tu écris en mémoire des millions de lignes il y a forcément un risque de débordement de mémoire à un moment ou à un autre, même si je suis un peu surpris que ça arrive dès deux millions de lignes.

Il faudrait que tu montres ton programme pour que l'on puisse voir s'il y a moyen de traiter tes données autrement.