Consommation mémoire sur Redhat

[pierrick76]

Bonjour,

Nous avons installé une Redhat et nous l'utilisons pour effectuer des traitements d'images (plusieurs To de données).

Sur cette machine, nous faisons tourner un utilitaire en ligne de commande que notre prestataire nous a fourni (nous ne savons pas comment celui-ci fonctionne exactement).

En bout d'une dizaine d'heure de traitement le serveur est complément de gelé et il est nécessaire de l'éteindre manuellement avec le bouton.

On constate que la mémoire utilisée croit constamment jusqu'à utiliser 100% puis basculer sur le swap.

Quelqu'un aurait-il une piste pour diagnostiquer plus en détail ce problème étant novice sur les environnements Linux ? Y a-t-il un moyen de connaitre quel est le processu qui utilise toute la mémoire ?

L'utilitaire prend en entrée une image JPG puis la convertie en 50 imagettes (pour visualisation sur internet). L'outil parcourt récursivement tous les dossiers/sous dossiers et fait la même opération sur des millions d'images.

Nous ne savons pas si l'augmentation de la mémoire est du à ce programme particulièrement ou bien à un autre process interne à Redhat (filesystem du à la journalisation, script qui laisse en mémoire chaque image, etc.).

Cela fait plusieurs semaines que l'on se penche sur la question et votre aide nous serait très précieuse.

merci par avance

[frp31]

oui bien sur

pour voir ce que consomme un processus unique il faut juste en trouver le N°

Code :

ps -ef | grep -i nom_de_l'application

la colonne pid (processus id) donne ce n°

avec ce dernier on sait ce que fait le processus par analyse de /proc/n°/*

======================

il y a aussi la commande top qui fait un bilan toutes les 3 secondes (je crois que c'est 3 secondes par defaut) et affiche les taux d'utilisation

======================

le fonctionnement normal de la mémoire est effectivement de bouffer en priorité la ram puis la swap... ça c'est donc normal...

======================

Combien tu as de ram par contre sur la machine ?

parce que lancer des traitements si lourds sur une machine qui a peu de ram est tjrs risqué....

surtout si l'application est codée avec les pieds....

[pierrick76]

Bonjour,

Maleureusement nous ne parvenons pas à trouver le process qui grossit et fait saturer la mémoire avec ces commandes.

En moins de 10 heures la mémoire arrive à 100 % et le serveur se gèle. Nous savons toujours pas à diagnostiquer le problème et surtout quel process prend toute la mémoire ?

[pierrick76]

Nous avons 4 Go de ram et notre prestataire nous a dit que cela était largement suffisant.

Sur leur machine (debian) cela fonctionne correctement et ils manipulent plusieurs dizaine de to de données.

Quel différence peut-il y avoir entre Debian et Redhat ? y a-t-il des paramètrages possibles sous Redhat afin de vider la mémoire inutiles ?

merci d'avance pour vos réponses.

[frp31]

la taille semble suffisant à condition que l'application ne soit pas folle est se limite bien à 4Go ...

[messinese]

Bonjour,

Tu as testé avec la commande:

Code :

top

afin de voir qui utilise le plus de ressource et combien ?

[pierrick76]

oui on utilise cette commande mais on ne voit pas quel process consomme toute la mémoire ...

Nous avons une connexion NAS sur ce serveur. L'outil cherche une image puis découpe celle-ci en une multitude d'imagette puis recopie à nouveau sur le NAS.

Pensez-vous que le serveur puisse travailler plus vite que la copie sur le réseau ? et qu'il y ait un goulot d'étrenglement au copie de la copie ce qui provoquerait la montée en mémoire ?

Y a t il moyen de travailler en synchrone entre le travail serveur et la copie des images sur le NAS ?

[messinese]

Bonsoir, je ne pense pas a une montée en charge de la sorte a moins que tu ai un paramètrage te fixant un certain débit en upload ce qui pourrait alors faire office de goulot.
Dans le cas contraire tu l aurais sûrement remarqué puisque tu aurait une surcharge réseau flagrante.

Désolé que la commande " top " n ai cependant pas pu t aider.
Cordialement.

[Katyucha]

Et en regardant avec nmon ? tu auras plus d'indication... sinon, si tu veux vraiement suivre ton système : Rien ne vaut un bon strace, voir même SystemTap (voir la doc sur le site de redhat )

Pour la mémoire, vois tu l'OOM Killer se lancer ? (Out of Memory Killer). C'est un processus qui doit sauver ton système en détruisant les processus consommateurs (je t'avoue, ca marche pas tout le temps )

[messinese]

un petit

Code :

ps -aux

peut aussi s'avéré utile