Ressources utilisees par un programme

[liodev]

Bonjour,

je dois faire des tests de perf sur un prog et j'aurais besoin de récupérer des infos telles que:
- le temps cpu system,
- le temps cpu user,
- le pic de memoire utilisee (en gros, le maximum de memoire qu'a du utiliser le programme durant toute son execution)
- le % de reseau utilisee tout au long du programme (donc recuperer des valeurs stockees dans un fichier toutes les 100ms par exemple) si on peut avoir des valeurs plus précises telles que la répartition emission/réception, par quel programme... c'est encore mieux, mais déja le % de reseau utilisé, ca serait bien



Pour le temps cpu (system et user), avec le "time" j'ai des valeurs (qui varient pas mal, donc... sont-elles vraiment justes? mais j'aurais au moins une estimation au cas ou j'ai rien de mieux)

Pour le pic de mémoire, j'ai vu que "time" le faisait pour certaines distrib (pas de chance pas pour la mienne) donc je suis ouvert a toute proposition car j'ai rien trouvé qui le fasse (a part de faire un script qui fait des ps en boucle en parallèle de l'execution de mon programme et qui conserve la plus haute valeur d'usage mémoire de mon programme... :/)

et pour l'utilisation du réseau, j'ai trouvé beaucoup de truc qui sortent des courbes et tout ca, mais ca correspond pas a ce que je cherche vu que je veux faire tourner mes tests par scripts, donc il me faut des valeurs dans des fichiers. Comme on dit, si les courbes existent, c'est que les valeurs existent, reste juste a les récupérer, donc si quelqu'un a une idée...

Merci d'avance pour toute idée/aide qui pourrait être proposée

[frp31]

avec le numero de process tu vas regarder dans /proc/n°/* et tu as toutes les infos que tu veux.

[oumokhtar]

Tu peux utiliser la commande "top" qui donne en temps réel des infos sur l'utilisation CPU memoire, disk..., Si t'es sous Redhat essai "iostat"
Pour le reseau, tu peux utiliser "iptables" pour sonder les paquets et decortiquer le contenu (mais ça nécessite un paramétrage assez rigide :p), il y a aussi ethereal qui est tres puissant et facil à utiliser..
En fin, toutes les sorties de tes commande devraient etre stocké dans des fichiers que tu devras gérer avec un script shell pour récupérer par exemple tes resultat dans un fichier CSV et apres utliser un outil "tableur" (comme excel ... ou bien l'outil equivalent de Open Office) pour génerer des graphiques et des courbes

Bonne chance

[MarcG]

pour ce qui est des temps voir la commande "time", (man time)

Code :

1
2
3
4
5
 
time mon_prog
real    0m0.002s
user    0m0.000s
sys     0m0.000s

pour le ressource du prog
effectivement /proc
mais les commandes :
ps, iostat, sar, netstat, mpstat, vmstat, .....

[liodev]

Pour le time, je pense que je vais utiliser ca en effet, même si les différences entre les résultats lors de plusieurs executions me semblent... assez abérrants...
(top me donne une info instantanée, moi je veux pouvoir lire mes traces le lendemain matin)

Pour la mémoire, avec /proc/pid/statm et une petite boucle, j'ai ma conso mémoire merci de l'info

Pour le réseau, je suis en train de regarder un peu tout ce que vous avez dit: sar notamment
sar -n DEV -x pid 1 ?
a l'air pas mal, mais j'avoue que j'ai du mal a utiliser -f pour choisir dans quel fichier je le fais écrire au début de mon execution et je sais pas encore trop quoi mettre dans le '?' (qui indique le nombre de mesures a faire. Si quelqu'un a ces infos merci d'avance

Sinon bien sur il y aura un petit script pour lancer tout ca et mes tests

et encore merci pour votre aide

[MarcG]

pour les resultat de time, c'est normal la difference entre deux lancement, particulierement quand tu le lance 2 fois de suite:
lors du premier lancement ton application est "sur le disque", ainsi que les données et tout ce qui va avec, lors du lancement suivant, l'image memoire du prog est deja en memoire, ainsi qu'une bonne part des données, donc pas de perte de temps en demarrage.

Les kernel gérent la memoire sur le principe suivant:
tant que de la place existe je l'utilise SANS virez ce qui y es deja, s'il n'y a plus de place, je recupere les emplacement correspondant à des application ou données plus utile, si plus de place tout de même, descente en swap.

donc plus une application est utiliser moins elle a de chance d'etre virer de la memoire.

[liodev]

Ce dont je parlais, c'est ca:

-bash-2.05b$ time ls -R /usr >/dev/null
ls: /usr/share/ssl/CA: Permission non accordée

real 0m0.699s
user 0m0.290s
sys 0m0.400s
-bash-2.05b$ time ls -R /usr >/dev/null
ls: /usr/share/ssl/CA: Permission non accordée

real 0m0.689s
user 0m0.200s
sys 0m0.490s
-bash-2.05b$ time ls -R /usr >/dev/null
ls: /usr/share/ssl/CA: Permission non accordée

real 0m0.710s
user 0m0.250s
sys 0m0.460s
-bash-2.05b$ time ls -R /usr >/dev/null
ls: /usr/share/ssl/CA: Permission non accordée

real 0m0.697s
user 0m0.180s
sys 0m0.520s
-bash-2.05b$ time ls -R /usr >/dev/null
ls: /usr/share/ssl/CA: Permission non accordée

real 0m0.703s
user 0m0.320s
sys 0m0.390s
-bash-2.05b$ time ls -R /usr >/dev/null
ls: /usr/share/ssl/CA: Permission non accordée

real 0m0.702s
user 0m0.270s
sys 0m0.430s
-bash-2.05b$ time ls -R /usr >/dev/null
ls: /usr/share/ssl/CA: Permission non accordée

real 0m0.686s
user 0m0.240s
sys 0m0.440s



Sur le premier lancement, je suis d'accord, ca entre beaucoup en compte, mais quand t'en fais plusieurs, voila les résultats que j'ai.

Pour le Real time, ok ca correspond toujours assez bien...

Pour le user et le system... il y a quand même de grosses différences...

On peut voir un coup un systeme a 0m0.520s et un coup a 0m0.390s

Après discution avec des collègues, ca pourrait venir du fait que mon kernel est en 1/100 ce qui provoquerait de grosses erreurs d'attribution de temps... et qu'en passant a un kernel 1/1000 j'aurais des temps bien plus précis... a tester...

[liodev]

Petite question sur la commande sar (qui marche vraiment bien merci a celui qui l'a nommée )

On doit donner un intervalle de temps et un nombre d'iterations... quand on le met sur un process en donnant son pid avec -x, quelqu'un aurait une solution pour faire que le sar s'arrete quand ce pid arrete d'exister? ca m'aiderait beaucoup...

Merci d'avance.