charge système linux

Version imprimable

13/02/2009, 14h55
n0mad

charge système linux

Bonjour,

J'ai un programme de cryptographie (à base de stream cipher pour info) qui fait énormément de calculs et donc utilise le CPU a 100% quand il tourne. De fait, le load average (commande top) du système grimpe.

Je souhaiterais inclure dans mon programme un mécanisme de surveillance/blocage/controle de la charge système de manière à pouvoir "controler" le load average (du moins controler l'execution de mon programme en fonction du load average). Cela réduirais donc grandement le temps d'execution de mon programme, mais cela n'est pas important.

Auriez-vous des pistes afin que je puisse réaliser ce genre d'implémentation ? (car je suis sec sur le sujet :-D)

Je pensais par exemple à un fonction qui fixe le seuil maximum de la charge admissible (voir qui met en sommeil ma fonction de calcul en cas de dépassement) ou encore une librairie qui me permettrais de récupérer ces fameux load average que la commande top affiche.

En vous remerciant de vos réponses,
n0mad
13/02/2009, 18h24
souviron34

euh..

Utilises plutot la commande "nice", qui est faite pour ça...

man nice
18/02/2009, 12h53
n0mad

Bonjour,

Effectivement la fonction nice() permet de jouer avec les priorités d'un processus....mais cela ne répond pas à la question "quand est-ce que je l'appele" :)

En d'autres termes, comment je récupère la charge système..?

:)
18/02/2009, 14h12
souviron34

si tu veux te refaire un loader, libre à toi.

Meis d'une part c'est compliqué, d'autre part juste le fait de tester prndra du CPU, et donc biaisera la mesure.

nice est un utilitaire à part, qui fait ça pour toi : en fonction d l'ensemble des processus et de la charge, il maintient l'activité au niveau souhaité.

Elle s'appelle au lancement du programme

Code:

nice -20 monprog
18/02/2009, 15h15
Médinoc

Citation:

Envoyé par souviron34

nice est un utilitaire à part, qui fait ça pour toi : en fonction d l'ensemble des processus et de la charge, il maintient l'activité au niveau souhaité.

Tu es sûr?
Je croyais que nice ne faisait que changer la priorité du processus... Ce qui signifie que ça ne l'empêche pas d'utiliser 100% du proc si aucun autre processus ne demande les ressources.
18/02/2009, 15h46
souviron34

c'est pas ce que veut dire ce que j'ai dit ?

le loader/scheduler réparti la tâche, et nice , en mettant la priorité souhaitée, garanti (ou non) que le programme passera.

En tous cas il garantira que par exemple si on lui a mis une priorité plus faible, il ne prendra pas tout et laissera les plus prioritaires se débrouiller.

Il est bien entendu que si le processus est tout seul, sa priorité importe peu, donc il a 100% :D

Mais dès qu'il y a un processus de plus, le loader évaluera lequel est plus prioritaire, et le fera psser en tête, et ainsi de suite...

Donc plutôt que de tenter de refaire un "loader/scheduler+nice", utiliser nice et utiliser le mécansime normal est beaucoup plus... correct.
18/02/2009, 15h56
Médinoc

Mais j'ai l'impression que ce que veut n0mad, c'est justement ne pas avoir le proc à 100% du tout (sur un portable, ça peut faire la différence). Ou bien, c'est moi qui comprends mal l'expression "load average"...
18/02/2009, 16h06
souviron34

je pense, oui, parce que quand tu fais top, tu as en haut un résumé (nombre de processus en activité, nombre d'utilisateurs, %CPU, %mémoire, load average (exemple sur un bi-processeur, tourner à 1 de moyenne signifie que tu ne profites pas du 2ième processeur), etc etc..

Suis la liste des processus, avec leurs occupations (mémoire, CPU, etc).

Si donc le processus une fois lancé prend 100% de CPU, c'est qu'il tourne en "haute" priorité (ce qui est normal dans le temps mini du scheduler, mais plus si ça dure longtemps)

Il suffit de le mettre en plus basse, et (sauf si il est tout seul), il ne prendra pas 100%. Et nice sert à ça..

Mais peut-être ai-je mal compris aussi...
18/02/2009, 16h11
n0mad
OK bien visiblement ce thread a quelques problèmes de compréhension :)

Alors pour le nice, oui j'y avais deja pensé mais cela ne fait pas ce que je veux. De plus, il faut avoir les droits root pour jouer avec la priorité des processus. Et enfin, ce que je veux faire n'est pas un scheduler/ordonnanceur.

Je vais essayer de ré-expliquer ce que je veux. J'ai un programme qui tourne 15 minutes avec une utilisation du CPU a 100%. Par conséquent, le load average du système grimpe très vite et dépasse rapidement les 1 points (cf commande "top" en haut a droite de l'écran : load average).

Je voudrais donc surveiller ce load average - dans mon programme - pour qu'il s'endorme ( sleep(1800); par exemple) lorsque le load average est trop fort (ex: >= 1).
Code:

1 2 3 4 5 6 load = get_load_average_comment_je_fais_je_sais_pas(); if( load >= 1 ) sleep(1800); else // faire X calculs
Si je reprends l'exemple de 15 minutes de calculs a 100%, je souhaite "simplement" faire 3 * 5 minutes de calculs avec 10 minutes de pause entre chaque tranche.

Est-ce plus clair ?

Notez que ceci est un exemple et ne peut etre codé en "dur" dans le programme : les temps de calculs vont de 2 minutes a 30 minutes en gros et je souhaite que ces "tranches de calcul" soient déterminés à l'execution du programme.
18/02/2009, 16h15
Médinoc

Citation:

Envoyé par n0mad

De plus, il faut avoir les droits root pour jouer avec la priorité des processus.

Seulement pour rendre un processus plus prioritaire (ce qui se fait, si je me souviens bien, en diminuant sa valeur nice).
18/02/2009, 16h17
souviron34

Citation:

Envoyé par n0mad

Alors pour le nice, oui j'y avais deja pensé mais cela ne fait pas ce que je veux. De plus, il faut avoir les droits root pour jouer avec la priorité des processus.

8O8O nice est justement fait pour ne pas avoir les droits root (ou alors j'ai du gruyère à la place de mémoire (ce qui est possible, après tout)).

Citation:

Envoyé par n0mad

Je vais essayer de ré-expliquer ce que je veux. J'ai un programme qui tourne 15 minutes avec une utilisation du CPU a 100%. Par conséquent, le load average du système grimpe très vite et dépasse rapidement les 1 points (cf commande "top" en haut a droite de l'écran : load average).

Et ??

Si il n'y a pas d'autres processus critiques, le scheduler fait son travail tout seul, par défaut ton programme est à la même priporité que les autres (sauf si tu fais une boucle infinie).

Il est normal que si ton prgramme tourne il soit à 100% si il n'y a rien d eprioritaire qui arrive à ce moment là...

Sinon, je te conseillerais plutôt :

a) optimiser le code
b) séparer/isoler les morceaux de code qui prennent du temps.
c) éventuellement les transformer en programmes indépendants.

Mais mettre un sleep ne changera rien.. tu passeras de 100% à 0 puis de nouveau à 100...

Code:

1
2
3
4
5
6
7
8
9
10
11
SYNOPSIS
       #include <unistd.h>
       int nice(int inc);

DESCRIPTION
       nice()  adds  inc  to  the  nice  value for the calling process.  
       (A higher nice value means a low priority.) 
        Only the superuser may specify a negative increment, or priority
       increase.
      The range for nice values is described in getpriority(2).

18/02/2009, 16h19
Médinoc

Et justement, il est question pour toi de donner un incrément positif. :)
18/02/2009, 16h21
souviron34

en plus, là tu indiques le help de la commande C, mais il y a la commande Unix directe qui se passe comme je l'ai indiqué plus haut...
18/02/2009, 16h23
n0mad

Citation:

Mais mettre un sleep ne changera rien.. tu passeras de 100% à 0 puis de nouveau à 100...

c'est ce que je veux faire de façon dynamique....car si certe le CPU est "fortement consommé" (100, 0, 100%, etc), le load average sera qd meme réduit car 100+0+100 = 200 / 3 = 66....

Enfin bref soit vous ne comprenez pas ce que je veux, soit vous ne comprenez pas ce que je veux :)

Je m'en fou que mon process utilise le CPU a 100%, je veux que mon load average soit maitrisé. Comment on maitrise le load-average avec un process qui occupe 100% du CPU ? => en l'endormant !

Enfin bon visiblement il n'existe pas de libs pour récuperer le load average!

Merci de vos réponses en tout cas
18/02/2009, 16h24
n0mad

Citation:

Envoyé par souviron34

en plus, là tu indiques le help de la commande C, mais il y a la commande Unix directe qui se passe comme je l'ai indiqué plus haut...

On est sur un forum de C ou de commandes linux ?....!
18/02/2009, 16h26
Médinoc

Citation:

Envoyé par n0mad

Enfin bref soit vous ne comprenez pas ce que je veux, soit vous ne comprenez pas ce que je veux :)

On comprend ce que tu veux, mais on ne comprend pas que tu le veuilles, car ça n'a à nos yeux aucun intérêt.

Pourquoi vouloir diminuer le load average de ton processeur ?
Pourquoi ton programme n'utiliserait-il pas toute la puissance disponible quand aucun autre ne la demande ?
18/02/2009, 16h29
n0mad

Médinoc : je répondrais à cette question en restant vague pour éviter de me faire lincher en place publique. Mais il existe des domaines de recherches pour lesquels on souhaite qu'un programme se fasse discret...

De plus il suffit de voire cela comme une contrainte technique dans un cahier des charges, et zou, on ne se pose pas la question :-D
18/02/2009, 16h34
souviron34

Citation:

Envoyé par n0mad

Je m'en fou que mon process utilise le CPU a 100%, je veux que mon load average soit maitrisé. Comment on maitrise le load-average avec un process qui occupe 100% du CPU ? => en l'endormant !

8O non seulement, comme l'a dit Médinoc, on ne comprend pas, mais là c'est encore pire : en quoi est-ce que ça te dérange que le load average soit ça ?

tu veux jouer en bourse contre le fabriquant de CPU ?? ;)

Non, je me moque pas, mais ça n'a aucune importance, le load-average, si tu n'as pas plusieurs processus qui sont aussi importants et tournent en //.

Si tu ne veux pas utiliser plus que, disons, 50% du CPU à tout instant, meême seul, alors il te faudra faire une suite (assez grande) de petits programmes indépendants, pour que le scheduler passe de l'un à l'autre.

Mais ça n'a aucune importance à priori.

Et encore une fois, sinon, nice fait ce que tu veux... (sauf que si ton prog est tout seul, il prendre 100%, ce qui est normal, c'est pour ça qu'il y a un CPU et un scheduler).
18/02/2009, 16h36
souviron34

Citation:

Envoyé par n0mad

Mais il existe des domaines de recherches pour lesquels on souhaite qu'un programme se fasse discret...

Alors je doute que ce soit de la Recherche avec un grand R :roll:
18/02/2009, 16h38
n0mad

OK bon sujet clos on ne se comprend pas.

Merci de vos réponses.
18/02/2009, 16h52
Médinoc

Je sais que réduire le Load Average a parfois un intérêt sur les portables, pour réduire la consommation électrique du processeur (ou aussi, le maintenir assez froid pour qu'on n'ait pas besoin de démarrer le ventilo).

Mais si tu ne nous dis pas ce que tu cherches vraiment à faire (la "big picture"), on gardera l'impression que tu cherches à résoudre un problème plus grand avec la mauvaise méthode.
18/02/2009, 17h05
BainE

Ca sent le virus tout ca.
18/02/2009, 17h07
souviron34

Citation:

Envoyé par BainE

Ca sent le virus tout ca.

vi c'est ce que j'avais conclu :roll:
18/02/2009, 17h56
BainE

Enfin tant qu il se fourvoie sur une piste completement foireuse, on va pas l arreter.

Par contre j ai bien aimé le "certains domaines de recherches".
19/02/2009, 13h00
matafan

Si tu ne veux occuper que P pourcent de la capacité CPU du système, tu te créé un timer qui se déclenche toutes ls T millisecondes, et à expiration du timer tu dors pendant T*(1-P)/P millisecondes.
19/02/2009, 13h06
souviron34

Citation:

Envoyé par matafan

Si tu ne veux occuper que P pourcent de la capacité CPU du système, tu te créé un timer qui se déclenche toutes ls T millisecondes, et à expiration du timer tu dors pendant T*(1-P)/P millisecondes.

on ne va pas recommencer... on a déjà dit : dès qu'il se réveille, il aura 100% .. Alors sur la moyenne ça influera, mais pas sur le %...
19/02/2009, 13h27
matafan

Oui mais en l'occurence ce qu'il veut c'est ne pas trop faire grimper le load average, qui par définition est une moyenne (en général sur 1, 5 ou 15 minutes).

D'autre part les outils de monitoring fonctionne en général sur des intervalles d'au moins une seconde. S'il programme son timer sur une durée suffisament petite (mais pas trop) du genre 100 ms, c'est une solution parfaitement acceptable.
19/02/2009, 17h59
Obsidian

Pour poster quelque chose d'un peu plus constructif, on pourrait ajouter que sous Linux, la substantifique moëlle de l'information convoitée se trouve dans /proc/stat et la bibliothèque libproc. Mais comme il n'y a rien de standard à ma connaissance et que cela sent effectivement le virus à plein nez, on restera volontairement évasifs, à moins que Nomad nous donne des précisions sur ce qu'il cherche à faire réellement.

Fuseau horaire GMT +2. Il est actuellement 16h40.