Discussion :

[erwannoo]

Bonjour je cherche a débugger un script bash qui me permettrait de récupérer des informations processus (informations provenant de la commande $ps aux).

Le problème c'est que je ne sais pas du tout écrire de script bash alors je galère.

Du coup je vous présente l'état de mes investigations :

Tout d'abord je créé l'entête de mon script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

#!/bin/bash

après je vais passer la commande dans une variable :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cmde="ps aux"

ensuite je veux faire une boucle while, et lire et écrire ligne a ligne les datas affichées à la suite de la commande $ps aux :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
while read -r $cmde
do
print "cpu_usage{process=\""$11"\", pid=\""$2"\"},"$3 
done

après je souhaite transférer tout ça dans un pushgateway pour afficher des metrics (graphiques de surveillance des processus).

pour ce faire j'utilise le code suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl -X POST -H "Content-type: text/plain" --data "$var" http://localhost:9091/metrics/job/top/instance/machine

Le problème qui se pose maintenant est que je n'arrive pas a passer les datas dans le curl.
Je continue de chercher.

[N_BaH]

Le problème qui se pose maintenant est que je n'arrive pas a passer les datas dans le curl.

le vrai problème, c'est que tu ne sais pas ce qu'est une Substitution de commandes.

[erwannoo]

Bonjour,

Merci, je ne savais pas que cela s'appelait comme ça.

en retestant le bout de commande indépendamment de tout le reste il s'avère que la ligne la plus intéressante est celle la (du moins pour moi) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ps aux | awk '{print "cpu_usage{process=\""$11"\",pid=\""$2"\"},",$3}'

avec $11 pour afficher la colonne "COMMAND", $2 pour afficher la colonne "PID" et $3 pour afficher la colonne "%CPU". On pourrait comme ça ajouter les autres colonnes (Memoire, Stat, time, etc...).

commande que je vais réécrire comme ça pour être plus homogène :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ps aux | awk '{print "cpu_usage{process=\""$11"\",pid=\""$2"\",CPU=\""$3"\"}"}'

ou la commande awk permet d'appliquer la commande print ... à chaque lign (si j'ai tout bien compris).

Sur ce point, je pense que c'est bon.

[erwannoo]

Je continue dans mes investigations et je passe maintenant à la boucle while.
Afin d'être certain que cette boucle est bien opérationnelle avec la commande ps aux recherchée, je teste :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
while true
do
    ps aux | awk '{print "cpu_usage{process=\""$11"\",pid=\""$2"\",CPU=\""$3"\"}"}'
done

au delà des possibles fautes de frappes "\""\ lors de la recopie du code, ce dernier fonctionne correctement est m'affiche sans interruption la liste des processus avec informations associées.

[jack-ft]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
while true
do
    ps aux | awk '{print "cpu_usage{process=\""$11"\",pid=\""$2"\",CPU=\""$3"\"}"}'
done

au delà des possibles fautes de frappes "\""\ lors de la recopie du code, ce dernier fonctionne correctement et m'affiche sans interruption la liste des processus avec informations associées.

Pour (partielle) info, il existe des options de ps qui permettent de sélectionner les informations à retourner sans passer par awk.

Je crois qu'il s'agit de l'option -o, mais, comme mon mac n'est pas sous linux, je ne peux pas facilement être plus précis...

De plus, la cohérence des man en ligne n'est pas évidente:
Le man ps français mentionne "O" mais pas "o",
alors que le man ps anglais mentionne bien "-o", avec l'exemple ps -o pid=X,comm=Y.

De plus, manifestement, l'utilisateur utilise les options BSD (sans tiret).

Or il est indiqué que

Note that ps -aux is distinct from ps aux.

Après, si l'utilisation de awk fonctionne bien...

[erwannoo]

Merci pour ces précisions,
je teste actuellement la sélection de process dont le CPU est supérieur à 1%, voici la commande qui fonctionne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ps aux | awk '$3>1 {print "cpu_usage{process=\""$11"\",pid=\""$2"\",CPU=\""$3"\"}" }'

cette commande me retourne donc les quelques lignes dont les processus ont une consommation CPU supérieure à 1%

Maintenant ce que je vais essayer de faire, c'est de transférer ces lignes au pushgateway via une commande de ce type :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl --data-binary @- http://localhost:9091/metrics/job/some_job

mais la je ne sais pas encore trop comment m'y prendre...

[N_BaH]

plutôt qu'une boucle while, pour obtenir en continu les informations sur les processus en cours, j'utiliserais top.

[erwannoo]

Je ne suis pas certain que la commande "Top" s'adapte mieux. Je souhaite réaliser grâce au "While" une photo des processus a l'instant t et transmettre certaines données processus à prometheus via un pushgateway.

Actuellement j'essai de transmettre des données de base (mais avec un formalisme proche de celui que je récupère avec ma précédente commande ps aux...) à l'aide de la commande curl.
Quelquechose du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl -d "{\"process\":geany,\"pid\":1110,\"CPU\";1.6}" -H "Content-Type: text/plain" -X POST http://localhost:9091/metrics ....

je dis bien "quelquechose du genre" car pour l'instant ce n'est pas au point !!

[N_BaH]

la boucle while réexécute, en continu*, la commande ps, ce que fait très bien top toute seule, sans boucle "externe", avec la possibilité de définir un délai entre chaque affichage.

par contre, la transmission...
comment le pushgateway doit-il recevoir les données ? processus par processus (alors, la boucle n'est pas indispensable ! ), ou tout d'un seul coup à chaque exécution de la boucle?

--
* donc, pas du tout à un instant donné.

[erwannoo]

Merci pour la réponse,

Ok pour Top, concernant le pushgateway c'est effectivement ce que je cherche à comprendre. La tout de suite je sais transmettre une donnée (libellé + valeur) au pushgateway via l'utilisation de curl, pushgateway me l'affiche et la data est récupérée par promotheus (donc ça c'est cool). L'idée pour moi maintenant est d'arriver un transmettre plusieurs données. Je vais faire des tests, en espérant partager des résultats positifs plus tard !

[erwannoo]

La du coup je reviens un peu sur mes pas et test la boucle suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
#!/bin/bash
while true
do
  var=$(ps aux | awk '$3>1 {print "cpu_usage{process=\""$11"\",pid=\""$2"\"}", $3}');
  echo $var
  curl -X POST -H --data-binary "$var" http://localhost:9091/metrics/job/top/instance/machine
  sleep 1
done

le résultat nous donne l'affichage du processus qui a une consommation cpu supérieure à 1%.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[1/4]: cpu_usage process="/usr/lib/xorg/Xorg" 3.4
cpu_usage process="geany" 1.6 --> <stdout>
--_curl_--cpu_usage process="/usr/lib/xorg/Xorg" 3.4
cpu_usage process="geany" 1.6
curl: (3) URL using bad/illegal format or missing URL
 
[2/4]: cpu_usage process="/usr/lib/xorg/Xorg" 3.4
cpu_usage pid="1455" 1.6 --> <stdout>
--_curl_--cpu_usage process="/usr/lib/xorg/Xorg" 3.4
cpu_usage pid="1455" 1.6
curl: (3) URL using bad/illegal format or missing URL
 
[3/4]: cpu_usage pid="694" 3.4
cpu_usage process="geany" 1.6 --> <stdout>
--_curl_--cpu_usage pid="694" 3.4
cpu_usage process="geany" 1.6
curl: (3) URL using bad/illegal format or missing URL
 
[4/4]: cpu_usage pid="694" 3.4
cpu_usage pid="1455" 1.6 --> <stdout>
--_curl_--cpu_usage pid="694" 3.4
cpu_usage pid="1455" 1.6
curl: (3) URL using bad/illegal format or missing URL
cpu_usage {process="/usr/lib/xorg/Xorg",pid="694"} 3.4 cpu_usage {process="geany",pid="1455"} 1.6

Je ne sais pas trop encore comment utiliser cela pour m'aider à comprendre comment passer ces valeurs dans via le curl. Idéalement je voudrais passer :
cpu_usage process geany pid 694 1.6
avec cpu_usage process geany pid 694 la clé avec labels et 1.6 la valeur (% cpu).
Affaire à suivre...

[erwannoo]

J'ai un peu simplifié mon précédent code est le résultat est plus lisible :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
#!/bin/bash
 
while true
do
	var=$(ps aux | awk '$3>0 {print "cpu_usage {process=\""$11"\"}", $3 "\n"}');
	curl -X POST -H --data-binary "$var" http://localhost:9091/metrics/job/top/instance/machine
	sleep 1
done

resultat dans le terminal :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
curl: (3) nested brace in URL position 21:
cpu_usage {process="[v3d_bin]"} 0.2
 
cpu_usage {process="[v3d_render]"} 0.2
 
cpu_usage {process="/usr/lib/xorg/Xorg"} 3.3
 
cpu_usage {process="/usr/sbin/mysqld"} 0.1
 
cpu_usage {process="lxpanel"} 0.1
 
cpu_usage {process="lxterminal"} 0.2
 
cpu_usage {process="/usr/lib/chromium-browser/chromium-browser-v7"} 0.4
 
cpu_usage {process="/usr/lib/chromium-browser/chromium-browser-v7"} 0.5
 
cpu_usage {process="/usr/lib/chromium-browser/chromium-browser-v7"} 0.5
 
cpu_usage {process=

ou la je ne comprends pas la signification de nested brace in URL position 21

[N_BaH]

je crois avoir trouvé la page qui explique comment envoyer des données au pushgateway, et que tu n'as pas comprise.

les données sont envoyées d'un seul coup par curl dans un format donné par awk.
la boucle while ne sert qu'à lire la sortie de ps. Mais elle ne sert à rien : elle fait lire la sortie de ps, ligne par ligne, à awk, alors que awk sait très bien lire ligne par ligne, c'est son travail ! :/

donc, on peut simplifier en faisant afficher uniquement les données pertinentes par ps, et en passant ps directement à awk

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl ... --data "$(ps aux -o comm,pid,%cpu | awk '{print "cpu_usage{process=\""$1"\", pid=\""$2"\"}", $3}')" http://localhost...

[erwannoo]

Oui visiblement je n'ai pas tout saisi, mais je m'accroche ...
Je vais regarder tout ça. Je te remercie.

[erwannoo]

J'ai refait quelques tests, en virant la partie while, et ça me donne encore un message d'erreur du type "nested brace in URL position ..." , je pense que ça provient d'un " [ " .

Je vais étudier cela..

[N_BaH]

en virant la partie while

montre-nous le script que tu testes, à chaque modification; ce sera plus clair.

[Flodelarab]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl -X POST -H --data-binary "$var" http://localhost:9091/metrics/job/top/instance/machine

Ça, ça ne marche pas. Les double quotes autour de $var sont consommés par l'interprétation de la commande. Du coup, curl reçoit les données qui ne forme pas un tout. Les mots qui devaient être pris comme des données sont pris comme des URL. Et ça plante, puisque ce ne sont pas des URL mais des données.

De plus, il manque l'entête à l'option -H, non ?

Enfin, méfie-toi. ta soumission n'est ni vraiment du texte simple, ni vraiment du JSON. Tu fais un affichage mixte, à la sortie de ton awk. À ta place, on uniformiserait.

Une idée :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ps blablabla | awk 'blablabla' | curl -H "Content-Type: application/json" -X POST --data-binary @- http://api

@- dit de prendre le texte de la conduite (entrée standard) comme données à poster. À toi de faire une sortie de awk qui plaise à ton serveur.

[N_BaH]

dans le premier message, curl -X POST -H "Content-Type: text/plain" --data "$var" http://localhost:9091/metrics/job/top/instance/machine est tel quel dans le tuto.

[erwannoo]

Bonjour,

Pour lever le doute sur le blocage de la commande à cause des crochets " [ " j'ai donc fait le test suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ps aux | awk '$3>0 {print "cpu_usage_"$2"\ "$3"\ \n"}' | curl --data-binary @- http://localhost:9091/metrics/job/top/instance/machine

avec pour résultat de la commande seule

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ps aux | awk '$3>0 {print "cpu_usage_"$2"\ "$3"\ \n"}'

:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
cpu_usage_315 0.3 
 
cpu_usage_676 0.1 
 
cpu_usage_690 4.4 
 
cpu_usage_921 0.2 
 
cpu_usage_1047 0.4 
 
cpu_usage_1048 0.4 
 
cpu_usage_1109 0.2 
 
cpu_usage_1139 1.2

==> donc pas de crochets...

et le résultat de la commande complète

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ps aux | awk '$3>0 {print "cpu_usage_"$2"\ "$3"\ \n"}' | curl --data-binary @- http://localhost:9091/metrics/job/top/instance/machine

:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
awk: ligne de commande:1: avertissement*: séquence d'échappement «*\ *» traitée comme un simple «* *»
text format parsing error in line 1: expected integer as timestamp, got ""

donc encore des choses à améliorer. Donc je pense que je vais essayer de simplifier les datas à passer afin de résoudre les problèmatiques liées au "text format parsing..."

[N_BaH]

quel est ton objectif en mettant des barres obliques ?