Transférer dans un pushgateway des informations sur les processus

Version imprimable

30/09/2021, 21h40
erwannoo

Transférer dans un pushgateway des informations sur les processus
Bonjour je cherche a débugger un script bash qui me permettrait de récupérer des informations processus (informations provenant de la commande $ps aux).

Le problème c'est que je ne sais pas du tout écrire de script bash alors je galère.

Du coup je vous présente l'état de mes investigations :

Tout d'abord je créé l'entête de mon script :

Code:

#!/bin/bash

après je vais passer la commande dans une variable :

Code:

cmde="ps aux"

ensuite je veux faire une boucle while, et lire et écrire ligne a ligne les datas affichées à la suite de la commande $ps aux :
Code:

1 2 3 4 while read -r $cmde do print "cpu_usage{process=\""$11"\", pid=\""$2"\"},"$3 done
après je souhaite transférer tout ça dans un pushgateway pour afficher des metrics (graphiques de surveillance des processus).

pour ce faire j'utilise le code suivant:

Code:

curl -X POST -H "Content-type: text/plain" --data "$var" http://localhost:9091/metrics/job/top/instance/machine

Le problème qui se pose maintenant est que je n'arrive pas a passer les datas dans le curl.
Je continue de chercher.
01/10/2021, 04h02
N_BaH

Citation:

Le problème qui se pose maintenant est que je n'arrive pas a passer les datas dans le curl.

le vrai problème, c'est que tu ne sais pas ce qu'est une Substitution de commandes.
01/10/2021, 08h53
erwannoo

Bonjour,

Merci, je ne savais pas que cela s'appelait comme ça.

en retestant le bout de commande indépendamment de tout le reste il s'avère que la ligne la plus intéressante est celle la (du moins pour moi) :

Code:

ps aux | awk '{print "cpu_usage{process=\""$11"\",pid=\""$2"\"},",$3}'

avec $11 pour afficher la colonne "COMMAND", $2 pour afficher la colonne "PID" et $3 pour afficher la colonne "%CPU". On pourrait comme ça ajouter les autres colonnes (Memoire, Stat, time, etc...).

commande que je vais réécrire comme ça pour être plus homogène :

Code:

ps aux | awk '{print "cpu_usage{process=\""$11"\",pid=\""$2"\",CPU=\""$3"\"}"}'

ou la commande awk permet d'appliquer la commande print ... à chaque lign (si j'ai tout bien compris).

Sur ce point, je pense que c'est bon.
01/10/2021, 09h26
erwannoo
Je continue dans mes investigations et je passe maintenant à la boucle while.
Afin d'être certain que cette boucle est bien opérationnelle avec la commande ps aux recherchée, je teste :
Code:

1 2 3 4 5 #!/bin/bash while true do ps aux | awk '{print "cpu_usage{process=\""$11"\",pid=\""$2"\",CPU=\""$3"\"}"}' done
au delà des possibles fautes de frappes "\""\ lors de la recopie du code, ce dernier fonctionne correctement est m'affiche sans interruption la liste des processus avec informations associées.
01/10/2021, 10h56
jack-ft
Citation:
Envoyé par erwannoo

Code:

1 2 3 4 5 #!/bin/bash while true do ps aux | awk '{print "cpu_usage{process=\""$11"\",pid=\""$2"\",CPU=\""$3"\"}"}' done

au delà des possibles fautes de frappes "\""\ lors de la recopie du code, ce dernier fonctionne correctement et m'affiche sans interruption la liste des processus avec informations associées.
Pour (partielle) info, il existe des options de ps qui permettent de sélectionner les informations à retourner sans passer par awk.

Je crois qu'il s'agit de l'option -o, mais, comme mon mac n'est pas sous linux, je ne peux pas facilement être plus précis...

De plus, la cohérence des man en ligne n'est pas évidente:
Le man ps français mentionne "O" mais pas "o",
alors que le man ps anglais mentionne bien "-o", avec l'exemple ps -o pid=X,comm=Y.

De plus, manifestement, l'utilisateur utilise les options BSD (sans tiret).

Or il est indiqué que

Citation:

Note that ps -aux is distinct from ps aux.

Après, si l'utilisation de awk fonctionne bien...
01/10/2021, 11h11
erwannoo

Merci pour ces précisions,
je teste actuellement la sélection de process dont le CPU est supérieur à 1%, voici la commande qui fonctionne :

Code:

ps aux | awk '$3>1 {print "cpu_usage{process=\""$11"\",pid=\""$2"\",CPU=\""$3"\"}" }'

cette commande me retourne donc les quelques lignes dont les processus ont une consommation CPU supérieure à 1%

Maintenant ce que je vais essayer de faire, c'est de transférer ces lignes au pushgateway via une commande de ce type :

Code:

curl --data-binary @- http://localhost:9091/metrics/job/some_job

mais la je ne sais pas encore trop comment m'y prendre...
01/10/2021, 12h14
N_BaH

plutôt qu'une boucle while, pour obtenir en continu les informations sur les processus en cours, j'utiliserais top.
01/10/2021, 13h44
erwannoo

Je ne suis pas certain que la commande "Top" s'adapte mieux. Je souhaite réaliser grâce au "While" une photo des processus a l'instant t et transmettre certaines données processus à prometheus via un pushgateway.

Actuellement j'essai de transmettre des données de base (mais avec un formalisme proche de celui que je récupère avec ma précédente commande ps aux...) à l'aide de la commande curl.
Quelquechose du genre :

Code:

curl -d "{\"process\":geany,\"pid\":1110,\"CPU\";1.6}" -H "Content-Type: text/plain" -X POST http://localhost:9091/metrics ....

je dis bien "quelquechose du genre" car pour l'instant ce n'est pas au point !!
01/10/2021, 14h14
N_BaH

la boucle while réexécute, en continu*, la commande ps, ce que fait très bien top toute seule, sans boucle "externe", avec la possibilité de définir un délai entre chaque affichage.

par contre, la transmission...
comment le pushgateway doit-il recevoir les données ? processus par processus (alors, la boucle n'est pas indispensable ! ), ou tout d'un seul coup à chaque exécution de la boucle?

--
* donc, pas du tout à un instant donné.
01/10/2021, 14h21
erwannoo

Merci pour la réponse,

Ok pour Top, concernant le pushgateway c'est effectivement ce que je cherche à comprendre. La tout de suite je sais transmettre une donnée (libellé + valeur) au pushgateway via l'utilisation de curl, pushgateway me l'affiche et la data est récupérée par promotheus (donc ça c'est cool). L'idée pour moi maintenant est d'arriver un transmettre plusieurs données. Je vais faire des tests, en espérant partager des résultats positifs plus tard !

La du coup je reviens un peu sur mes pas et test la boucle suivante :

Code:

1
2
3
4
5
6
7
8
#!/bin/bash
while true
do
  var=$(ps aux | awk '$3>1 {print "cpu_usage{process=\""$11"\",pid=\""$2"\"}", $3}');
  echo $var
  curl -X POST -H --data-binary "$var" http://localhost:9091/metrics/job/top/instance/machine
  sleep 1
done

le résultat nous donne l'affichage du processus qui a une consommation cpu supérieure à 1%.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[1/4]: cpu_usage process="/usr/lib/xorg/Xorg" 3.4
cpu_usage process="geany" 1.6 --> <stdout>
--_curl_--cpu_usage process="/usr/lib/xorg/Xorg" 3.4
cpu_usage process="geany" 1.6
curl: (3) URL using bad/illegal format or missing URL
 
[2/4]: cpu_usage process="/usr/lib/xorg/Xorg" 3.4
cpu_usage pid="1455" 1.6 --> <stdout>
--_curl_--cpu_usage process="/usr/lib/xorg/Xorg" 3.4
cpu_usage pid="1455" 1.6
curl: (3) URL using bad/illegal format or missing URL
 
[3/4]: cpu_usage pid="694" 3.4
cpu_usage process="geany" 1.6 --> <stdout>
--_curl_--cpu_usage pid="694" 3.4
cpu_usage process="geany" 1.6
curl: (3) URL using bad/illegal format or missing URL
 
[4/4]: cpu_usage pid="694" 3.4
cpu_usage pid="1455" 1.6 --> <stdout>
--_curl_--cpu_usage pid="694" 3.4
cpu_usage pid="1455" 1.6
curl: (3) URL using bad/illegal format or missing URL
cpu_usage {process="/usr/lib/xorg/Xorg",pid="694"} 3.4 cpu_usage {process="geany",pid="1455"} 1.6

Je ne sais pas trop encore comment utiliser cela pour m'aider à comprendre comment passer ces valeurs dans via le curl. Idéalement je voudrais passer :
cpu_usage process geany pid 694 1.6
avec cpu_usage process geany pid 694 la clé avec labels et 1.6 la valeur (% cpu).
Affaire à suivre...

J'ai un peu simplifié mon précédent code est le résultat est plus lisible :

Code:

1
2
3
4
5
6
7
8
#!/bin/bash
 
while true
do
	var=$(ps aux | awk '$3>0 {print "cpu_usage {process=\""$11"\"}", $3 "\n"}');
	curl -X POST -H --data-binary "$var" http://localhost:9091/metrics/job/top/instance/machine
	sleep 1
done

resultat dans le terminal :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
curl: (3) nested brace in URL position 21:
cpu_usage {process="[v3d_bin]"} 0.2
 
cpu_usage {process="[v3d_render]"} 0.2
 
cpu_usage {process="/usr/lib/xorg/Xorg"} 3.3
 
cpu_usage {process="/usr/sbin/mysqld"} 0.1
 
cpu_usage {process="lxpanel"} 0.1
 
cpu_usage {process="lxterminal"} 0.2
 
cpu_usage {process="/usr/lib/chromium-browser/chromium-browser-v7"} 0.4
 
cpu_usage {process="/usr/lib/chromium-browser/chromium-browser-v7"} 0.5
 
cpu_usage {process="/usr/lib/chromium-browser/chromium-browser-v7"} 0.5
 
cpu_usage {process=

ou la je ne comprends pas la signification de nested brace in URL position 21

01/10/2021, 17h08
N_BaH

je crois avoir trouvé la page qui explique comment envoyer des données au pushgateway, et que tu n'as pas comprise.

les données sont envoyées d'un seul coup par curl dans un format donné par awk.
la boucle while ne sert qu'à lire la sortie de ps. Mais elle ne sert à rien : elle fait lire la sortie de ps, ligne par ligne, à awk, alors que awk sait très bien lire ligne par ligne, c'est son travail ! :/

donc, on peut simplifier en faisant afficher uniquement les données pertinentes par ps, et en passant ps directement à awk

Code:

curl ... --data "$(ps aux -o comm,pid,%cpu | awk '{print "cpu_usage{process=\""$1"\", pid=\""$2"\"}", $3}')" http://localhost...
01/10/2021, 17h12
erwannoo

Oui visiblement je n'ai pas tout saisi, mais je m'accroche 8O8O ...
Je vais regarder tout ça. Je te remercie.
01/10/2021, 17h47
erwannoo

J'ai refait quelques tests, en virant la partie while, et ça me donne encore un message d'erreur du type "nested brace in URL position ..." , je pense que ça provient d'un " [ " .

Je vais étudier cela..
01/10/2021, 18h25
N_BaH

Citation:

en virant la partie while

montre-nous le script que tu testes, à chaque modification; ce sera plus clair. :)
01/10/2021, 20h33
Flodelarab

Citation:

Code:

curl -X POST -H --data-binary "$var" http://localhost:9091/metrics/job/top/instance/machine

Ça, ça ne marche pas. Les double quotes autour de $var sont consommés par l'interprétation de la commande. Du coup, curl reçoit les données qui ne forme pas un tout. Les mots qui devaient être pris comme des données sont pris comme des URL. Et ça plante, puisque ce ne sont pas des URL mais des données.

De plus, il manque l'entête à l'option -H, non ?

Enfin, méfie-toi. ta soumission n'est ni vraiment du texte simple, ni vraiment du JSON. Tu fais un affichage mixte, à la sortie de ton awk. À ta place, on uniformiserait.

Une idée :

Code:

ps blablabla | awk 'blablabla' | curl -H "Content-Type: application/json" -X POST --data-binary @- http://api

@- dit de prendre le texte de la conduite (entrée standard) comme données à poster. À toi de faire une sortie de awk qui plaise à ton serveur.
01/10/2021, 20h48
N_BaH

dans le premier message, curl -X POST -H "Content-Type: text/plain" --data "$var" http://localhost:9091/metrics/job/top/instance/machine est tel quel dans le tuto.
04/10/2021, 09h08
erwannoo
Bonjour,

Pour lever le doute sur le blocage de la commande à cause des crochets " [ " j'ai donc fait le test suivant :

Code:

ps aux | awk '$3>0 {print "cpu_usage_"$2"\ "$3"\ \n"}' | curl --data-binary @- http://localhost:9091/metrics/job/top/instance/machine

avec pour résultat de la commande seule

Code:

ps aux | awk '$3>0 {print "cpu_usage_"$2"\ "$3"\ \n"}'

:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 cpu_usage_315 0.3 cpu_usage_676 0.1 cpu_usage_690 4.4 cpu_usage_921 0.2 cpu_usage_1047 0.4 cpu_usage_1048 0.4 cpu_usage_1109 0.2 cpu_usage_1139 1.2
==> donc pas de crochets...

et le résultat de la commande complète

Code:

ps aux | awk '$3>0 {print "cpu_usage_"$2"\ "$3"\ \n"}' | curl --data-binary @- http://localhost:9091/metrics/job/top/instance/machine

:
Code:

1 2 awk: ligne de commande:1: avertissement*: séquence d'échappement «*\ *» traitée comme un simple «* *» text format parsing error in line 1: expected integer as timestamp, got ""
donc encore des choses à améliorer. Donc je pense que je vais essayer de simplifier les datas à passer afin de résoudre les problèmatiques liées au "text format parsing..."
04/10/2021, 15h52
N_BaH

quel est ton objectif en mettant des barres obliques ?
04/10/2021, 15h57
erwannoo

Ah oui, aucun... j'ai juste les yeux qui piquent...
04/10/2021, 16h13
erwannoo

Bon du coup, malgré un bon mal de tête et aussi grâce aux diverses remarques et aides que vous m'avez généreusement apporté j'ai réussi à obtenir un petit bout de résultat satisfaisant 8-)8-) :

Code:

ps aux | awk '$3>0 {print "cpu_usage"$2" "$3""}' | curl --data-binary @- http://localhost:9091/metrics/job/top/instance/machine

Depuis le terminal je lance le fichier .sh (dans lequel est inscrite la ligne ci dessus), aucun message d'erreur n'est observé. Et ohh! miracle (qui n'en est pas un) je retrouve dans le pushgateway (ouverture d'un navigateur internet à l'adresse http://localhost:9091) la liste des processus et valeurs cpu associées.

Evidemment la liste est basique et demande à être améliorée mais ça fonctionne...

Je poursuis cette discussion afin d'arriver complétement à mon objectif.
04/10/2021, 19h15
Flodelarab

Citation:

Code:

print "cpu_usage"$2" "$3"";

Code:

print "cpu_usage_"$2" "$3;

Code:

print "cpu_usage_"$2, $3;

Le séparateur de sortie (OFS, Output Field Separator) est l'espace. Donc la dernière des 3 syntaxes, ici proposées, semble la plus naturelle.
05/10/2021, 09h14
erwannoo

Oui ça marche bien avec des "" en moins.
En essayant de transmettre des metrics avec le nom de processus, noms contenant des [ ou / je constate que ces caractères ne sont pas appréciés. Du coup j'ai utilisé la commande "sed" pour remplacer ces caractères, voir la commande :

Code:

ps aux | awk '$3>0 {print "cpu_usage_"$11"_"$2, $3}' | sed 's/\[//g' | sed 's/\]//g' | sed 's/\///g' | sed 's/-//g' | curl --data-binary @- http://...

mais comme c'est un peu barbare d'enchainer les "sed" , existe-t'il une astuce pour mettre plusieurs caractères dans une même commande "sed" ? certainement, mais je n'ai pas encore trouvé.
05/10/2021, 12h31
Flodelarab
- La commande de substitution globale de awk est gsub(). Pas besoin d'innvoquer sed.
- Tu peux aussi autoriser des caractères, plutôt que d'interdire d'autres. Exemple :
  
  Code:
  
  sed 's/[^-a-zA-Z0-9_]/./g'
  
  Tous les caractères exotiques sont remplacés par un point.
06/10/2021, 11h51
erwannoo

Bonjour,

J'ai besoin d'une petite explication car j'ai modifié la ligne de code afin de définir des labels pour prometheus. Ces labels me permettent de sélectionner une famille de processus plutôt que d'avoir a chaque fois à sélectionner les processus 1 à 1. C'est beaucoup plus pratique, sauf que je bloque sur la récupération de la valeur $3 (valeur cpu en %).
J'ai fait le test suivant :

Code:

ps aux| awk '{print "cpu_usage{process=\""$11"\", pid=\""$2"\"}", $3}' | curl --data-binary @- http://localhost:9091/metrics/job/top/instance/machine

qui me renvoie : expected float value, got "%CPU"

et quand je teste de cette manière :

Code:

ps aux| awk '{print "cpu_usage{process=\""$11"\", pid=\""$2"\"}", "3"}' | curl --data-binary @- http://localhost:9091/metrics/job/top/instance/machine

ça marche nickel (tous les processus sont affichés avec une conso CPU de 3%. Ce qui confirme que la ligne fonctionne bien et que ce n'est que la récupération de la valeur $3 qui n'est pas bonne.
Le problème est que je n'arrive pas à récupérer cette valeur... j'ai essayé pleins de trucs mais rien ne convient..
06/10/2021, 13h30
N_BaH

as-tu besoin de l'en-tête affiché (sur la première ligne) par ps ?
06/10/2021, 13h34
erwannoo

je n'avais pas du tout pensé à cela, mais non je n'en ai pas besoin !
06/10/2021, 13h47
erwannoo

en fait lorsque je rajoute le $3>0 cela m'enleve la ligne d'entete et du coup cela fonctionne.
Par contre si il existe une autre astuce pour ne pas afficher la ligne d'entete je suis preneur .

Merci !
06/10/2021, 13h59
N_BaH

ps h aux pour ne pas afficher l'en-tête, à moins que tu tiennes à ne pas afficher les processus qui ne consomment pas de CPU...
06/10/2021, 16h11
Flodelarab

N_BaH a donné la meilleure réponse. Mais ton retraitement, si tu laisses l'entête en sortie de ps, est moins ($3>0){print "cpu_usa... que (NR>1){print "cpu_usa....
06/10/2021, 16h56
erwannoo

Oui et bien c'est cool ! Vous m'avez bien aidé à résoudre mon problème.
Merci. J'espère que cette discussion est suffisamment détaillée pour aider d'autres personnes avec ce genre de problématique !
A++8-)8-)

Fuseau horaire GMT +2. Il est actuellement 04h24.