Discussion :

[lexkirk]

Bonjour à tous,

dans le cadre d'un projet, je dois mettre en place un suivi capacitaire du cluster Hadoop de mon entreprise.

J'ai déjà instauré un suivi capacitaire sur la volumétrie du cluster avec les périmètres suivants:

- Volumétrie utilisée
- volumétrie disponible
- volumétrie à venir en fonction des nouveaux besoins

Ce suivi est représenté par un graph excel, chaque périmètre est représenté par une courbe.

J'aimerai maintenant y ajouter la charge CPU / Memory du cluster afin d'avoir une vue sur l'utilisation du cluster et ainsi observer l'évolution.

Je m'adresse à vous car je ne sais pas où trouver les métriques.

J'ai une vision à l'instant T de la charge du cluster via Ambari cependant, j'ai besoin d'un historique que je ne trouve pas.

Est ce que ces métriques existent ? Ou bien je cherche quelque chose qui n'existe pas et donc qu'il faut revoir la faisabilité de ce projet ?

De plus, je dois faire la même chose sur les autres cluster... C'est à dire : Elastic Search, Cassandra... A voir dans un second temps

je n'ai peut être pas été assez précis sur certains points, n'hésites pas à m'en faire part.


Merci de votre aide

Lex.

[Jidefix]

Hello,
de notre côté les indicateurs qu'on a mis en place sont
- le nombre d'applications en cours / en attente
- le nombre de conteneurs utilisés (+ ratio par rapport au total de conteneurs accessibles sur le cluster)
- le nombre de vcore utilisés (+ ratio par rapport au total de vcore accessibles sur le cluster)
- le montant de RAM utilisé (+ ratio par rapport au total de RAM accessibles sur le cluster)

Normalement avec ces 4 indicateurs tu as déjà une bonne idée du niveau de saturation de ton cluster et de quel type de ressource te manque

Ils sont récupérables dans la sortie jmx de YARN:
[MASTER_NAME]:8088/jmx

[lexkirk]

Merci pour ces infos.

Je vais regarder ça.

Je vous tiens informé.

[lexkirk]

jmx est désactivé sur le cluster Hadoop. Et il n'est pas envisagé de l'activer... Il va donc falloir faire sans.

J'ai réussi a exporter les données CPU via Ambari mais il me l'exporte dans un .CSV comme ça :

Timestamp,Nice._avg (%),System._avg (%),User._avg (%),Idle._avg (%)
1523878588,0,0,0,0
1523878590,0.00045454545454545455,4.215303030303032,55.63257575757572,39.94272727272728

Comment peut on l'interpréter afin de le mettre en graph ?...

Merci.
Lex

[surcouf1]

Comment peut on l'interpréter afin de le mettre en graph ?... Lex

Que voulez-vous dire par interpréter exactement?
Si vous pensez à l'utilisation de ce fichier dans Excel pour représenter les valeurs graphiquement, vous pouvez:

1. ouvrir le fichier dans un éditeur de texte, du type Notepad++ et y remplacer
   
   1. les virgules par des point-virgules: 1523878590,0.00045454545454545455,4.215303030303032,55.63257575757572,39.94272727272728 => 1523878590;0.00045454545454545455;4.215303030303032;55.63257575757572;39.94272727272728
   2. les points par des virgules 1523878590;0.00045454545454545455;4.215303030303032;55.63257575757572;39.94272727272728 => 1523878590;0,00045454545454545455;4,215303030303032;55,63257575757572;39,94272727272728
2. ouvrir le fichier CSV dans EXcel

Dans Excel, vous devriez normalement voir les données réparties sur 5 colonnes, et les valeurs décimales interprétées correctement par Excel (si vous utilisez les réglages dans Excel standard français)
Ensuite vous pouvez utiliser les fonctionnalités d'Excel pour bâtir des graphiques représentant ces données.