1. #1
    Nouveau Candidat au Club
    Homme Profil pro
    Chef de Projet Big Data
    Inscrit en
    janvier 2016
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 30
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chef de Projet Big Data

    Informations forums :
    Inscription : janvier 2016
    Messages : 3
    Points : 1
    Points
    1

    Par défaut Mise en place d'un suivi Capacitaire d'un cluster Hadoop

    Bonjour à tous,

    dans le cadre d'un projet, je dois mettre en place un suivi capacitaire du cluster Hadoop de mon entreprise.

    J'ai déjà instauré un suivi capacitaire sur la volumétrie du cluster avec les périmètres suivants:

    - Volumétrie utilisée
    - volumétrie disponible
    - volumétrie à venir en fonction des nouveaux besoins

    Ce suivi est représenté par un graph excel, chaque périmètre est représenté par une courbe.

    J'aimerai maintenant y ajouter la charge CPU / Memory du cluster afin d'avoir une vue sur l'utilisation du cluster et ainsi observer l'évolution.

    Je m'adresse à vous car je ne sais pas où trouver les métriques.

    J'ai une vision à l'instant T de la charge du cluster via Ambari cependant, j'ai besoin d'un historique que je ne trouve pas.

    Est ce que ces métriques existent ? Ou bien je cherche quelque chose qui n'existe pas et donc qu'il faut revoir la faisabilité de ce projet ?

    De plus, je dois faire la même chose sur les autres cluster... C'est à dire : Elastic Search, Cassandra... A voir dans un second temps

    je n'ai peut être pas été assez précis sur certains points, n'hésites pas à m'en faire part.


    Merci de votre aide

    Lex.

  2. #2
    Membre éprouvé Avatar de Jidefix
    Profil pro
    Inscrit en
    septembre 2006
    Messages
    741
    Détails du profil
    Informations personnelles :
    Âge : 33
    Localisation : France, Seine Maritime (Haute Normandie)

    Informations forums :
    Inscription : septembre 2006
    Messages : 741
    Points : 1 071
    Points
    1 071

    Par défaut

    Hello,
    de notre côté les indicateurs qu'on a mis en place sont
    - le nombre d'applications en cours / en attente
    - le nombre de conteneurs utilisés (+ ratio par rapport au total de conteneurs accessibles sur le cluster)
    - le nombre de vcore utilisés (+ ratio par rapport au total de vcore accessibles sur le cluster)
    - le montant de RAM utilisé (+ ratio par rapport au total de RAM accessibles sur le cluster)

    Normalement avec ces 4 indicateurs tu as déjà une bonne idée du niveau de saturation de ton cluster et de quel type de ressource te manque

    Ils sont récupérables dans la sortie jmx de YARN:
    [MASTER_NAME]:8088/jmx
    Veuillez agréer nos sentiments les plus distingués. Soyez assurés de notre entière collaboration, bien à vous pour toujours et à jamais dans l'unique but de servir l'espérance de votre satisfaction, dis bonjour à ton père et à ta mère, bonne pétanque, mets ton écharpe fais froid dehors.

  3. #3
    Nouveau Candidat au Club
    Homme Profil pro
    Chef de Projet Big Data
    Inscrit en
    janvier 2016
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 30
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chef de Projet Big Data

    Informations forums :
    Inscription : janvier 2016
    Messages : 3
    Points : 1
    Points
    1

    Par défaut

    Merci pour ces infos.

    Je vais regarder ça.

    Je vous tiens informé.


  4. #4
    Nouveau Candidat au Club
    Homme Profil pro
    Chef de Projet Big Data
    Inscrit en
    janvier 2016
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 30
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chef de Projet Big Data

    Informations forums :
    Inscription : janvier 2016
    Messages : 3
    Points : 1
    Points
    1

    Par défaut

    jmx est désactivé sur le cluster Hadoop. Et il n'est pas envisagé de l'activer... Il va donc falloir faire sans.

    J'ai réussi a exporter les données CPU via Ambari mais il me l'exporte dans un .CSV comme ça :

    Timestamp,Nice._avg (%),System._avg (%),User._avg (%),Idle._avg (%)
    1523878588,0,0,0,0
    1523878590,0.00045454545454545455,4.215303030303032,55.63257575757572,39.94272727272728

    Comment peut on l'interpréter afin de le mettre en graph ?...

    Merci.
    Lex

Discussions similaires

  1. Mise en place d'un Suivi de Production
    Par Vincent79 dans le forum Modélisation
    Réponses: 12
    Dernier message: 07/09/2009, 09h14
  2. [C#] Mise en place d'un site multilingue
    Par regbegpower dans le forum ASP.NET
    Réponses: 6
    Dernier message: 19/03/2004, 19h15
  3. mise en place serveur web intranet
    Par gui4593 dans le forum Installation
    Réponses: 7
    Dernier message: 01/01/2004, 18h18
  4. Mise en place d'index....??
    Par liv dans le forum Requêtes
    Réponses: 6
    Dernier message: 18/12/2003, 11h04

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo