Discussion :

[Anvium]

Bonjour !

Je suis étudiant au sein d’une société de service informatique et nous recherchons une solution de supervision adaptée pour permettre de superviser environ 100 serveurs avec des remontés matériel standards telles que l’espace disque libre, l’état du CPU, le nombre de barrette de mémoire disponible, l’état du ping ainsi que la remonté de l’état du RAID.

Dans notre cahier des charges, nous devons aussi permettre de faire la supervision avec le protocole IMAP car nous avons des réplications locales (nos locaux) de Nas client qui se synchronise avec des Nas QNAP distant (leur site) qui peuvent seulement nous faire remonter un état des réplications par e-mail avec le protocole IMAP (l’application utilisée est HBS 3 Hybrid Backup Sync).

Nous aimerons aussi dans la mesure du possible, avoir une interface unique pour centraliser l’ensemble avec un graphique simple avec du vert et du rouge comme indicateur visuelle.
Nous avons testé plein de solutions avec lesquelles on nous avait indiqué que la supervision IMAP était réalisable tels que RG system, PRTG, NinjaONE, Zabbix pour qu’au final le support ne trouve aucune solution pour.

Quelle solution de supervision pourrait être adaptée à nos besoins et comment la mettre en place ?

Exemple d’e-mail reçu lors de la réussite d’une réplication en pièces jointe.

Merci par avance !

[becket]

Bonjour,

IMAP est comme vous le précisez un protocole de courrier électronique.
Ce n'est pas un protocole de supervision, ce n'est même pas un protocole d'envoi de mail.
Je vous invite à préciser votre demande

[Anvium]

Bonjour,

IMAP est comme vous le précisez un protocole de courrier électronique.
Ce n'est pas un protocole de supervision, ce n'est même pas un protocole d'envoi de mail.
Je vous invite à préciser votre demande

Nous souhaitons plus précisément traiter les objets d'e-mails reçus d'une adresse e-mail afin qu'un état d'un objet tels que "ReplicationDistance finished" affiche visuellement un état vert dans une interface centralisée et dans le cas contraire affiche visuellement du rouge sur cette même interface.

Merci par avance !

[chrtophe]

Les outils de supervision font ça sans passer par mail.

[Anvium]

Lesquels permettrait de faire ça ?

[chrtophe]

En référence, tu as Nagios (mais c'est une usine àgaz)

Tu peux regarder aussi du coté de Prometheus+Grafana

[Anvium]

Je suis en train de voir pour Nagios et Prometheus + Grafana

J'ai fait les demandes aux supports, pour l'instant de ce que j'ai testé je ne vois pas que c'est possible de faire une interface dédiée pour les e-mails selon leurs états.

[Anvium]

D'accord, pour superviser les e-mails selon les objets ils peuvent le faire ?

Merci par avance.

[tabouret]

En référence, tu as Nagios (mais c'est une usine àgaz)

Tu peux regarder aussi du coté de Prometheus+Grafana

Pour ma part on est sous Centreon (fork nagios) et c'est plutôt pas mal, notification par sms et envoie mails pour les alertes critiques.

Mais le truc à la mode c'est clair c'est Prometheus.

Ok je viens enfin de comprendre sa demande: pouvoir intégrer le contenu des mails (concernant la réplication) de son NAS dans sa supervision. mais ce n'est pas la bonne manière de procéder. Il te faudrait parser tes mails via un moteur de logs (Syslog-ng, Graylog...peu importe) et les formater pour les envoyer vers Nagios/Centreon/Prometheus, perte de temps et d’efficacité monstrueuse.

J'ai moi aussi un NAS il fait du SNMP sans problème.

-> Regarde pour superviser ta réplication via SNMP.

[Anvium]

C'est exactement ça.

Les NAS QNAP permettent sans problème de pouvoir renvoyer des informations concernant le protocole SNMP (matériel) mais en revanche pour les réplications comme c'est utilisé avec l'applicatif HBS 3 Hybrid Backup Sync (protocole RTRR) est utilisé pour effectuer les réplications de QNAP à QNAP celui-ci ne permet pas de récupérer des informations il permet juste d'envoyer un e-mail directement (pas de MIB récupérable) pour informer de l'état d'une réplication et c'est justement l'état à superviser.

Nous devons obligatoirement respecter le cahier des charges.

Dans le cas ou on centralise sur un serveur de log et qu'on formate ensuite les données pour rendre compatible avec une solution de supervision, comment mettre en place ce fonctionnement ?

[tabouret]

Dans ce cas, la bonne manière de faire est de mettre en place une sonde SNMP custom:
Un script appelé par ton service ce supervision à intervalle régulier (si polling et non trap bien sur) qui va remplir ta MIB locale dans un OID particulier (Idéalement un OID privé).
Ce script pourrait requêter le statut de ta réplication en CLI (je doute fort que l'état de ta réplication ne soit pas requêtable en CLI).

Bon si tu veux absolument passer par un parsing de tes logs y'a plusieurs manières de faire par exemple:
Parsing et formatage JSON/Syslog/ceQueTuVeux via Syslog-ng (serveur Linux), envoie vers une base Elasticsearch et affichage via Grafana.

Je ne connais pas Prometheus. Idéalement je regarderai comment Prometheus stocke ses données et dans quelle base, et je m'arrangerais pour que Syslog-ng, après formatage, envoie ses données vers Prometheus.

Dans tous les cas c'est du niveau très avancé.

[Anvium]

Dans ce cas, la bonne manière de faire est de mettre en place une sonde SNMP custom:
Un script appelé par ton service ce supervision à intervalle régulier (si polling et non trap bien sur) qui va remplir ta MIB locale dans un OID particulier (Idéalement un OID privé).
Ce script pourrait requêter le statut de ta réplication en CLI (je doute fort que l'état de ta réplication ne soit pas requêtable en CLI).

Bon si tu veux absolument passer par un parsing de tes logs y'a plusieurs manières de faire par exemple:
Parsing et formatage JSON/Syslog/ceQueTuVeux via Syslog-ng (serveur Linux), envoie vers une base Elasticsearch et affichage via Grafana.

Je ne connais pas Prometheus. Idéalement je regarderai comment Prometheus stocke ses données et dans quelle base, et je m'arrangerais pour que Syslog-ng, après formatage, envoie ses données vers Prometheus.

Dans tous les cas c'est du niveau très avancé.

D'accord, autant passé par une sonde SNMP custom. Ce n'est pas une mince affaire à mettre en place.

Ça serait quoi les alternatives possibles sans forcément que ça correspond exactement à ce qui nous faudrait*?

[tabouret]

Franchement c'est très compliqué ce que tu demandes lol, faisable mais c'est du niveau très avancé.

Option 1 tu passe par une sonde SNMP custom
En prérequis:
Je suppose que tu ne peux pas définir de sonde snmp custom en graphique, il te faut donc un accès SSH à ton NAS.
Il faut que l'état de ta réplication soit requêtable en CLI (Savoir quelle est la commande).
Il faut que tu sache quelle est le démon SNMP, et le configurer pour utiliser une sonde custom.
En gros il faut que tu ais un très bon niveau de connaissance de l'OS de ton NAS, mais c'est l'option la plus propre.
Franchement je te déconseille si tu es débutant.
Sauf si bien sur tu peux faire des sondes SNMP custom avec les commandes que tu veux en graphique, mais j'en doute fort.

Option 2 Tu passe par du parsing de logs
Tu envoies tes logs de mail à un moteur de logs comme Syslog-ng....
Tu parses le log entrant, tu le formate pour avoir accès aux champs que tu veux.
Tu le transforme en SNMP (et oui Syslog-ng sait faire ça) et tu l'envoie à prometheus.
Idem c'est du niveau très avancé.

Option 3 Tu passe par du parsing de logs via Graylog
Moins flexible mais plus orienté débutant.
Mais tu vas déployer une VM uniquement pour ce genre d'affichage.

L'option 2 est celle que je choisirais.