IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Big Data Discussion :

splunk json et java sdk splunk


Sujet :

Big Data

  1. #1
    Membre habitué
    Homme Profil pro
    Inscrit en
    Octobre 2007
    Messages
    190
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Octobre 2007
    Messages : 190
    Points : 182
    Points
    182
    Par défaut splunk json et java sdk splunk
    bonjour,

    ca faisait un petit moment que je n'étais pas venu, manque de temps, mais il se trouve que j'ai commencé a regardé splunk depuis hier,
    c'est un analyseur de logs, produisant des statistiques selon les contexte applicatifs, assez riche en fonctionnalité, il peut être mis avec hadoop, et en concurrence avec elasicsearch+kibana. splunk est aussi un indexeur, ca peut être considéré comme un outil complémentaire de l'écosystème du bigdata, on peut brancher hadoop.

    Je doute d'avoir une réponse, j'ai beaucoup d'exemples sur les query, export, dbconnect, des données, pivot,table,model, mais assez peu quand il s'agit de remonter les données, c'est un peu le chao. la doc de splunk est assez lourde à lire.

    J'ai installé splunk light (une version free mais limité, pas de support dbconnect,model,pivot,table) et universal forwarder, que j'ai branché ensemble.

    je sais poster des événement via logger via universal forwarder pour écrire dans splunk, dans un format classique,

    mais je cherche un exemple complet qui utilise le format json, mon but est d'extraire le json concernant un rapport de connexion, pour le mettre dans une base via dbconnect avec le mapping splunk et mes tables db qui seront réservées à cet effet.

    Actuellement je tourne en rond sur ce point, entre la recuperation json et du mapping splunk vers ma bd des champs que je souhaite récupérer

    J'utilise le java sdk de splunk, et j'utilise directement le service de splunk, mais on peut aussi utiliser les loggers.

    un tuto de splunk avec java sdk pour envoyer un message, en anglais



    un tuto de splunk avec java sdk pour une recherche, en anglais



    la persistence dbconnect pour splunk


    Je ne suis plus très loin. je coince sur cette histoire de json, je regarde spath qui me permettrait de parser le contenu du message que j'ai reçu dans splunk

    je cherche des lien ou des tuto sur le java sdk et splunk concernant le json et la récupération des champs, de l'émission,traitement, mapping, persistence.

    je continu à chercher, si je trouve une solution, je reviendrais.

    @++
    JP

  2. #2
    Membre habitué
    Homme Profil pro
    Inscrit en
    Octobre 2007
    Messages
    190
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Octobre 2007
    Messages : 190
    Points : 182
    Points
    182
    Par défaut
    J'ai fini par trouvé, maintenant je peux continuer à bosser avec dbconnect, mais c'est une autre histoire et il faut que j'utilise la version splunk free et plus splunk light.

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    import com.splunk.*;
    
    public static void main (String[] args) throws IOException {
            // Create a map of arguments and add login parameters
            ServiceArgs loginArgs = new ServiceArgs();
            loginArgs.setUsername("admin");
            loginArgs.setPassword("servus");
            loginArgs.setHost("localhost");
            loginArgs.setPort(8089);
    
            HttpService.setSslSecurityProtocol(SSLSecurityProtocol.TLSv1_2);
    
     String json="{" +
                    "   \"Class\": \"11\"," +
                    "   \"date\": \"05/16/2016\"," +
                    "   \"Student\": [" +
                    "     {" +
                    "       \"RollNo\": \"1234\"," +
                    "       \"SubjectDetails\": [" +
                    "         {" +
                    "           \"type\": \"Mandatory\"," +
                    "           \"startTime\": \"05/16/2016 21:30\"," +
                    "           \"endTime\": \"05/16/2016 22:00\"," +
                    "           \"name\": \"English\"" +
                    "         }," +
                    "         {" +
                    "           \"type\": \"Optional\"," +
                    "           \"startTime\": \"05/16/2016 20:30\"," +
                    "           \"endTime\": \"05/16/2016 21:30\"," +
                    "           \"name\": \"Math\"" +
                    "         }," +
                    "       ]" +
                    "     }" +
                    "   ]" +
                    " }" +
                    " ";
    
            // Create a Service instance and log in with the argument map
            Service splunkService = Service.connect(loginArgs);
            Receiver receiver=splunkService.getReceiver();
    
            Args logArgs=new Args();
            logArgs.put("sourcetype","hellosplunk");
            receiver.log("testrmscindex",logArgs,json);
    Nom : splunkjsonparse.png
Affichages : 321
Taille : 203,5 Ko

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Installation nouveau plug-in java SDK
    Par J_bourgo dans le forum Eclipse Java
    Réponses: 1
    Dernier message: 01/04/2009, 12h06
  2. version JAVA SDK
    Par Robert123RRB dans le forum Websphere
    Réponses: 3
    Dernier message: 22/09/2008, 09h31
  3. config du dernier java sdk sur vista
    Par lalouvesijetattrape dans le forum Windows Vista
    Réponses: 3
    Dernier message: 03/06/2008, 20h45
  4. Enterprise XI Java SDK JAR
    Par siimpatiico dans le forum SDK
    Réponses: 1
    Dernier message: 27/03/2008, 19h14

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo