[ElasticSearch] Requetes dates multiples

Version imprimable

Bonjour,

Je cherche à faire une requête de ce type :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
GET /journal/_search
{
    "query": {
        "bool": {
            "must": { "terms": {"alarmeId": [17512]}},
            "must_not": {"match_phrase": {"libelle": "Désactivation d'alarme"}},
            "filter" : {
              "or" :[
                  {"range": {"timestamp": {"gte": 1643324589240, "lte": 1643324589242}}},
                  {"range": {"timestamp": {"gte": 1643349485963, "lte": 1643349485965}}}
              ]
            }
        }
    }
}

mais malgré mes différentes tentatives je sèche.

Merci pour votre aide

10/02/2022, 12h02
dadoonet95

Documents? Mapping?

Difficile à dire ce qui se passe sans voir tes documents qui sont sensé matcher ni ton mapping.
La requête semble correcte comme ça à la lecture.

L'idéal serait de fournir un script complet qui permet de rejouer tes données.
C'est ce qu'on demande sur le forum Elastic en général.

Y a t'il un message d'erreur sinon ?

Voici l'erreur :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
{
  "error" : {
    "root_cause" : [
      {
        "type" : "parsing_exception",
        "reason" : "[or] query malformed, no start_object after query name",
        "line" : 7,
        "col" : 21
      }
    ],
    "type" : "x_content_parse_exception",
    "reason" : "[7:21] [bool] failed to parse field [filter]",
    "caused_by" : {
      "type" : "parsing_exception",
      "reason" : "[or] query malformed, no start_object after query name",
      "line" : 7,
      "col" : 21
    }
  },
  "status" : 400
}

Ce qui me laisse penser que ma requête n'est pas correcte ...

les données sont de ce type :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
    {
        "_index" : "journal",
        "_type" : "_doc",
        "_id" : "8qfHnX4Bpo1enmwaRHS6",
        "_score" : 2.0,
        "_source" : {
          "alarmeId" : 17512,
          "date" : 1643324589241,
          "instance" : "Management principal",
          "etat" : 0,
          "source" : "EPDG_PMAS_11",
          "typeEec" : "SFTP",
          "classe" : "M",
          "module" : "Recovery",
          "urgence" : "AID",
          "typeSrc" : "EEC",
          "libelle" : "Arrêt de collecte pour EEC: EPDG_PMAS_11, dernier fichier reçu le : 28-01-2022 00:00:09:240",
          "duplication" : true,
          "timestamp" : 1643324589241,
          "IdStr" : "17512",
          "workerId" : 1
        }
      },
      {
        "_index" : "journal",
        "_type" : "_doc",
        "_id" : "CcjinX4B11MnU535ufMS",
        "_score" : 2.0,
        "_source" : {
          "alarmeId" : 17512,
          "date" : 1643326388497,
          "instance" : "Management principal",
          "etat" : 0,
          "source" : "EPDG_PMAS_11",
          "typeEec" : "SFTP",
          "classe" : "M",
          "module" : "Recovery",
          "urgence" : "AID",
          "typeSrc" : "EEC",
          "libelle" : "Arrêt de collecte pour EEC: EPDG_PMAS_11, dernier fichier reçu le : 28-01-2022 00:30:08:496",
          "duplication" : true,
          "timestamp" : 1643326388497,
          "IdStr" : "17512",
          "workerId" : 1
        }
      },

Celle ci fonctionne bien :

Code:

1
2
3
4
5
6
7
8
9
10
GET /journal/_search
{
    "query": {
        "bool": {
            "must": { "terms": {"alarmeId": [17512]}},
            "must_not": {"match_phrase": {"libelle": "Désactivation d'alarme"}},
            "filter" : {"range": {"timestamp": {"gte": 1643324589240, "lte": 1643324589242}}}
        }
    }
}

C'est le 'or' qui me pose problème

10/02/2022, 16h09
dadoonet95

Or query n'existe pas

En fait Or query n'existe pas.

Utilise à la place une bool query avec deux clauses should.
10/02/2022, 17h21
olivier1969

merci , je teste demain ....

"or" query existait mais depuis replacé par le "bool" query.

Si il y a plus que un "range" query là, on peut écrire comme ça.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
    GET /journal/_search
    {
        "query": {
            "bool": {
                "must": { "terms": {"alarmeId": [17512]}},
                "must_not": {"match_phrase": {"libelle": "Désactivation d'alarme"}},
                "filter" : [
                    { "bool": {
                        "should" :[
                            {"range": {"timestamp": {"gte": 1643324589240, "lte": 1643324589242}}},
                            {"range": {"timestamp": {"gte": 1643349485963, "lte": 1643349485965}}}
                        ]
                    }  
                ]
            }
        }
    }

15/02/2022, 14h05
olivier1969

Super , ça marche !!

Un grand merci, j'ai failli abandonner et faire une boucle dans mon script ....

C'est marrant on me dit toujours que le SQL c'est ringard et verbeux... Or quand je voit la complexité d'une telle requête :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
GET /journal/_search
    {
        "query": {
            "bool": {
                "must": { "terms": {"alarmeId": [17512]}},
                "must_not": {"match_phrase": {"libelle": "Désactivation d'alarme"}},
                "filter" : [
                    { "bool": {
                        "should" :[
                            {"range": {"timestamp": {"gte": 1643324589240, "lte": 1643324589242}}},
                            {"range": {"timestamp": {"gte": 1643349485963, "lte": 1643349485965}}}
                        ]
                    }  
                ]
            }
        }
    }

Traduite en SQL comme ceci :

Code:

1
2
3
4
5
6
SELECT *
FROM   journal
WHERE  alarmeId = 17512
  AND  libelle NOT LIKE '%Désactivation d''alarme%'
  AND  (timestamp BETWEEN 1643324589240 AND 1643324589242 OR
        timestamp BETWEEN 1643349485963 AND 1643349485965)

Je me demande si c'est pas l'inverse !!!

A +

16/02/2022, 08h35
dadoonet95

Sql

Si jamais tu préfères faire du sql, il y a ceci: https://www.elastic.co/guide/en/elas...xpack-sql.html

Oui, le query dsl est verbeux mais parce qu'il te permet d'accéder à énormément d'options (sur tu ne vois pas ici).

Tu peux aussi utiliser le query string query, qui te permet d'écrire cette requête en une ligne, mais personnellement je n'aime pas car au final c'est moins flexible, moins clair.
16/02/2022, 11h38
olivier1969

Effectivement le SQL reste très lisible , mais bon , le but étant pour moi d'apprendre , je me 'contente' de la réponse de 'tusji' .

Aussi le requêtage dont j'ai besoin étant dans du scripting python , je trouve assez simple de fabriquer mes requêtes qui se font en fonction d'une dizaine de paramètres que "j'encapsule" dans du json.

Bref c'est plus simple pour moi.

Merci à tous

PS : je garde aussi l'idée du SQL sous le coude au cas où...