Discussion :

[Phoste]

Bonjour,

J'utilise MongoDB afin de stocker des données provenant d'objets connectés utilisant le protocole MQTT.
J'ai une application à l'écoute de MQTT qui stocke les données dans la DB (timestamp et une valeur).
Pour ce faire je créé une base de données par objet connecté (identifié par un ID) et une collection par type de données publiées par l'objet (température, humidité, position gps, etc...)

Au début je me posais la question si c'était pas un problème de créer une DB par objet connecté (il doit y en avoir 1000 environ et ça va encore augmenter) mais j'ai demandé à des "experts" qui donnaient une formation sur MongoDB et ils m'ont dit que ce n'était pas un problème. Mais, il n'y a pas très longtemps, d'autres personnes qui, elles, ne connaissent pas vraiment MongoDB mais plutôt les DB SQL m'ont dit que ce n'était pas la chose à faire, qu'il valait mieux avoir une seule base de données, que ça évitait la fragmentation des fichiers (entre autres).

Un des problèmes que je rencontre également est celui des index, Les collections sont créé dynamiquement par mon application à chaque fois qu'une valeur est publiée sur un nouveau topic MQTT. Je devrais donc pour bien faire vérifier à chaque fois si l'index existe dans une collection et si pas, le créer, mais je suppose que ça bouffe beaucoup de ressources de faire le test.

Qu'en pensez vous ?

Merci

[sekaijin]

Plus que savoir comment stocker la question à se poser est quoi stocker.

une fois que tu as définie la (les) structure(s) de données à manipuler tu saura si tu mets tous dans une collection ou dans plusieurs.

Pour ce qui est de MQTT vers Mongo j'utilise Apache Camel MongoDb 3 et Apache Camel MQTT

ça donne un truc très simple comme

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
from("mqtt:myQueue")
.to("mongodb3:myDb?database=aDB&collection=myCollection&operation=save");//save <=> upsert (insert or update)

le composant camel mongo offre des converters maps -> Document, Document - Map, String -> Document, File -> Document, etc.

PS: il y a bien un composant mongodb3 basé sur le java driver 3
https://github.com/apache/camel/blob...component.adoc

A+JYT

[rouardg]

Bonjour,

Pour ce faire je créé une base de données par objet connecté (identifié par un ID) et une collection par type de données publiées par l'objet (température, humidité, position gps, etc...)
Au début je me posais la question si c'était pas un problème de créer une DB par objet connecté (il doit y en avoir 1000 environ et ça va encore augmenter)

Vous faites une base par objet connecté ? Mais pourquoi ? Que gagnez-vous à faire cela ?

Si par exemple je vous demande de retourner la température la plus élevée, cela veut dire que vous devez vous connecter successivement à votre millier de bases pour avoir la température maximale par IOT, puis après prendre la température maximale ?!

Pour moi vous ne devriez avoir qu'une seule base, avec qq collections (à voir).

Car pour moi, avec votre millier de base, vous allez à l'inverse des principes de cluster et de Sharding.