Discussion :

[A. D.]

Bonjour à tous,

Je travaille actuellement à l'analyse de gros volumes de données avec R.
J'avais initialement stocké ces données dans une base de données NoSQL "Cassandra", pensant ensuite utiliser le package "RCassandra" pour aller chercher ces données. Malheureusement je n'ai pas réussi à faire fonctionner ce package R. Dans la mesure où il n'a pas été mis à jour depuis longtemps (2013), j'ai supposé qu'il n'est plus comptabile avec les dernières versions de "Cassandra".

Comme je ne veux pas écrire moi-même (si je peux l'éviter ^^) un package permettant de connecter R à une base de données NoSQL, je vais plutôt voir pour changer le format de ma base de données NoSQL. Donc avant de m'y lancer les yeux fermés, j'aurais voulu avoir vos retours quant à la solution à adopter/privilégier, surtout en fonction des packages R (de connections) disponibles et fonctionnant correctement ?

Pour le moment je serais plutôt tentée d'utiliser une base de données "CouchBase" mais j'ai aussi vu qu'avec R, "mongoDB" est souvent utilisé (tout en sachant que par rapport à mon besoin, l'utilisation d'une base de données NoSQL plutôt orientée colonne ou plutôt orientée document n'a aucune incidence ^^).


Voilà, ce post est pour avoir vos retours d'expériences à ce sujet, si retours il y a
Merci d'avance !


Cordialement,


A.D.

[dev_ggy]

Bonjour A.D.,

Le monde des bases de données NoSQL est très vaste et je ne parle pas de l'écosystème Hadoop auquel tu penses peut-être.

Pour savoir qu'elle base, tu dois prendre, tu dois te poser la question sur tes problématiques. Pour t'aider, j'aurais besoin d'en connaître plus. Par contre, je ne suis pas un spécialiste et même les spécialistes s’y perdent.

Personnellement si je faisais un choix pour répondre à des problèmes de grosse volumétrie de données je prendrais Spark.

Bien cordialement.

[A. D.]

Bonjour dev_ggy,

Merci pour ta réponse

En fait pour l'instant ma question était plus limitée que ça, en gros : pour quelles bases de données NoSQL le CRAN dispose-t-il d'un package de connection "R / cette BDD NoQSL" qui fonctionne correctement (perso je n'ai pas réussi à faire fonctionner le package "RCassandra" avec une BDD "Cassandra" récente) ? Et pour ceux ayant un peu d'expériences sur le sujet : laquelle (de ces BDD) me recommanderiez-vous ? A savoir par exemple, laquelle est la plus efficace pour récupérer ses données dans R, notamment en terme de format des données (si je ne me trompe pas par exemple avec une BDD "CouchBase" on récupère du JSON).

Après au niveau stockage de mes données et également de leur exploitation, que ça soit une BDD "Cassandra", "CouchBase" ou "MongoDB" par exemple, cela n'a pas d'incidence.

Voilà, j'espère que mon besoin est un peu plus clair ^^
Merci d'avance à ceux qui pourront me faire des retours.


Bien cordialement,


A.D.

[ced]

Bonjour,

Qu'est-ce que tu entends par "gros volumes de données" ? Des To ? Des Go ?
Est-ce que tu ne peux pas les mettre dans une base relationnelle ? Auquel cas, l'interrogation devient plus facile, via les packages propres à chaque base, ou RODBC, ou encore RJDBC...

Sinon, il est tout à fait possible, depuis la version 9.3 et encore plus en 9.4, de mettre du JSON (format utilisé pour les stockages dans les bases NoSQL) sous PostgreSQL. Il dispose alors de tout un tas de fonction pour aller chercher les infos stockées sous cette forme. Et en plus, c'est une base transactionnelle (contrairement à MongoDB par exemple). Et là, pas de problème pour l'attaquer depuis R.

Personnellement, j'irais dans cette direction.

ced

[ced]

Si vraiment c'est une base "NoSQL" que tu veux, tu as ToroDB, qui tourne sur un moteur PostgreSQL. Encore une fois, pas de problème de connexion particulier...

[A. D.]

Salut ced, merci pour tes réponses

Je ne connaissais pas "ToroDB", peut-être une piste à explorer...

Au niveau volume de données, c'est des données que je récupère depuis "Google Analytics" et d'autres sources diverses, tous les jours (via un petit crawler), donc à terme il y a moyen que ça soit assez conséquent (c'est d'ailleurs le but ^^).

Du coup, je suis malgré tout toujours preneuse de retours sur la connection de BDD "vraiment" NoSQL (CouchBase, MongoDB, ...) avec R. Merci d'avance !


Cordialement,


A.D.

[dev_ggy]

Bonjour A.D,

Pour te répondre,

tous les jours (via un petit crawler), donc à terme il y a moyen que ça soit assez conséquent (c'est d'ailleurs le but ^^).

Je suppose que cela représente une petite base pour un serveur classique et dans ce cas les solutions autour de PostgreSQL sont un très bon choix. De plus, R se connecte bien à PostgreSQL. L’intérêt des bases NoSQL n’apporte pas plus davantage qu’une base de données classique surtout si tu l’utilises sur une seule machine et de la même façon qu’une base orientée SQL.

Pour mieux te répondre et te comprendre, il faut que tu en dises plus sur tes données pour te conseiller le bon choix à faire parmi cette diversité. Il existe de très très nombreuses bases NoSQL. On si perd.

De plus, généraliser des retours d’expérience entre R et des bases NoSQL n’a pas forcément de sens. Dans la mesure où chaque base peut avoir un langage propre selon le type de données qu’elles gèrent. Exemple : Une base orientée graph n’a rien à voire avec une base orientée documents. Leurs langages ne sont pas de même nature.

Il me semble que du début dans ce domaine bien vaste ?


À ton écoute,
Bien cordialement.

[A. D.]

Bonjour dev_ggy,

Merci pour ta réponse

Je reste persuadée qu'une base de données NoSQL est la solution pour mon problème dans la mesure où je vais avoir (à terme) un gros volume de données (données journalières relatives à une appli mobile + site web, avec un grand nombre d'utilisateurs) et également je souhaite pouvoir y accéder "en live" via un dashboard mis en place avec le package R "shinydashboard".

Après, comme je le disais dans un de mes précédents messages, pour le besoin que j'ai, plusieurs types de BDD NoSQL semblent convenir (par exemple "Cassandra", "CouchBase" ou "MongoDB", mais sûrement d'autres également) et je ne demandais pas tant un conseil sur le choix de la base en elle-même mais plus sur les packages R existants qui permettent de se relier à ce genre de BDD. En effet, j'ai testé le package "RCassandra" (non mis à jour depuis plusieurs années) et malheureusement il n'est plus compatible avec une version récente de BDD Cassandra (car il y a eu des changements du côté Cassandra).

Du coup, pour résumer, ma (mes ^^) question serait plutôt : pour ceux qui ont déjà importé dans R des données depuis une base de données NoSQL, laquelle était-ce ? quel package R / solution de connection avez-vous utilisée ? quelles en sont les éventuelles limites ? quels sont vos éventuels conseils sur le sujet ?

Merci d'avance !


Cordialement,


A.D.

[dev_ggy]

Bonjour A.D.,

Je ne suis pas compétent sur la question des liens entre R et les bases NoSQL. Je ne pourrais pas t'aider.

Par contre, je dois t'alerter sur la question de la volumétrie pour les bases que tu cites. Elle n'a pas d'intérêt que dans le cas distribuer. Ce qui veut dire plusieurs serveurs partageant tes données (Avec des difficultés de mises en place et de maintenance).

Je pense que ced à raison sur ses conseils pour un environnement mono serveur.

Pour les problèmes de connexion, personnellement j'utilise uniquement Python. Mais quand on passe au cas distribuer je ne pense pas que la question du langage R se pose en ces termes.

Avec mes meilleures attentions,