Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Big Data Discussion :

stockage des données non structurées


Sujet :

Big Data

  1. #1
    Membre du Club
    Profil pro
    Inscrit en
    janvier 2007
    Messages
    150
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : janvier 2007
    Messages : 150
    Points : 56
    Points
    56
    Par défaut stockage des données non structurées
    Bonjour

    En ce moment, je lis des articles & formations sur le BigData en général, histoire de savoir globalement en quoi ça consiste techniquement.

    J'ai déjà compris beaucoup de choses sur les bases NoSQL, l'architecture HDFS, HBase, Hive, ...

    Aujourd'hui j'aurais une question sur le stockage des données non structurées.
    Je comprends que HBase est un outil de stockage pour les BD NoSQL orientées colonne.
    Qui dit "BD NoSQL", dit "données non structurées" et donc stockage de fichiers divers (pdf, image, vidéos, ...)
    Et là j'ai un doute !

    Le stockage des fichiers, ça se fait directement dans l'outil HBase ?
    Ou alors HBase ce n'est fait que pour la Data ? Et les fichiers sont stockés dans le système HDFS de Hadoop ?

    Merci pour vos éclaircissements sur le sujet.

  2. #2
    Membre éprouvé Avatar de Jidefix
    Profil pro
    Inscrit en
    septembre 2006
    Messages
    742
    Détails du profil
    Informations personnelles :
    Âge : 35
    Localisation : France, Seine Maritime (Haute Normandie)

    Informations forums :
    Inscription : septembre 2006
    Messages : 742
    Points : 1 073
    Points
    1 073
    Par défaut
    De manière générale il me semble que ce n'est pas une très bonne idée de stocker de larges données binaires (videos, jpg...) en base, vu que tu ne requêtera probablement pas sur les données elles-mêmes (sauf si tu fais du traitement).

    Si tu veux organiser un stockage, je dirai que c'est plus pratique de stocker les données binaires sur HDFS, et de stocker le chemin dans HBase. Sinon au pire ça pourrait peut etre passer dans une columnFamily dédiée, mais je pense que ça mettrai une charge inutile sur HBase, alors qu'il ne s'agit que de stockage

    Encore une fois ça dépend de l'usage que tu veux en faire.

    HDFS = Filesystem brut (gère particulièrement bien les gros fichiers)
    HBase = Base de donnée (gère bien la recherche par critère de sélection)
    Veuillez agréer nos sentiments les plus distingués. Soyez assurés de notre entière collaboration, bien à vous pour toujours et à jamais dans l'unique but de servir l'espérance de votre satisfaction, dis bonjour à ton père et à ta mère, bonne pétanque, mets ton écharpe fais froid dehors.

  3. #3
    Membre du Club
    Profil pro
    Inscrit en
    janvier 2007
    Messages
    150
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : janvier 2007
    Messages : 150
    Points : 56
    Points
    56
    Par défaut
    Merci pour ta réponse qui me paraît en effet tout à fait cohérente.

  4. #4
    Membre éprouvé

    Homme Profil pro
    Data Ingénieur & Scientist
    Inscrit en
    février 2009
    Messages
    462
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Oise (Picardie)

    Informations professionnelles :
    Activité : Data Ingénieur & Scientist
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : février 2009
    Messages : 462
    Points : 1 139
    Points
    1 139
    Billets dans le blog
    2
    Par défaut
    Bonjour jerem_orga,

    Je serais plus catégorique encore dans la mesure ou les colonnes de HBase sont typées. C'est une basse de données qui est orientée colonne. Elle permet un nombre important d'indicateurs qualitatifs ou quantitatifs qui peut dépasser les milliers par ligne.

    Il y a des bases de données qui sont distribuées et orientées document comme MongoDB.

    Le HDFS permet de stocker des fichiers de tout type.

    Chaque type de base de données NoSQL permet de charger un type de structure : Sans-Schema, Document, Graph, Colonnes.

    Cordialement,

  5. #5
    Membre éprouvé

    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    novembre 2012
    Messages
    30
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur décisionnel
    Secteur : Industrie

    Informations forums :
    Inscription : novembre 2012
    Messages : 30
    Points : 1 001
    Points
    1 001
    Par défaut
    Citation Envoyé par jerem_orga Voir le message
    Bonjour

    En ce moment, je lis des articles & formations sur le BigData en général, histoire de savoir globalement en quoi ça consiste techniquement.

    J'ai déjà compris beaucoup de choses sur les bases NoSQL, l'architecture HDFS, HBase, Hive, ...

    Aujourd'hui j'aurais une question sur le stockage des données non structurées.
    Je comprends que HBase est un outil de stockage pour les BD NoSQL orientées colonne.
    Qui dit "BD NoSQL", dit "données non structurées" et donc stockage de fichiers divers (pdf, image, vidéos, ...)
    Et là j'ai un doute !

    Le stockage des fichiers, ça se fait directement dans l'outil HBase ?
    Ou alors HBase ce n'est fait que pour la Data ? Et les fichiers sont stockés dans le système HDFS de Hadoop ?

    Merci pour vos éclaircissements sur le sujet.
    Bonjour Jerem_orga,

    j'espère que tu vas bien.
    Pour répondre à ta question, Oui ! Le stockage se fait bien dans HBase. (cf tutoriel suivant : https://juvenal-chokogoue.developpez...vailler-hbase/)
    Oui ! après les données sont persistés sur le HDFS, et cela que ce soit HBase, ou n'importe quel autre système de stockage.

    Si tu veux stocker des blob (binary large object comme des pdf, des vidéos, des images), je te recommande de diriger tes recherches vers les SGBD NoSQL orientés Clé/valeur comme redis ou Riak. Bon, je ne vais pas entrer dans le détail du fonctionnement de ces technos, ça va être trop long

    Cordialement,
    Mes cours et tutoriels bases de données et Hadoop : https://juvenal-chokogoue.developpez.com

Discussions similaires

  1. Stockage de données non relationnelles
    Par ceuce dans le forum Modélisation
    Réponses: 2
    Dernier message: 11/09/2007, 19h00
  2. MySqL Stockage des données sur disque
    Par djezair31 dans le forum Administration
    Réponses: 5
    Dernier message: 23/08/2007, 18h28
  3. [JGuard] stockage des données
    Par sissa_87 dans le forum Sécurité
    Réponses: 2
    Dernier message: 11/06/2007, 13h51
  4. [SQL2005]Stockage des données dans un CMS
    Par adrien.nicolet dans le forum MS SQL Server
    Réponses: 1
    Dernier message: 27/03/2007, 03h02
  5. question théorique sur le stockage des données
    Par jp_rennes dans le forum Administration
    Réponses: 1
    Dernier message: 18/09/2006, 19h28

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo