Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Futur Membre du Club
    Inscrit en
    mars 2007
    Messages
    4
    Détails du profil
    Informations forums :
    Inscription : mars 2007
    Messages : 4
    Points : 5
    Points
    5

    Par défaut Comment organiser un datalake

    Bonjour à tous,
    j'expérimente les technos du Big Data et je constate qu'après avoir ingérer différentes sources de données, il va vite devenir difficile de retrouver mes petits.

    Du coup j'ai mis en place une arborescence du genre : Data_brutes\[SOURCE]\[Nom de la table]

    J'aimerai savoir s'il y a des choses à éviter et à faire pour s'y retrouver et organiser un datalake?

    Merci de vos retours.
    A+

  2. #2
    Modérateur
    Avatar de DotNetMatt
    Homme Profil pro
    Ingenieur
    Inscrit en
    février 2010
    Messages
    3 452
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 30
    Localisation : Etats-Unis

    Informations professionnelles :
    Activité : Ingenieur
    Secteur : Finance

    Informations forums :
    Inscription : février 2010
    Messages : 3 452
    Points : 9 613
    Points
    9 613
    Billets dans le blog
    3

    Par défaut

    Il y a des bonnes pratiques a suivre. Elles sont condensees dans The Data Lake Manifesto. Certaines pratiques sont discutables selon les projets, mais ca te donne deja une bonne idee de ce qu'il faut faire et ne pas faire.

    Le secret d'un Data Lake prospere est qu'il faut passer beaucoup de temps a planifier les differents aspects, et a les mettre en perspective avec les objectifs/scenarios de l'entreprise.

    Ca va beaucoup plus loin que la simple organisation de l'arborescence. Bien entendu l'arborescence est un element a ne pas negliger. Il faut la structurer de telle sorte que la navigation soit facile. En general l'arborescence fait partie du catalogue. Le catalogue associe l'arborescence + des meta donnees + de la documentation. Le but etant de permettre a quiconque de naviguer et trouver les donnees facilement.
    Less Is More
    Pensez à utiliser les boutons , et les balises code
    Desole pour l'absence d'accents, clavier US oblige

Discussions similaires

  1. [VB.Net 2.0] Comment organiser un projet 3-tiers ?
    Par errant dans le forum Services Web
    Réponses: 3
    Dernier message: 07/03/2006, 22h09
  2. Comment organiser mes partitions
    Par Celelibi dans le forum Administration système
    Réponses: 8
    Dernier message: 14/11/2005, 11h09
  3. Comment organiser ma requete ?
    Par isa150183 dans le forum Langage SQL
    Réponses: 3
    Dernier message: 08/09/2005, 07h24
  4. [IMPORTANT!] Comment organiser ses recherches
    Par Emmanuel Lecoester dans le forum Firebird
    Réponses: 0
    Dernier message: 29/07/2005, 14h47
  5. [Debutant(e)][eclipse] Comment organiser ses projets ?
    Par Javanaute dans le forum Eclipse Java
    Réponses: 9
    Dernier message: 09/04/2004, 11h07

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo