Publicité
+ Répondre à la discussion Actualité déjà publiée
Affichage des résultats 1 à 6 sur 6
  1. #1
    Responsable Actualités

    Avatar de Hinault Romaric
    Homme Profil pro Hinault Romaric
    Consultant
    Inscrit en
    janvier 2007
    Messages
    3 511
    Détails du profil
    Informations personnelles :
    Nom : Homme Hinault Romaric
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Consultant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : janvier 2007
    Messages : 3 511
    Points : 51 013
    Points
    51 013

    Par défaut Apache Hadoop 1.0.0 disponible

    Apache Hadoop 1.0.0 disponible
    Le framework de traitement de gros volumes de données atteint sa première version stable et fiable


    Les développeurs d’Apache Hadoop, le Framework Web open source d’analyse des gros volumes de données, ont annoncé la disponibilité de la première version stable de la plateforme.

    Hadoop est un framework java libre basé sur Map reduce destiné aux applications distribuées et à la gestion intensive des données. Il permet le traitement de données évolutif pour le stockage et le traitement par lot de très grandes quantités de données (Big Data).



    Après plus de six années de développement, Hadoop vient de franchir une étape importante de son développement en passant à la version « 1.0.0 ».

    Cette version basée sur la branche sécurisée Hadoop 0.20 apporte plusieurs améliorations de performances et des nouvelles fonctionnalités dont l’intégration et la prise en charge complète de Google Big Table, le système de gestion de bases de données compressées, haute performance de Google.

    Hadoop 1.0.0 propose également des améliorations importantes des fonctions de sécurité pour le HDFS (Hadoop Distributed File System), du système de fichiers WebHDFS qui permet désormais d’accéder à un volume HDFS via le protocole HTTP et du framework de calcul distribué MapReduce. La sécurité sur les nœuds est assurée par l’authentification Kerberos.

    La plateforme déjà très populaire pour l’analyse des « Big data » est donc désormais plus fiable, stable et servira de base pour les principaux fournisseurs de solutions sous Hadoop.

    Une popularité qui aurait même entrainé l’abandon de sa propre technologie de traitement de données parallèles et distribuées LINQ to HPC par Microsoft, pour se concentrer sur le support d’Hadoop dans ses produits (SQL Server, SQL Server Parallel Data Warehouse, Windows Azure, etc.).

    Télécharger Apache Hadoop 1.0.0

    Source : Notes de version


    Et vous ?

    Que pensez-vous de cette version ?
    Si déboguer est l’art de corriger les bugs, alors programmer est l’art d’en faire
    Mon blog Mes articles
    En posant correctement votre problème, on trouve la moitié de la solution

  2. #2
    Invité régulier
    Inscrit en
    septembre 2010
    Messages
    4
    Détails du profil
    Informations forums :
    Inscription : septembre 2010
    Messages : 4
    Points : 7
    Points
    7

    Par défaut

    Ceux qui l'utilisent peuvent-ils donner des exemples de cas où ce type de table est utilisé ? A part travailler au CERN (exploitation des données recueillies lors d'une collision de particules) ou à la Redoute (data mining sur les données de ventes), je vois pas trop...

  3. #3
    Membre éclairé
    Inscrit en
    juin 2006
    Messages
    349
    Détails du profil
    Informations forums :
    Inscription : juin 2006
    Messages : 349
    Points : 359
    Points
    359

    Par défaut

    Ceux qui l'utilisent peuvent-ils donner des exemples de cas où ce type de table est utilisé ?
    Je n'utilise pas mais c'est uniquement pour stocker/traiter des données de tailles considérables plusieurs TB , pour des bases de quelques GB cela n'a pas d’intérêt.

    Donc toutes les grosses sociétés que ce soit les supermarchés pour les statistiques de consommation grâce aux cartes fidélités dates,heures, fréquences des achats ect... bref les habitudes de consommation sur des millions de clients.

    Ou encore tous les services internet qui ont énormément de données et qui en plus on besoin de les traiter extrêmement rapidement comme google , facebook , twitter, amazon , la sncf , les jeux en lignes ...


    il est surement possible de traiter la plupart de ces cas avec des bdd relationnels classiques mais cela va engendrer des coûts d'infrastructures , de développement, de maintenance bien plus important.

  4. #4
    Membre à l'essai
    Inscrit en
    août 2007
    Messages
    15
    Détails du profil
    Informations forums :
    Inscription : août 2007
    Messages : 15
    Points : 22
    Points
    22

    Par défaut

    Mon projet l'utilise aussi et surtout pour ses performances en calcul distribué. Il permet très facilement d'exploiter pleinement une grille de calcule.

    Dans notre cas une centaine de coeurs.

  5. #5
    Invité de passage
    Homme Profil pro Walter
    Ingénieur intégration
    Inscrit en
    octobre 2013
    Messages
    1
    Détails du profil
    Informations personnelles :
    Nom : Homme Walter
    Localisation : France, Alpes Maritimes (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Ingénieur intégration
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : octobre 2013
    Messages : 1
    Points : 2
    Points
    2

    Par défaut utilisation Hadoop

    Utilisé pour la compagnie aérienne nationale (application en cours de finalisation) en remplacement de Java/hibernate qui attaquait une DB Oracle de 5To. Problèmatiques de performances (goulot d'étranglement puissance serveur unique Oracle et nb de connexions simultannées)
    Le HDFS Hadoop stocke 3 ans d'historique de réservations et vols: 10To environ (utiles, hors réplication). si besoin de perfs on augmente le nb de serveurs Linux (Dell standard). Actuellement 14 serveurs (8 CPU dual core 2.6Ghz/74Go RAM). Chargement en DB Oracle seulement après tous les traitements (ou presque, reste quelques traitements sur la DB) avec Sqoop ou SQLLoader. Plus de pb de perf !

  6. #6
    Invité de passage
    Inscrit en
    février 2011
    Messages
    1
    Détails du profil
    Informations forums :
    Inscription : février 2011
    Messages : 1
    Points : 1
    Points
    1

    Par défaut

    je suis doctorante en informatique , je travaille sur les entrepôts de données dans le cloud computing . Y a t'il qlq'un qui peut m'aider comment je peux utiliser Hadoop pour manipuler un entrepot de donnée?

Liens sociaux

Règles de messages

  • Vous ne pouvez pas créer de nouvelles discussions
  • Vous ne pouvez pas envoyer des réponses
  • Vous ne pouvez pas envoyer des pièces jointes
  • Vous ne pouvez pas modifier vos messages
  •