IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Outils Discussion :

Apache Hadoop 1.0.0 disponible


Sujet :

Outils

  1. #1
    Responsable .NET

    Avatar de Hinault Romaric
    Homme Profil pro
    Consultant
    Inscrit en
    Janvier 2007
    Messages
    4 570
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Consultant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Janvier 2007
    Messages : 4 570
    Points : 252 372
    Points
    252 372
    Billets dans le blog
    121
    Par défaut Apache Hadoop 1.0.0 disponible
    Apache Hadoop 1.0.0 disponible
    Le framework de traitement de gros volumes de données atteint sa première version stable et fiable


    Les développeurs d’Apache Hadoop, le Framework Web open source d’analyse des gros volumes de données, ont annoncé la disponibilité de la première version stable de la plateforme.

    Hadoop est un framework java libre basé sur Map reduce destiné aux applications distribuées et à la gestion intensive des données. Il permet le traitement de données évolutif pour le stockage et le traitement par lot de très grandes quantités de données (Big Data).



    Après plus de six années de développement, Hadoop vient de franchir une étape importante de son développement en passant à la version « 1.0.0 ».

    Cette version basée sur la branche sécurisée Hadoop 0.20 apporte plusieurs améliorations de performances et des nouvelles fonctionnalités dont l’intégration et la prise en charge complète de Google Big Table, le système de gestion de bases de données compressées, haute performance de Google.

    Hadoop 1.0.0 propose également des améliorations importantes des fonctions de sécurité pour le HDFS (Hadoop Distributed File System), du système de fichiers WebHDFS qui permet désormais d’accéder à un volume HDFS via le protocole HTTP et du framework de calcul distribué MapReduce. La sécurité sur les nœuds est assurée par l’authentification Kerberos.

    La plateforme déjà très populaire pour l’analyse des « Big data » est donc désormais plus fiable, stable et servira de base pour les principaux fournisseurs de solutions sous Hadoop.

    Une popularité qui aurait même entrainé l’abandon de sa propre technologie de traitement de données parallèles et distribuées LINQ to HPC par Microsoft, pour se concentrer sur le support d’Hadoop dans ses produits (SQL Server, SQL Server Parallel Data Warehouse, Windows Azure, etc.).

    Télécharger Apache Hadoop 1.0.0

    Source : Notes de version


    Et vous ?

    Que pensez-vous de cette version ?
    Vous souhaitez participer aux rubriques .NET ? Contactez-moi

    Si déboguer est l’art de corriger les bugs, alors programmer est l’art d’en faire
    Mon blog, Mes articles, Me suivre sur Twitter
    En posant correctement votre problème, on trouve la moitié de la solution

  2. #2
    Futur Membre du Club
    Profil pro
    Inscrit en
    Septembre 2010
    Messages
    4
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2010
    Messages : 4
    Points : 7
    Points
    7
    Par défaut
    Ceux qui l'utilisent peuvent-ils donner des exemples de cas où ce type de table est utilisé ? A part travailler au CERN (exploitation des données recueillies lors d'une collision de particules) ou à la Redoute (data mining sur les données de ventes), je vois pas trop...

  3. #3
    Membre averti
    Profil pro
    Inscrit en
    Juin 2006
    Messages
    351
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Juin 2006
    Messages : 351
    Points : 432
    Points
    432
    Par défaut
    Ceux qui l'utilisent peuvent-ils donner des exemples de cas où ce type de table est utilisé ?
    Je n'utilise pas mais c'est uniquement pour stocker/traiter des données de tailles considérables plusieurs TB , pour des bases de quelques GB cela n'a pas d’intérêt.

    Donc toutes les grosses sociétés que ce soit les supermarchés pour les statistiques de consommation grâce aux cartes fidélités dates,heures, fréquences des achats ect... bref les habitudes de consommation sur des millions de clients.

    Ou encore tous les services internet qui ont énormément de données et qui en plus on besoin de les traiter extrêmement rapidement comme google , facebook , twitter, amazon , la sncf , les jeux en lignes ...


    il est surement possible de traiter la plupart de ces cas avec des bdd relationnels classiques mais cela va engendrer des coûts d'infrastructures , de développement, de maintenance bien plus important.

  4. #4
    Nouveau membre du Club
    Profil pro
    Inscrit en
    Août 2007
    Messages
    15
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Août 2007
    Messages : 15
    Points : 26
    Points
    26
    Par défaut
    Mon projet l'utilise aussi et surtout pour ses performances en calcul distribué. Il permet très facilement d'exploiter pleinement une grille de calcule.

    Dans notre cas une centaine de coeurs.

  5. #5
    Nouveau Candidat au Club
    Homme Profil pro
    Ingénieur intégration
    Inscrit en
    Octobre 2013
    Messages
    1
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Alpes Maritimes (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Ingénieur intégration
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Octobre 2013
    Messages : 1
    Points : 1
    Points
    1
    Par défaut utilisation Hadoop
    Utilisé pour la compagnie aérienne nationale (application en cours de finalisation) en remplacement de Java/hibernate qui attaquait une DB Oracle de 5To. Problèmatiques de performances (goulot d'étranglement puissance serveur unique Oracle et nb de connexions simultannées)
    Le HDFS Hadoop stocke 3 ans d'historique de réservations et vols: 10To environ (utiles, hors réplication). si besoin de perfs on augmente le nb de serveurs Linux (Dell standard). Actuellement 14 serveurs (8 CPU dual core 2.6Ghz/74Go RAM). Chargement en DB Oracle seulement après tous les traitements (ou presque, reste quelques traitements sur la DB) avec Sqoop ou SQLLoader. Plus de pb de perf !

  6. #6
    Candidat au Club
    Inscrit en
    Février 2011
    Messages
    5
    Détails du profil
    Informations forums :
    Inscription : Février 2011
    Messages : 5
    Points : 4
    Points
    4
    Par défaut
    je suis doctorante en informatique , je travaille sur les entrepôts de données dans le cloud computing . Y a t'il qlq'un qui peut m'aider comment je peux utiliser Hadoop pour manipuler un entrepot de donnée?

Discussions similaires

  1. Apache Wicket 6.6 est disponible
    Par Invité dans le forum Wicket
    Réponses: 0
    Dernier message: 20/02/2013, 21h03
  2. Apache Flex 4.9 est disponible
    Par Jim_Nastiq dans le forum Flex
    Réponses: 15
    Dernier message: 18/01/2013, 13h08
  3. Apache Wicket 6.0 est disponible
    Par Robin56 dans le forum Wicket
    Réponses: 0
    Dernier message: 24/09/2012, 12h54
  4. Microsoft publie deux connecteurs pour Apache Hadoop
    Par Hinault Romaric dans le forum MS SQL Server
    Réponses: 1
    Dernier message: 26/06/2012, 16h39
  5. Réponses: 0
    Dernier message: 29/06/2010, 14h22

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo