Apache Hadoop 1.0.0 disponible

Apache Hadoop 1.0.0 disponible
Le framework de traitement de gros volumes de données atteint sa première version stable et fiable


Les développeurs d’Apache Hadoop, le Framework Web open source d’analyse des gros volumes de données, ont annoncé la disponibilité de la première version stable de la plateforme.

Hadoop est un framework java libre basé sur Map reduce destiné aux applications distribuées et à la gestion intensive des données. Il permet le traitement de données évolutif pour le stockage et le traitement par lot de très grandes quantités de données (Big Data).

http://rdonfack.developpez.com/images/hadoop.jpg

Après plus de six années de développement, Hadoop vient de franchir une étape importante de son développement en passant à la version « 1.0.0 ».

Cette version basée sur la branche sécurisée Hadoop 0.20 apporte plusieurs améliorations de performances et des nouvelles fonctionnalités dont l’intégration et la prise en charge complète de Google Big Table, le système de gestion de bases de données compressées, haute performance de Google.

Hadoop 1.0.0 propose également des améliorations importantes des fonctions de sécurité pour le HDFS (Hadoop Distributed File System), du système de fichiers WebHDFS qui permet désormais d’accéder à un volume HDFS via le protocole HTTP et du framework de calcul distribué MapReduce. La sécurité sur les nœuds est assurée par l’authentification Kerberos.

La plateforme déjà très populaire pour l’analyse des « Big data » est donc désormais plus fiable, stable et servira de base pour les principaux fournisseurs de solutions sous Hadoop.

Une popularité qui aurait même entrainé l’abandon de sa propre technologie de traitement de données parallèles et distribuées LINQ to HPC par Microsoft, pour se concentrer sur le support d’Hadoop dans ses produits (SQL Server, SQL Server Parallel Data Warehouse, Windows Azure, etc.).

:fleche: Télécharger Apache Hadoop 1.0.0

Source : Notes de version


Et vous ?

:fleche: Que pensez-vous de cette version ?

Ceux qui l'utilisent peuvent-ils donner des exemples de cas où ce type de table est utilisé ? A part travailler au CERN (exploitation des données recueillies lors d'une collision de particules) ou à la Redoute (data mining sur les données de ventes), je vois pas trop...

Citation:

---

Ceux qui l'utilisent peuvent-ils donner des exemples de cas où ce type de table est utilisé ?

---

Je n'utilise pas mais c'est uniquement pour stocker/traiter des données de tailles considérables plusieurs TB , pour des bases de quelques GB cela n'a pas d’intérêt.

Donc toutes les grosses sociétés que ce soit les supermarchés pour les statistiques de consommation grâce aux cartes fidélités dates,heures, fréquences des achats ect... bref les habitudes de consommation sur des millions de clients.

Ou encore tous les services internet qui ont énormément de données et qui en plus on besoin de les traiter extrêmement rapidement comme google , facebook , twitter, amazon , la sncf , les jeux en lignes ...


il est surement possible de traiter la plupart de ces cas avec des bdd relationnels classiques mais cela va engendrer des coûts d'infrastructures , de développement, de maintenance bien plus important.

Mon projet l'utilise aussi et surtout pour ses performances en calcul distribué. Il permet très facilement d'exploiter pleinement une grille de calcule.

Dans notre cas une centaine de coeurs.

Utilisé pour la compagnie aérienne nationale (application en cours de finalisation) en remplacement de Java/hibernate qui attaquait une DB Oracle de 5To. Problèmatiques de performances (goulot d'étranglement puissance serveur unique Oracle et nb de connexions simultannées)
Le HDFS Hadoop stocke 3 ans d'historique de réservations et vols: 10To environ (utiles, hors réplication). si besoin de perfs on augmente le nb de serveurs Linux (Dell standard). Actuellement 14 serveurs (8 CPU dual core 2.6Ghz/74Go RAM). Chargement en DB Oracle seulement après tous les traitements (ou presque, reste quelques traitements sur la DB) avec Sqoop ou SQLLoader. Plus de pb de perf ! :ccool:

je suis doctorante en informatique , je travaille sur les entrepôts de données dans le cloud computing . Y a t'il qlq'un qui peut m'aider comment je peux utiliser Hadoop pour manipuler un entrepot de donnée?