Discussion :

[mapmip]

bonjour,

je souhaite me former sur le big data, hadoop, l'architecture distribuée, les clusters, etc
sur mon petit PC. Est-ce possible ?

Merci d'avance

[bordi]

bonjour,

je souhaite me former sur le big data, hadoop, l'architecture distribuée, les clusters, etc
sur mon petit PC. Est-ce possible ?

Merci d'avance

cela dépend de votre config pc.

pour hadoop 2, il faut un minimum de 8GB ram en windows ou linux,
pour hadoop 1, on peut faire avec 4GB, mais c'est une galère, j'imagine même pas. l'hdfs peut être, le map reduce, j'en doute.


maintenant il y a des bons tuto sur developpez.com que vous pouvez suivre, mais il faut linux sur pc ou via virtualbox/vmware.
vous pouvez commencer par un simple node, hadoop est très très gourmand en ressource

ils sont bien fait, la distrib cloudera facilite l'installation., c'est l'hadoop 2

http://mbaron.developpez.com/tutorie...fs-map-reduce/

http://mbaron.developpez.com/tutorie...cloudera-cdh5/

http://mbaron.developpez.com/tutorie...cloudera-cdh5/


alternative, pour un premier contact, vous pouvez commencer par l'installation de virtual box ou vmware selon les gouts et le ressenti.

moi j'ai installé virtualbox

https://www.virtualbox.org/

puis d'une version sandbox des deux distribution

cloudera

http://www.cloudera.com/content/clou...cdh-5-4-x.html

hortonworks

http://hortonworks.com/products/hort...ndbox/#install

sandbox 2.2.4 c'est hadoop 2
sandbox 1.3 hadoop 1

Moi je passe par apache hadoop, je fais tout à la main sur un vrai cluster, ainsi que son ecosysteme module par module, c'est comme ca que j'apprends, après
quand je regarderai les distrib cloudera,hortonworks,mapr, ca sera plus facile.

JP

[Moctezuma]

Salut,

Monter un cluster Hadoop sur un petit pc n'est pas possible.

Pour pouvoir étudier/se former dans un environnement Hadoop clusterisé, il te faudra au minumulm 3 machines virtuelles : une maître et deux esclaves.

Imaginons que chaque VM prenne 4Go de RAM, on arrive donc à 12Go (sans compter la VM Maitre où on serait plus autour de 8Go).
De plus, il faudra pas mal d'espace disque afin de ne pas se trouver à court au fil du temps.

Après, tu peux très bien te former sur une seul VM qui aura tout les rôles, mais dans ce cas tu ne pourras pas te confronter à une architecture distribuée.
Et même dans ce cas, il te faudra au minimum 8Go de mémoire sur ta machine.
Je l'ai déjà fait avec une machine 4Go, et je confirme, c'est une galère et très inconfortable.

[mapmip]

en gros le big data c'est pour les big porte monnaies

[Moctezuma]

Tout dépend en fait...

Quelle est ta config?

Après tu as la solution Amazon Web Services : http://aws.amazon.com/fr/ qui te permet de monter un cluster sans trop dépenser.
Et surtout tu as des offres où tu ne payes que ce que tu consommes, c'est à dire que si tu éteint tes machines, tu ne payes pas (attention de bien lire les conditions tarifaire quand même).

C'est un calcul à faire mais je pense que c'est toujours moins cher que de se racheter une nouvelle machine performante, du moins à court terme.

[bstevy]

en gros le big data c'est pour les big porte monnaies

Non, c'est pas vraiment ca... le principe, c'est justement de pouvoir stocker la donnée sur des simples disque dur par cher, et d'en avoir plein de petit qui d'un point de vue d'une entreprise ne coute rien par rapport à d'enorme serveur ultra performant...

Mais apres, c'est sur qu'il faut au moins qlq serveur car on parle de donnée n'entrant normalement pas sur un petit volume... de ce fait ton "petit pc" n'est pas censé avoir de big data car il est trop petit pour ne serait ce que stocker la donnée...

[Moctezuma]

Et sans compter le fait que les parties traitement de données/fonctionnement du cluster peuvent être couteuses en terme de mémoire.

[Boubou2020]

Et sans compter le fait que les parties traitement de données/fonctionnement du cluster peuvent être couteuses en terme de mémoire.

super merci bien

[dhamza]

Pour tout résumer tu peut faire du Big Data sur ta machine en utilisant un solution virtuel comme Cloudera si tu veux, mais ça dépend de ta CONFIG !!! si tu as un PC puissant i7 (comme ASUS) qui supporte par exemple 16 Go de RAM, 1 To en Disque.....etc tu peux faire du Big Data donc tout dépend de ta machine. BIG DATA = BIG CONFIGURATION