Discussion :

[cyrina1]

Bonjour,
Je suis nouvelle avec hadoop. J'ai commencé depuis 2 jours faire de la recherche sur hadoop. Mais, ce que j'arrive pas à comprendre comment développer une application sur le terme big data avec hadoop? comment je vais intégrer hadoop au sein de mon IDE (netbeans ou bien eclipse) ça sera sous la forme d'un plugin? et le HDFS comment je veux utiliser ce système de fichiers ?
Merci en avance

[Oussapik]

Bonjour,

Pour t'éclaircir sur ces points, tu as 2 parties à identifier ici.

D'une part, ton environnement d'exécution. Il s'agit de ton IDE, qui n'intègre pas vraiment de plugin spécifique. Il te suffit de disposer des fichiers Jar formant un client Hadoop et de les rendre accessibles depuis le classpath de ton projet. C'est au travers de classes et méthodes spécifiques contenu dans cette librairie que tu décriras comment accéder au système de fichier (HDFS ou bien même système de fichier local dans un premier temps), et plus généralement comment se comporte ton programme.

D'autre part, ton environnement d'exécution. C'est un/plusieurs serveurs (ou ta machine de dev dans un premier temps) qui contiennent un serveur Hadoop (un système de fichier HDFS et la possibilité d'exécuter du MapReduce). Lorsque tu auras finis ton développement, ton projet sera packagé en fichier Jar et exécuté sur cet environnement d'exécution

Ici, je te décris le développement de jobs MapReduce. Si tu souhaites développer dans d'autres langages, cela peut varier légèrement, mais l'idée générale est là.

En espérant avoir répondu aux questions que tu te poses.

[jvc35]

Bonjour Cyrina,

Oussapik t'a déjà donné une bonne réponse. Pour développer avec Hadoop en Big Data dans ton environnement, il te suffit de disposer des fichiers Jar d'Hadoop et de les rendre accessibles depuis le classpath de ton projet. Ensuite, grâce à un client HDFS, tu as accès au HDFS.

Le développement se fera alors en manipulant ces classes/client sur ton IDE via ton langage favori (Java, ou scala). Une fois finis, tu compiles tes jars et tu les execute sur la machine qui sert de namenode dans le cluster.

Après, pour éviter des configurations complexes, la meilleur façon de programmer en Hadoop pour faire du Big Data que je recommande est d'utiliser une distribution Hadoop (Cloudera, Hortonworks ou MapR). C'es vraiment plus simple. Tout est déjà configuré. Tu n'a que tes devs à faire.

Cordialement,