Discussion :

[Dam2227]

Bonjour

J'ai une question sur Hadoop. J'ai en tête l'idée d'analyser des données en ligne en utilisant Hadoop et en parallélisant les tâches. En gros, je voudrais uploader un dossier comprenant plein de fichiers, les envoyer vers divers ordinateurs pour analyse (en utilisant Amazon Web Service par exemple), où chaque ordinateurs exécutera une tâche, puis récupérer les données. Là où je voudrais votre opinion, c'est que la tâche à accomplir n'est pas juste compter des mots, mais exécuter un fit relativement complexe des données. En gros, je veux utiliser Hadoop pour des faire des maths(une tâche complexe sur plusieurs milliers de lignes de code) sur plein de données. Est-ce une bonne idée? Est-ce possible d'implémenter ce genre de tâches en utilisant Hadoop, où est-ce que vous avez des alternatives plus adaptées à mon problème? D'autres idées?

Merci pour votre aide!

[Drezounet218]

De maniere générale, l'utilisation d'hadoop se justifie si les traitement traitent + de 5 TO de données. Si c'est pour faire un map reduce sur un contenu de quelques Gigas, les performances seront meilleures si tu éclates toi même ton traitement sur plusieurs machines.

Sachant que le débug d'un map reduce n'est pas a la portée de tout le monde, et les outils actuels ne permettent pas de débugger correctement.

[Dam2227]

Je ne m'attend pas a ce que ce soit facile, mais si c'est possible, c'est le principal.

Merci pour la réponse!