Discussion :

[student.isims]

Bonjour, je voudrais savoir quelles sont les méthodes d'ordonnancement utilisées en Big Data dans le domaine médicale. Merci d'avance

[DotNetMatt]

D'après la constante globale de l'euridisme fractale on admet l'hypothèse que le dogme ambicéphales des exégèses ne répond pas à la recherche intuitionniste des sciences euclidiennes, donc on peut en déduire que ta demande ne veut rien dire

[student.isims]

on sait bien que Hadoop permet de manipuler le Big Data, on veut savoir est ce qu'il utilise les mêmes méthodes d'ordonnancement traditionnelles ou bien il y a une innovation?

[DotNetMatt]

Merci pour cette clarification

La réponse est oui, il y a eu de gros changements de côté. JobTracker n'existe plus, désormais HADOOP utilise YARN (Yet Another Resource Negotiator) pour les clusters, qui est lui-même décomposé en 2 deamons: un qui s'occupe de l'ordonnancement et du monitoring, et l'autre qui s'occupe de gérer les ressources. Cela induit des changements conséquents côté API entre HADOOP 1 et 2.

Tu pourras trouver plus d'info en cherchant YARN sur Google. Il y a aussi cet article qui explique bien les choses : Quoi de neuf dans Hadoop 2.0 ?.

[student.isims]

merci j'ai trouvé des méthodes utilisées en hadoop (FIFO, Fair scheduler, Capacity scheduler, Throughput scheduler ), est ce que je peux les utiliser sachant que je vais travailler avec Apache. Désolée je ne suis pas une experte dans ce domaine, c'est pour cela je suis un peu perdue. merci encore une fois

[DotNetMatt]

Oui bien sûr, HADOOP peut aussi bien tourner avec Apache qu'avec d'autres serveurs Web (IIS...), c'est sa force. Ensuite la gestion de la file d'attente (queue), qu'elle soit en FIFO, FILO, ou autre est plus un choix personnel, en fonction des besoins et du résultat attendu. C'est juste du paramétrage.

[student.isims]

le paramétrage est selon le code source de apache? parce que je vais programmer les méthodes.

[DotNetMatt]

Non Apache c'est juste le serveur Web. Quand tu vas développer tu vas utiliser l'API d'Hadoop, à priori en C# puisqu'on est dans le forum .NET. Tu vas donc peut-être être amenée à utiliser le modèle de programmation MapReduce. Le paramétrage consistera à utiliser par exemple une liste de type ConcurrentBag<T> pour une gestion non ordonnée, ou une ConcurrentStack<T> pour une gestion LIFO, ou encore une ConcurrentQueue<T> pour une gestion FIFO...

Tu pourras trouver d'autres exemples de stratégies ici : MapReduce / Map Reduction Strategies Using C#. Si tu n'utilises pas de langage .NET pour coder, il faudra t'adresser au forum correspondant au langage que tu as choisi (ex. Python), car ce dernier peut induire des différences d'implémentation.

[student.isims]

merci infiniment, votre réponse m'a beaucoup aidé

[DotNetMatt]

De rien n'oublie pas de marque la discussion comme résolue, il y a un bouton pour faire ça un peu plus bas sur cette page.