Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Membre du Club
    Programme parallèle sur une architecture distribuée
    Bonjour à tous,

    J'ai développé un programme de crawling des données Web en Java. Mon objectif est de faire le même programme mais en parallèle.

    Avez-vous une idée si je peux utiliser un cluster hadoop et s'il y-a éventuellement des api me permettant de bien appliquer mon programme sur des architecture distribués..

    Merci d'avance

  2. #2
    Membre habitué
    bonjour,

    il faut brancher un crawler genre "apache manfiold" à indexeur solr ou voir elastic search, qui stoke ses index sur hdfs dans un clusterhadoop, l'indexeur doit avoir l'api compatible à la version hadoop

    cordialement

###raw>template_hook.ano_emploi###