Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Membre du Club
    Homme Profil pro
    Inscrit en
    mai 2012
    Messages
    175
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : mai 2012
    Messages : 175
    Points : 64
    Points
    64
    Par défaut Programme parallèle sur une architecture distribuée
    Bonjour à tous,

    J'ai développé un programme de crawling des données Web en Java. Mon objectif est de faire le même programme mais en parallèle.

    Avez-vous une idée si je peux utiliser un cluster hadoop et s'il y-a éventuellement des api me permettant de bien appliquer mon programme sur des architecture distribués..

    Merci d'avance

  2. #2
    Membre habitué
    Homme Profil pro
    Inscrit en
    octobre 2007
    Messages
    183
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : octobre 2007
    Messages : 183
    Points : 180
    Points
    180
    Par défaut
    bonjour,

    il faut brancher un crawler genre "apache manfiold" à indexeur solr ou voir elastic search, qui stoke ses index sur hdfs dans un clusterhadoop, l'indexeur doit avoir l'api compatible à la version hadoop

    cordialement

Discussions similaires

  1. Problème pour création d'une vue
    Par gapse dans le forum Oracle
    Réponses: 5
    Dernier message: 30/08/2006, 15h35
  2. Réponses: 9
    Dernier message: 05/04/2006, 17h48
  3. FAQ : problème avec création d'une requete en VBA
    Par Oluha dans le forum VBA Access
    Réponses: 14
    Dernier message: 14/02/2006, 12h05
  4. Problème de création d'une dll...
    Par adrien954 dans le forum C++Builder
    Réponses: 4
    Dernier message: 21/10/2005, 10h46

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo