Discussion :

[daniel1985]

Bonjour à tous,

J'ai développé un programme de crawling des données Web en Java. Mon objectif est de faire le même programme mais en parallèle.

Avez-vous une idée si je peux utiliser un cluster hadoop et s'il y-a éventuellement des api me permettant de bien appliquer mon programme sur des architecture distribués..

Merci d'avance

[bordi]

bonjour,

il faut brancher un crawler genre "apache manfiold" à indexeur solr ou voir elastic search, qui stoke ses index sur hdfs dans un clusterhadoop, l'indexeur doit avoir l'api compatible à la version hadoop

cordialement