Hadoop : transférer des fichier volumineux sous Hadoop
Bonjour,
J'ai plusieurs fichiers volumineux sous ubuntu dans un path précis, je veux chaque fois quand j'ajoute un fichier sous ce path un crontab ou un job envoie ce fichier sous hadoop.
1- Comment envoyer un fichier ( dans mon fichier systeme) vers Hadoop.
2- Comment automatiser cette tache par un crontab chaque fois qu'il trouve un fichier.
Merci
utiliser le client HDFS et Apache Knox
Bonjour ahmed_2020,
1- pour transférer ton fichier du local vers Hadoop, il faut que ta machine locale fasse partie du cluster Hadoop. Si c'est le cas, alors utilise la commande Shell CopyFromLocal du client HDFS pour transférer ton fichier sur Hadoop.
Par exemple : hdfs dfs -CopyFromLocal /monrepertoirelocal/mon_fichier /repertoire_hdfs/nom_fichier
2 - pour automatiser, tu peux programmer en shell un crontab sur la commande CopyFromLocal ou alors tu peux utiliser Apache Knox ou encore tu peux utiliser Oozie.
Voilà,
Juvénal