Discussion :

[Symphorien2]

Bonjour à tous,

J'aimerais en fait supprimer un dossier du nom "output" présent sur l'HDFS. Alors, à partir de mon terminal, j'exécute la commande hadoop fs -rmr output (tout en étant dans le répertoire courant /usr/local/hadoop).

Et voici ce que j'obtiens comme réponse après lancement de la commande: rmr: Failed to get server trash configuration: null. Consider using -skipTrash option.

Par ailleurs, la version de Hadoop que j'utilise est celle 2.7.0 depuis mon OS Ubuntu 15.04.

Quelqu'un aurait-il une idée sur l'origine du problème et comment y remédier?

Je vous remercie d'avance.

Cordialement

[bordi]

A première vue cette commande rmr est déprecated en 2.7, ils préconisent d'utiliser rm -r pour une destruction recursive

genre

hadoop fs -rm -r output


rmr
Usage: hadoop fs -rmr [-skipTrash] URI [URI ...]
Recursive version of delete.
Note: This command is deprecated. Instead use hadoop fs -rm



rm
Usage: hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]
Delete files specified as args.

Options:

The -f option will not display a diagnostic message or modify the exit status to reflect an error if the file does not exist.
The -R option deletes the directory and any content under it recursively.
The -r option is equivalent to -R.
The -skipTrash option will bypass trash, if enabled, and delete the specified file(s) immediately. This can be useful when it is necessary to delete files from an over-quota directory.
Example:

hadoop fs -rm hdfs://nn.example.com/file /user/hadoop/emptydir
Exit Code:

Returns 0 on success and -1 on error.

[Symphorien2]

Merci bordi, pour votre réponse...

Après redémarrage de mon ordi, la commande hadoop fs -rmr output a encore repris fonctionnement: je ne sais pour quelle raison. Je prendrai en compte votre suggestion lorsque le problème surgirait de nouveau.

Autre chose: Est-il possible d'utiliser des classes beans dans un programme MapReduce pour des questions d'enregistrement de données dans des variables statiques initialisées par la classe Driver du job pour un usage ultérieur par les classes Mapper et Reducer du programme? Car c'est ce que j'ai fait pour des questions de traitement au niveau de la classe Mapper et celle Reducer du job. Ce programme a en fait pour but, d'effectuer quelques opérations mathématiques suivant "l'opérateur" (sum, min, max,...) passé en argument par l'utilisateur au moment de l'exécution du job. C'est donc suivant l'opérateur spécifié en argument, que je détermine quel traitement réaliser. J'ai maintes fois testé localement ce programme et tout à l'ère de très bien fonctionner mais dès que je le déploie sur mon cluster Hadoop, ça déclenche l'erreur suivante:
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Error: java.lang.NullPointerException
at HlqlMapper.map(HlqlMapper.java:12)
at HlqlMapper.map(HlqlMapper.java:1)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Or, l'instruction de la ligne numéro 12 (String op = (HlqlQuery.getOperation());) de la classe HlqlMapper ne retourne pas null d'après mes texts locaux. J'aimerais donc savoir où pourrait se situer le problème.

Je vous remercie d'avance pour votre aide.

Cordialement.

[bordi]

normalement oui, vous pouvez définir des classes bean, mais il faut tenir compte de la serialization hadoop writable/readable, sinon vous aurez le contenu de vos objets qui seront null
quand il paseront d'un noeud à un autre ou vers le client, si vous voulez tout faire en map reduce et ne pas passez par pig. les null pointer en sont souvent la cause.



https://developer.yahoo.com/hadoop/t....html#writable

exemple

public class MyObject implements Writable {

....
public void write(DataOutput out) throws IOException {
// TODO Auto-generated method stub
out.writeBoolean(origin);

}
@Override
public void readFields(DataInput in) throws IOException {
// TODO Auto-generated method stub

origin=in.readBoolean();
}
Répondre avec citation Répondre avec citation Multi-citer ce message 0 0 Créer une entrée Blog
10/07/2015, 19h42 #9
bordi bordi est actuellement connecté


il y a un exemple d'un objet utilisateur véhiculer par le mapper/reducer via OutputCollector

mapper

http://www.javased.com/?source_dir=b...othMapper.java

public class BehemothMapper implements Mapper<Text, BehemothDocument, Text, BehemothDocument> {

public void map(Text key, BehemothDocument inputDoc, OutputCollector<Text, BehemothDocument> output, Reporter reporter)


l'object BehemothDocument transportation avec l'implementation des types writable

public class BehemothDocument implements Writable {

http://www.javased.com/?source_dir=b...hDocument.java

[Symphorien2]

D'accord: c bien noté.

Je vais voir ça très bientôt et je vous tiendrai informé de la suite une fois terminée.

M. Bordi, merci encore à vous d'avoir pris le temps de me répondre.

Cordialement.