Questions sur le Big Data

Bonjour,

Concernant la première question, lorsque l'on droppe une table externe, seules les métadonnées stockées dans le Hive Metastore sont détruites. Par contre, les données sont conservées et résident bien dans des fichiers stockées dans l'HDFS.

C'est le principe même d'une table externe, contrairement à une table interne qui elle détruit les données et les métadonnées lors du Drop.

Le principal avantage d'une table externe, c'est de pouvoir la détruire sans détruire les données, données qui pourront ainsi être consommées par d'autres traitements, comme du Pig, du Mapreduce ou du Spark par exemple.

Concernant la deuxième question, MapReduce ne fait pas d'In-memory, et les données (sous forme de clés-valeurs) qui sortent des Mappers sont stockées sur le disque local.
Ces données vont ensuite subir la phase de Shuffle and Sort pour les clés soient redirigées vers les Reducers correspondant.