Version imprimable
Normal, il manque un espace entre codes.odt et /myDirectory
codes.odt est le fichier source (1er argument) et /myDirectory (2ième argument) est le répertoire que je vous ai fait précédemment créé à la racine de l'HDFS
Et ces 2 arguments doivent être séparés par un espace.
Merci. Toujours No such file or directory
Le codes.odt doit se situer ou ? Je l’ai mis dans /bin. Est ce correct ? (le /bin de hadoop)
Le mieux est de travailler en chemin absolu, et non pas relatif.
En clair, vous précisez tout le chemin qui mène au fichier.
Si je décode votre prompt :
~ représente votre répertoire de travail personnel (ce qu'on appelle le Home Directory) et doit en théorie correspondre au chemin absolu /home/jujuf1Citation:
jujuf1@Z390:~/hadoop$ bin/hdfs dfs -put codes.odt/myDirectory
Ensuite on a le répertoire hadoop, soit le chemin absolu /home/jujuf1/hadoop
Dessous il y a le répertoire bin, soit le chemin absolu /home/jujuf1/hadoop/bin
Et comme votre fichier se situe sous bin, votre fichier est /home/jujuf1/hadoop/bin/codes.odt
J’essaierai donc la commande suivante, tout en chemin absolu :
Citation:
/home/jujuf1/hadoop/bin/hdfs dfs -put /home/jujuf1/hadoop/bin/codes.odt /myDirectory
Et je vous invite à faire du Linux, parce que faire de l'Hadoop sans trop connaître Linux, c'est risqué.
Encore merci pour votre disponibilité. Oui j’ai de grosses lacunes en Linux et c’est vraiment gênant...
La commande a fonctionné. Par contre je ne sais pas où j’ai créé le répertoire mydirectory.
Je cherche à retrouver ce répertoire pour vérifier de visu la présence du .odt.
J’ai regardé dans tmp pour voir (vu ce que vous m’aviez dit auparavant sur la conf de mon Hadoop) mais je ne l’ai pas trouvé.
Édit: vu que je suis dans un système de fichier différent il est peut être normal en fait que mydirectory ne soit pas accessible via l’explorateur Linux. Existe t’il une commande pour lister les fichiers dans le HDFS ?
En regardant dans /tmp, vous regardez sur votre File System local de votre serveur Linux.
Or l'HDFS est un autre type de File System, un File System distribué sur plusieurs datanodes (bon dans votre cas, vous n'avez qu'un seul serveur qui fait office de Namenode, Secondary Namenode et de Datanode).
Quand vous utilisez la commande hdfs dfs -put, c'est pour prendre un fichier qui est sur un FS local, et l'envoyer dans l'HDFS.
Et pour voir les fichiers de l'HDFS, il faut utiliser la commande hdfs dfs -ls
Alors faites SVP :
et vous allez voir votre fichier.Citation:
hdfs dfs -ls /myDirectory
Cela fonctionne ;) C'est déjà ça.
jujuf1@Z390:~/hadoop$ /home/jujuf1/hadoop/bin/hdfs dfs -ls /myDirectory
Found 1 items
-rw-r--r-- 1 jujuf1 supergroup 13674 2019-04-24 22:15 /myDirectory/codes.odt
Du coup y a t-il d'autres choses à faire pour vérifier le bon fonctionnement de mon hadoop ? On peut s'en servir sans l'interface ?
Avec toutes ces manips, vous venez de valider la partie HDFS, c'est-à-dire stockage brut des données.
Maintenant, vous pouvez tester avec la partie Web NN UI, mais c'est pour le raffinement, pour la beauté de l'art, et pour voir si le protocole WebHDFS fonctionne ou pas.
A vous de voir.
Par contre, maintenant que vous avez du stockage, il vous faut un moteur de calcul distribué, comme MapReduce (lequel vous permettra de faire ensuite du Pig ou du Hive) ou comme Spark.
Mais n'oubliez pas que tous ces produits s'installent, et comme vous avez galéré avec la partie HDFS, les galères vont se poursuivre.
Maintenant, c'est courageux de votre part de vouloir installer les composants d'un cluster Hadoop un par un, en les téléchargeant depuis le site de la fondation Apache.
En règle général, on choisit plutôt une distribution Hadoop.
Pour ma part, il y a qq mois, je me suis créé 3 VM Linux et j'ai installé HDP 3.0, à savoir la distribution Hadoop version 3.0 fournie par l'éditeur Hortonworks.
Oui vous n’avez pas tort. En fait là surcouche logicielle ne me plaît guère mais je vais peut être passer sur votre stratégie car j’ai vraiment du mal ...
En tout cas vraiment merci pour votre patience et votre pédagogie.
Par contre une remarque générale à propos des vm Linux : je les trouve vraiment pas performantes çà rame (je ne suis pas trop limite côté ram car j’ai 32 go). J’utilise virtual box. Peut être que son concurrent fait mieux ?
32 Go, c'est super !
La virtualisation n'a jamais été faite pour les performances, mais pour les côtés :
- facilité de se créer des VMs à partir de templates,
- haute-disponibilité sur un cluster physique
- isolation des applications par répartition sur différentes VMs
- richesse des OS (le fait de pouvoir installer n'importe quel OS dans une VM)
- clonage des VMs
- sauvegarde par Snapshot
- surallocation de VMs, à savoir que l'on crée plus de VMs que le serveur ne peut en supporter en théorie. C'est comme le surbooking en avion où on vend plus de billets que de places réellement disponibles, en se disant qu'il y aura des absents et des retardataires qui vont louper leurs vols, tout cela pour maximiser le taux de remplissage de l'avion.
Avec les VMs, c'est pareil : on en crée plus que de raison en se disant que certaines VM roupilleront tandis que d'autres seront au taquet avec leur charge applicative, ce qui fait qu'en moyenne à un instant T, on s'en sort.
Faire de la virtualisation, c'est faire de l'émulation matérielle, à savoir partager les vraies ressources physiques de son serveur ou de son cluster entre différents serveurs virtuels.
Mais il n'y a pas que la RAM qui compte, il y a aussi le nombre de coeurs et surtout les I/O (les accès disque).
Les VM pêchent justement sur ce point, et sur le fait qu'elles n'ont jamais été douées pour le direct I/O.
J'oubliais aussi le plus important : si vous créez plusieurs VM pour un cluster, tout dépend du nombre de disque que vous avez, et si ce sont des disques durs ou bien des SSD.
Créer 3 VM et les stocker sur un unique disque dur SATA à 7.200 tours / minute, ce n'est pas la même que les stocker sur 3 disques durs (1 VM par disque).
Et si c'est du SSD, c'est encore mieux.
Dernier point lorsque l'on crée le disque virtuel d'une VM sur un disque dur : si vous choisissez une allocation dynamique, ce peut être très pénalisant, car le disque virtuel va s'agrandir au fur et à mesure de son remplissage dans la VM. Le fichier disque va donc être très fragmenté.
Moi j'ai eu de meilleurs temps de réponse en créant un disque de taille fixe de 100 Go par exemple, d'un seul coup.
Très intéressant !
Je vais essayer de faire comme vous.
En ce moment j’ai peu de place sur mes disques dur. À combien je peux descendre en terme de taille si je veux faire comme vous : 3VM ? Sachant que je veux analyser un fichier Excel de 80 mo (je sais ce n’est pas adapté au big data).
Mon processeur est un 9700k (8 cœurs physiques sans hyperthreading).
Enfin, un disque dur sshd est-il un bon compromis (j’en ai 2) + 1 ssd de 128 go, sans compter le ssd du système hôte.
D’avance, merci :)
Vouloir se monter un cluster, c'est aussi du boulot.
A titre d'exemple, voici la documentation de 70 pages d'Hortonworks pour se monter un cluster :
https://docs.hortonworks.com/HDPDocu...stallation.pdf
Je ne suis pas du tout sur que vous allez tout comprendre. Aussi je vous fais un résumé à très grosse maille.
1) En premier, il vous faut un cluster, c'est-à-dire un ensemble de VM Linux avec tous les prérequis logiciels indiqués dans la documentation.
Vous avez décidé d'avoir 3 VMs. L'erreur à ne pas commettre serait de se créer 3 VMs distinctes, ce qui demanderait beaucoup de boulot.
A la place, il faut se créer proprement une première VM avec tout ce qui va bien dessus. Une fois que l'on a cette VM, on l'arrête et on clone cette VM pour en avoir 2 autres.
Bien entendu, chaque VM a sa carte réseau virtuelle avec son adresse MAC, son adresse IP et son nom de machine qui lui sont propres.
Aussi pour chacun des clones, il faut affecter une nouvelle adresse MAC, ainsi qu'une nouvelle IP et un nouveau nom.
Il faut aussi mettre à jour son serveur DNS, ou bien le fichier "host" local à chaque VM.
2) Une fois que vous avez vos 3 VM, il va falloir en choisir une, et une seule, pour installer le serveur Ambari. Un serveur Ambari n'est qu'un serveur Web qui va servir de console d'administration de votre cluster.
Attention, ce serveur Web réclame de disposer d'une base de données relationnelle. A vous d'installer donc en local sur cette VM (ou pourquoi pas à distance sur votre serveur Ubuntu) une base de données Oracle ou PostgreSQL ou MySQL ou MariaDB. Utilisez la base de données avec laquelle vous êtes le plus à l'aise.
Autre point : la console Ambari va se charger de créer votre cluster Hadoop, en installant la partie HDP (Hortonworks Data Platform).
Votre rôle se limitera à :
- choisir les composants que vous voulez utiliser. Par exemple vous allez installer les services de base comme HDFS, MapReduce, Hive, Spark mais sans vouloir installer HBase, Atlas, ou Druid.
- pour certains composants, vous allez décider sur quelles VM les installer. Par exemple sur quel serveur allez-vous installer le serveur Oozie ou bien le serveur Hiveserver2 ?
Une fois fait, le serveur Ambari se chargera de télécharger HDP, de l'installer sur les VMs, de configurer tout cela et de démarrer tout ce qui va bien.
Mais pour cela, il faut que la VM que vous avez choisi et sur laquelle tourne le serveur Web Ambari puisse copier des fichiers sur les autres VMs via l'utilitaire scp, et aussi exécuter des scripts à distance via l'utilitaire ssh.
Et comme ces utilitaires se connectent de manière sécurisée avec normalement le mot de passe du compte root, vous allez mettre en place le SSH password-less, à l'aide d'un couple clé publique / clé privée.
Comme vous pouvez le constater, c'est du boulot.
3) Pour finir, je reviens sur le point 1) où je vous disais qu'il fallait se créer proprement une première VM avant de la cloner autant de fois que l'on veut de VMs supplémentaires sur son cluster.
Alors se créer une VM propre veut dire :
- choisir une distribution Linux avec laquelle on est à l'aise : RHEL, CentOS, Oracle, Ubuntu, Debian, Suse...
- installer les packages Linux de base comme demandé dans la doc
- gérer qq paramètres du noyau Linux comme le nombre maximal de fichiers pouvant être ouvert, ou le nombre maximal de process autorisés
- créer pour chaque service que l'on veut installer (HDFS, MapReduce, Hive, Spark...) les users et les groupes Linux qui vont bien
- mettre en place le service de temps NTP pour que chaque VM ait la même heure
- gérer la configuration réseau ainsi que le fichier Host (ou son serveur DNS si on en a un)
- désactiver le firewall (service iptables ou firewalld)
- désactiver la sécurité Linux (SElinux)
- gérer l'umask pour les permissions par défaut sur les fichiers et répertoires
Comme vous pouvez le comprendre, cela demande des compétences Linux.
Pour finir, si vous vous lancez, je vous conseille 3 VMs ayant chacune 2 coeurs et 8 Go de RAM, avec un disque d'au moins 60 Go (100 Go de disque par VM serait mieux si vous le pouvez).
Répartissez ces 3 fichiers sur 3 disques, suivant la place qu'il vous reste.
Sinon selon moi, un SSHD ne servira à rien.
Car un SSHD, c'est un mélange :
- d'un gros disque dur de 500 Go, 1, 2 ou 4 To
- d'un SSD, souvent de 8 Go, sur lequel le contrôleur disque va placer les fichiers de petites tailles et qui sont souvent accéder, pour bénéficier de la rapidité du SSD.
Or rien que pour une VM qui possède un fichier disque de 50 Go, ben 50 Go ça ne rentre pas dans les 8 Go du SSD.
En fait, la partie SSD de vos SSHD ne peut servir que pour les petits fichiers de votre serveur physique qui tourne sous Ubuntu, mais pas pour vos VMs.
Merci beaucoup !
En fait je suis étonné car je pensais pouvoir installer une distribution prête à être utilisée. J’avais d’ailleurs déjà fait l’essai et Ambari était déjà installé. Je me demande si on parle de la même chose ?
Mais que voulez-vous faire ? Parce que je ne saisis pas trop votre démarche.
Au départ, vous avez commencé par directement installer, sur votre machine et sous Ubuntu, Hadoop en le téléchargeant depuis le site de la fondation Apache.
Puis devant les difficultés rencontrées, je vous ai fait part de ma propre installation de la distribution Hortonworks sur un cluster de 3 VMs.
Vous m'avez alors dit que c'était cela que vous vouliez faire.
Sachez que c'est l'installation la plus compliquée, que l'on appelle le "Fully distributed cluster", parce que Hadoop tourne sur plusieurs machines.
Et ce matin, vous me parlez d'une distribution prête à l'emploi. C'est effectivement ce qu'on appelle la "Quick start VM", une VM que l'on télécharge depuis le site de l'éditeur, et qu'il suffit d'installer sous Virtualbox par exemple.
Il n'y a plus qu'à démarrer la VM, et on peut alors tout de suite utiliser les composants d'Hadoop. Par exemple, vous pouvez downloader via Ambari votre fichier Excel de 80 Mo, et l'exploiter avec des requêtes Hive, ou bien avec un Dataframe sur Spark.
Du coup, plus besoin d'installer quoi que ce soit. Mais là, vous avec un cluster du type "Pseudo-distributed". En clair, Hadoop tourne dans votre VM, et vous ne pouvez pas rajouter d'autres VMs.
Du coup, plus besoin de 3 VMs !
Bonjour,
Je pensais que vous évoquiez la solution toute prête en fait. Devant les difficultés, effectivement je me résous à l'utiliser, et donc tant pis pour les 3VM (je pensais que la distribution toute prête le permettait).
Ma priorité reste effectivement de faire du Hadoop et d'exploiter mon fichier Excel. C'est sûr que j'aurais bien voulu maîtriser la partie installation de Hadoop mais bon… néanmoins je garde vos conseils dans un coin de la tête pour plus tard, lorsque j'aurais plus de temps pour tenter une installation "compliquée".
Merci encore. J'espère grâce au tuto pouvoir bientôt faire des requêtes sur ma base.
Il s'agit de faire des requêtes sur un champs "observations" qui contient du texte, à partir de mots clés pour classer ces observations. J'ai fait l'exercice sur Excel et je me demande à quel point le Hadoop, de part son écosystème me permettra de gagner soit en temps, soit en qualité.
Je verrai à l'usage et je suis conscient que la mise de départ en terme de travail est importante.
Bien à vous.
Ok, en fait vous voulez donc faire de la Data Science. Car traiter du texte, c'est du NLP (Natural language Processing), et faire de la classification fait appel aux algorithmes que l'on étudie dans le cadre de la Data Science. Dans le cas de la classification, je crois que l'on utilise l'algorithme de Clustering. Mais ce n'est pas mon domaine d'expertise.Citation:
Il s'agit de faire des requêtes sur un champs "observations" qui contient du texte, à partir de mots clés pour classer ces observations.
Pour faire cela, les Data Scientists conaissent les maths, les langages Python et R, tous les algortihmes de Data Science et parfois de Machine Learning.
Sans compter l'outillage qui vient avec : intepréteur Python, environnements virtuels, IDE (environnement de développement) comme Pycharm ou Rstudio, sans compter les nombreuses librairies à connaître : Numpy, Scipy, Scikit learn, Panda, Bokeh, Rshiny....
Les data Scientists travaillent soit sur leurs PC avec des IDE, soit dans leur Browser Internet en utilisant des Notebook Jupyter. Dans le 2 cas, le calcul n'est pas distribué, mais se fait sur une seule et même machine (son PC pour les IDE, ou un serveur distant pour les Notebook).
Et c'est là, lorsque l'on a besoin d'une puissance de calcul phénoménale, que l'on utilise un cluster Hadoop. Et le passage de l'un à l'autre n'est pas simple.
Vous venez de mettre le doigt dans un environnement passionant, mais ô combien vaste, trop vaste, et qui nécessite de vraiement s'accrocher au début pour comprendre tout cela.
Je crois que vous avez parfaitement résumé la chose.
Mon but est de monter en compétences sur le sujet … on verra jusqu'où…;)
Merci pour les indications données, notamment le type d'algorithme à viser.