IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Hadoop & co Discussion :

achat matériel pour bigdata


Sujet :

Hadoop & co

  1. #1
    Membre à l'essai
    Profil pro
    Inscrit en
    Octobre 2009
    Messages
    28
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Octobre 2009
    Messages : 28
    Points : 23
    Points
    23
    Par défaut achat matériel pour bigdata
    Bonjour,
    je souhaite me mettre à bigdata et je souhaite acheter un ordi portable pour installer le VM d'hadoop.
    est ce que les coeurs dans un processeur est important ?
    j'ai vu un DELL
    Disque SSD 512 Go
    16 Go de mémoire DDR4 monocanale à 2 400 MHz (1 x 16 Go)
    Processeur Intel® Core™ i7-7500U de 7e génération (4 Mo de mémoire cache, jusqu‘à 3,5 GHz)
    ça suffit à votre avis ?
    merci

  2. #2
    Modérateur
    Avatar de DotNetMatt
    Homme Profil pro
    CTO
    Inscrit en
    Février 2010
    Messages
    3 611
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 36
    Localisation : Etats-Unis

    Informations professionnelles :
    Activité : CTO
    Secteur : Finance

    Informations forums :
    Inscription : Février 2010
    Messages : 3 611
    Points : 9 743
    Points
    9 743
    Billets dans le blog
    3
    Par défaut
    Citation Envoyé par aba_dana Voir le message
    ça suffit à votre avis ?
    On ne connait rien de ton projet !

    En general pour Hadoop il faut un cluster de serveurs et non une seule machine. Chacune des machines ayant un role precis. Et en general on utilise de vrais serveurs, pas des PC portables. La config semble tres petite.

    Les scenarios ou le CPU est important sont :
    - Classification/clustering
    - Analyse complexe de texte (mining)
    - NLP (Natural Language Processing)
    - Extraction de feature
    - etc.

    Il y a d'autres scenarios ou les I/O seront plus importants...
    Less Is More
    Pensez à utiliser les boutons , et les balises code
    Desole pour l'absence d'accents, clavier US oblige
    Celui qui pense qu'un professionnel coute cher n'a aucune idee de ce que peut lui couter un incompetent.

  3. #3
    Expert Oracle confirmé

    Homme Profil pro
    Consultant Big Data
    Inscrit en
    Mars 2003
    Messages
    448
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Consultant Big Data
    Secteur : Conseil

    Informations forums :
    Inscription : Mars 2003
    Messages : 448
    Points : 926
    Points
    926
    Par défaut
    Bonjour,

    Comme disait DotNetMatt, on ne sait pas trop ce que tu veux faire.

    Est-ce que tu veux juste installer une VM Big Data que tu vas télécharger depuis un site d'éditeur comme Cloidera, HortonWorks ou MapR ?

    Ou bien est-ce que tu comptes te monter un cluster Hadoop ou Spark par exemple, en utilisant qq VM ?

    De toute façon, ton budget est limité, et pour moi, il faut aussi faire attention à l'évolutivité de ton PC, surtout que tu souhaites acheter un portable, et non pas un PC de bureau, ce qui va fortement limité son évolutivité.

    Côté CPU, à moins d'être riche, tu devras te contenter d'un processeur à 4 coeurs physiques.

    Côté disque, un seul SSD de 512 Go me semble juste. Car ce SSD va accueillir l'OS et des applications, et un disque, ça se remplit vite.

    Je me demande si il ne serait pas mieux de prévoir d'emblée un second disque dur de qq To, surtout si tu veux héberger d'autres VM.

    Côté RAM, 16 Go pour moi est le minimum. Pendant 6 mois, j'ai suivi un MOOC en utilisant une VM Cloudera sur mon vieux PC qui a 16 Go de RAM, et j'en avais affecté 8 Go à la VM, ce qui est un minimum.

    Avec 32 Go, pour moi tu seras à l'aise. Mais le plus important, c'est de voir de combien de slots dispose ce portable : 2 ? 4 ?

    A priori, il est livré avec 1 barrette de 16 Go, c'est bien cela ? Cela m'étonne un peu, car souvent les constructeurs remplissent tous les slots. Pour un total de 16 Go, ils te mettent 2 barrettes de 8 Go si il y a 2 slots, et 4 barrettes de 4 Go si il y en a 4.

    Du coup, tu es obligé de racheter toutes les barrettes si tu veux upgrader.


    Pour moi, le PC de mes rêves pour faire du Big Data serait :
    - 1 gros SSD de 1 To pour l'OS et les applis
    - 6 disques dur de 4 To chacun pour se faire un cluster, chaque disque supportant une VM pour distribuer les IO
    - 1 processeur 6 coeurs, voir 8 pour avoir un coeur par disque
    - 128 Go de RAM

    Mais bon, là je dois atteindre le PC à 4000 euros !!!

  4. #4
    Expert Oracle confirmé

    Homme Profil pro
    Consultant Big Data
    Inscrit en
    Mars 2003
    Messages
    448
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Consultant Big Data
    Secteur : Conseil

    Informations forums :
    Inscription : Mars 2003
    Messages : 448
    Points : 926
    Points
    926
    Par défaut
    Une dernière chose à voir, c'est le nombre de ports USB sur le portable, leur type et leur débit. Attention aux appellations marketing, avec leur dénomination USB 3.1 Gen1 ou Gen2.

    La première va jusqu'à 5 Gb/s, tandis que la seconde va jusqu'à 10 Gb/s.

    En tout cas, des ports USB te permettraient de connecter des disques durs externes supplémentaires, afin d'y créer des VM, pour faire des tests.

    Je sors du contexte Big Data, mais je me souviens d'un ingénieur Microsoft qui, pour faire des démos sur Always On (un cluster d'instances SQL Server pour faire de la haute disponibilité) avait connecté 3 disques durs externes à son portable pour avoir plusieurs VM Windows Server, et aussi distribuer les IO sur les différents disques.

    Bien entendu, il faut que la RAM du PC suive pour pouvoir démarrer les VM. Quant à la puissance du CPU, on fait avec ce que l'on a.

  5. #5
    Membre à l'essai
    Profil pro
    Inscrit en
    Octobre 2009
    Messages
    28
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Octobre 2009
    Messages : 28
    Points : 23
    Points
    23
    Par défaut
    Merci Gilles.
    c'est pour une VM Big Data.
    cordialement.

  6. #6
    Membre éprouvé

    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    Novembre 2012
    Messages
    28
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur décisionnel
    Secteur : Industrie

    Informations forums :
    Inscription : Novembre 2012
    Messages : 28
    Points : 999
    Points
    999
    Par défaut C'est suffisant pour une VM Hadoop
    Bonjour,
    pour apprendre Hadoop et démarrer une machine virtuelle de l'une des distributions Hadoop, moi je trouve que ta configuration est largement suffisante !

    C'est un bon achat que tu as effectué
    Mes cours et tutoriels bases de données et Hadoop : https://juvenal-chokogoue.developpez.com

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Base de donnée matériel pour linux
    Par joker vb dans le forum Matériel
    Réponses: 9
    Dernier message: 25/09/2006, 16h59
  2. Quel matériel pour JTAPI
    Par phpmad dans le forum API standards et tierces
    Réponses: 1
    Dernier message: 13/07/2006, 12h23
  3. [Conseil]Firewall matériel pour serveur web
    Par Junior_jef dans le forum Périphériques
    Réponses: 11
    Dernier message: 21/04/2006, 17h10
  4. Réponses: 1
    Dernier message: 22/03/2005, 15h28
  5. Evaluation du matériel pour une bdd env. 100 millions lignes
    Par Pierrinot dans le forum SQL Procédural
    Réponses: 3
    Dernier message: 03/11/2004, 12h29

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo