Version imprimable
Bonjour,
je souhaite me mettre à bigdata et je souhaite acheter un ordi portable pour installer le VM d'hadoop.
est ce que les coeurs dans un processeur est important ?
j'ai vu un DELL
Disque SSD 512 Go
16 Go de mémoire DDR4 monocanale à 2 400 MHz (1 x 16 Go)
Processeur Intel® Core™ i7-7500U de 7e génération (4 Mo de mémoire cache, jusqu‘à 3,5 GHz)
ça suffit à votre avis ?
merci
On ne connait rien de ton projet !Citation:
Envoyé par aba_dana
En general pour Hadoop il faut un cluster de serveurs et non une seule machine. Chacune des machines ayant un role precis. Et en general on utilise de vrais serveurs, pas des PC portables. La config semble tres petite.
Les scenarios ou le CPU est important sont :
- Classification/clustering
- Analyse complexe de texte (mining)
- NLP (Natural Language Processing)
- Extraction de feature
- etc.
Il y a d'autres scenarios ou les I/O seront plus importants...
Bonjour,
Comme disait DotNetMatt, on ne sait pas trop ce que tu veux faire.
Est-ce que tu veux juste installer une VM Big Data que tu vas télécharger depuis un site d'éditeur comme Cloidera, HortonWorks ou MapR ?
Ou bien est-ce que tu comptes te monter un cluster Hadoop ou Spark par exemple, en utilisant qq VM ?
De toute façon, ton budget est limité, et pour moi, il faut aussi faire attention à l'évolutivité de ton PC, surtout que tu souhaites acheter un portable, et non pas un PC de bureau, ce qui va fortement limité son évolutivité.
Côté CPU, à moins d'être riche, tu devras te contenter d'un processeur à 4 coeurs physiques.
Côté disque, un seul SSD de 512 Go me semble juste. Car ce SSD va accueillir l'OS et des applications, et un disque, ça se remplit vite.
Je me demande si il ne serait pas mieux de prévoir d'emblée un second disque dur de qq To, surtout si tu veux héberger d'autres VM.
Côté RAM, 16 Go pour moi est le minimum. Pendant 6 mois, j'ai suivi un MOOC en utilisant une VM Cloudera sur mon vieux PC qui a 16 Go de RAM, et j'en avais affecté 8 Go à la VM, ce qui est un minimum.
Avec 32 Go, pour moi tu seras à l'aise. Mais le plus important, c'est de voir de combien de slots dispose ce portable : 2 ? 4 ?
A priori, il est livré avec 1 barrette de 16 Go, c'est bien cela ? Cela m'étonne un peu, car souvent les constructeurs remplissent tous les slots. Pour un total de 16 Go, ils te mettent 2 barrettes de 8 Go si il y a 2 slots, et 4 barrettes de 4 Go si il y en a 4.
Du coup, tu es obligé de racheter toutes les barrettes si tu veux upgrader.
Pour moi, le PC de mes rêves pour faire du Big Data serait :
- 1 gros SSD de 1 To pour l'OS et les applis
- 6 disques dur de 4 To chacun pour se faire un cluster, chaque disque supportant une VM pour distribuer les IO
- 1 processeur 6 coeurs, voir 8 pour avoir un coeur par disque
- 128 Go de RAM
Mais bon, là je dois atteindre le PC à 4000 euros !!!
Une dernière chose à voir, c'est le nombre de ports USB sur le portable, leur type et leur débit. Attention aux appellations marketing, avec leur dénomination USB 3.1 Gen1 ou Gen2.
La première va jusqu'à 5 Gb/s, tandis que la seconde va jusqu'à 10 Gb/s.
En tout cas, des ports USB te permettraient de connecter des disques durs externes supplémentaires, afin d'y créer des VM, pour faire des tests.
Je sors du contexte Big Data, mais je me souviens d'un ingénieur Microsoft qui, pour faire des démos sur Always On (un cluster d'instances SQL Server pour faire de la haute disponibilité) avait connecté 3 disques durs externes à son portable pour avoir plusieurs VM Windows Server, et aussi distribuer les IO sur les différents disques.
Bien entendu, il faut que la RAM du PC suive pour pouvoir démarrer les VM. Quant à la puissance du CPU, on fait avec ce que l'on a.
Merci Gilles.
c'est pour une VM Big Data.
cordialement.
Bonjour,
pour apprendre Hadoop et démarrer une machine virtuelle de l'une des distributions Hadoop, moi je trouve que ta configuration est largement suffisante !
C'est un bon achat que tu as effectué :D