Discussion :

[T3rm1nat0r]

Bonjour à tous,
Je suis actuellement en train de me familiariser avec le zfs (c'est un usage personnel pour l'instant pour m’accommoder aux commandes etc. des fois que j'aurai à le mettre en place en entreprise plus tard )
Voici ce que j'ai :
- 1 serveur maison
- 3 disques 3To
- 1 disque 40 Go

Je souhaite une VM Debian qui gèrera les partages (samba) et une VM Debian qui gèrera mon serveur Web

J'ai installé une Debian-Server sur mon disque de 40Go (sda)
Celui-ci gère le zfs et kvm.

J'ai créé un zpool avec mes 3 disques de 3To:
# zpool create poolRaidZ raidz sdb sdc sdd

J'ai segmenté ce pool en 2 disques virtuels :
# zfs create -V 100G poolRaidZ/vPoolKVM
//Monté sur mon Debian-Server, mes VMs seront stockés ici
# zfs create -V 4000G poolRaidZ/vPoolShare
//Monté sur mon Debian-Samba-Server ici sera placé le partage

J'obtiens donc :
/dev/zvol/poolRaidZ/vPoolKVM
/dev/zvol/poolRaidZ/vPoolShare

Si je veux mettre des données sur ces disques virtuels, impossible, normal, ce sont des peripheriques de type block. Il faut donc les monter :

(Je fais un test de montage à travers ma Debian-Server. Si ça marche, je la ferai à travers ma VM Debian-Samba)

# mount /dev/zvol/poolRaidZ/vPoolShare /mnt/vPoolShare/
mount: you must specify the filesystem type

# mount -t zfs /dev/zvol/poolRaidZ/vPoolShare vPoolShare/
filesystem '/dev/zd16' cannot be mounted, unable to open the dataset

Du coup j'essai de mettre un zfs filesystem sur mon vPoolShare avec :
# mkfs.zfs -q /dev/zvol/poolRaidZ/vPoolShare
bash: mkfs.zfs : commande introuvable

Qu'est-ce que je loupe? Qu'ai-je mal compris ?

Merci d'avance pour vos futures réponses...

[jlliagre]

Tu as crée deux volumes (zvol), l'un de 100 Go et l'autre de 4 To. Ces volumes sont ne contiennent rien, ce sont juste l'équivalent de partitions vides donc non montables.

Je n'ai pas trop d'expérience avec KVM alors je n'ai pas bien compris pourquoi tu souhaite monter ces volumes dans le système hôte. Puisqu'ils sont dédiés aux VMs, j'aurais installé les OS des VMs en leur donnant les volumes ZFS comme disques et laissé le soin aux OS cible de créer les systèmes de fichiers qu'ils veulent.

Si tu souhaites vraiment créer un système de fichier ZFS dans tes volumes, il faut commencer par créer un nouveau pool ZFS dans chacun des volumes.

[T3rm1nat0r]

Bonjour à toi jlliagre,
Merci pour cette clarification (et désolé pour ce temps de réponse, semaine assez chargée...)
Je pense avoir cerné le truc
J'ai donc actuellement lancé un :
# zpool create partage /dev/zvol/poolRaidZ/vPoolShare
Assez long apparemment car cela fait 15min 2/3heures qu'il tourne sans me rendre la main... Je crois qu'il a planté ou je n'sais quoi...

Autre question :
Pour rappel, j'ai besoin d'une partition de 100G pour mes VMs et le reste me servira pour mon partage
C'est pourquoi j'ai réalisé un #zfs create -V 4000
Ne peut-on pas directement créer une partition de type block comme je l'ai fait mais, au lieu de préciser la taille (ici 4000), dire qu'on prend tout le reste du pool pour faire le disque ?

J'ai cru comprendre qu'il ne fallait jamais remplir un pool à 100% (est-ce vrai?)
Peut-être est-ce pour cela qu'on est obligé de spécifier une taille ?

[jlliagre]

J'ai donc actuellement lancé un :
# zpool create partage /dev/zvol/poolRaidZ/vPoolShare
Assez long apparemment car cela fait 15min 2/3heures qu'il tourne sans me rendre la main... Je crois qu'il a planté ou je n'sais quoi...

Créer un pool, ça prend au maximum quelques secondes, créer un pool dans un zvol, c'est un peu tordu mais c'est supporté par ZFS. Là, tu es sûrement tombé sur ce bug de l'implémentation de ZFS sous Linux.

De toute façon, la manière logique d'opérer serait, comme je l'ai déjà écrit, de déléguer à l'OS guest la gestion de système de fichier si l'objectif est de donner ces 100 Go à un autre OS. Si par contre, c'est un système de fichier de 100 Go dont tu as besoin pour y mettre des images disques, ne crée pas un zvol mais un système de fichier avec réservation et quota de 100 Go.

Autre question :
Pour rappel, j'ai besoin d'une partition de 100G pour mes VMs et le reste me servira pour mon partage
C'est pourquoi j'ai réalisé un #zfs create -V 4000
Ne peut-on pas directement créer une partition de type block comme je l'ai fait mais, au lieu de préciser la taille (ici 4000), dire qu'on prend tout le reste du pool pour faire le disque ?

La taille d'un volume doit forcément être définie. Il n'est pas recommandé de s'approcher de la taille maximum restant disponible car tu ne pourra plus faire de snapshots et les perfs deviendront très mauvaises lorsque tu auras écrit tous les blocs de ton volume.

J'ai cru comprendre qu'il ne fallait jamais remplir un pool à 100% (est-ce vrai?)

C'est assez vrai. On recommande de laisser entre 10 et 20 % de libre pour permettre une optimisation de la localisation des données sur disque.

Peut-être est-ce pour cela qu'on est obligé de spécifier une taille ?

Non, on est obligé de spécifier une taille car sinon, le pool ne serait pas utilisable (comme un volume) par le système d'exploitation. Exactement comme une partition qui n'aurait pas de taille connue ne pourrait pas contenir de système de fichier.

Celà dit, peut-être que tu n'as pas non plus besoin d'un volume de 4 To pour ton partage, mais simplement d'un système de fichier partagé en NFS ou CIFS ou via KVM ... Dans ce cas, il n'y a pas besoin de préciser la taille et le système de fichier dispose de toute la taille restante.

Comment comptes-tu utiliser ces 4 To ?

[T3rm1nat0r]

Alors, si tu veux avant j'avais Nas4Free qui faisait serveur de fichier, web et partage... J'ai fait une connerie en installant mon serveur web en supprimant un fichier de conf php. Réinstallation complète nécessaire. Comme je voulais également tester la virtu avec de l'open source, j'ai voulu séparer les services sur différents OS, c'est pour ca que j'ai choisi KVM (exactement comme VirtualBox mais on peut gérer les machines en CLI). J'ai également voulu un OS de base sous linux (Debian) pour mon onduleur qui peut envoyer des arrêts automatique sur perte secteur (marche pas avec un ESXi). Voilà pour le pourquoi.
Pour le comment :
Un RaidZ de tous mes disques, diviser ce poolRaidZ en 2, une partie pour mettre mes VMs (là je suis d'accord, créer une partition n'est pas vraiment nécessaire, jvai mettre reserv et quota à 100Go, comme ça je pourrai l'agrandir si besoin plus tard)
Un zvol de 4000 Go pour mon partage. Pour tout t'avouer, c'est plus pour essayer et comprendre pourquoi ca marche pas que j'essai de mettre un pool sur mon zvol...
Au final je pense faire comme ceci :
poolRaidZ -> poolKVM avec quota+reservation (100Go) -> Mes VMs
-----------> zvol vPoolShare (4000Go voir 5000) -> sera monté dans ma VM en tant que disque dur type block

Ensuite, dans la VM, j'aurai donc un premier disque où sera installé l'OS + un disque de 4000 Go celui-ci soit je le formate en ext3 directement pour le partager sur le reseau (je vais voir si je fais ca avec samba ou autres, tous les clients accédant à ce partage devraient être sous windows)
soit, dans ma VM, je fais un raid 0, j'ajoute le disque de 4000Go à ce raid 0 et je met le partage sur le raid 0
En effet, il y a de fortes chances que le besoin de place pour le partage augmente, du coup j'ajouterai un disque de 3To à mon poolRaidZ, que je transformerai en zvol, et que j'intégrerai dans ma VM. Grace au Raid 0 je pense que je pourrai alors ajouter le disque de 3To à mes 4To actuels et ainsi augmenter la taille du partage. Ce ne serap as du Raid zfs car consommant trop, mais mdadm ou autres...
Je n'ai pas encore fait mes recherches sur samba. Si il ne peut être ajouté que sur un disque je ferai du raid 0, si on peut spécifier plusieurs disques (plusieurs points de montage) alors je ne ferai pas de raid 0...


Vois-tu l'idée?

EDIT : Question subsidiaire qui n'a rien avoir avec mon infra : Un Root pool ca sert à quoi et dans quel cas l'utiliser?

[jlliagre]

Comme je voulais également tester la virtu avec de l'open source, j'ai voulu séparer les services sur différents OS, c'est pour ca que j'ai choisi KVM (exactement comme VirtualBox mais on peut gérer les machines en CLI).

Je n'ai rien contre KVM mais VirtualBox est aussi open source et on peut tout gérer en CLI.

Pour tout t'avouer, c'est plus pour essayer et comprendre pourquoi ca marche pas que j'essai de mettre un pool sur mon zvol...

Qu'est-ce qui ne marche pas, en dehors justement de mettre un zpool dans zvol (sur Linux) ?

soit, dans ma VM, je fais un raid 0, j'ajoute le disque de 4000Go à ce raid 0 et je met le partage sur le raid 0
En effet, il y a de fortes chances que le besoin de place pour le partage augmente, du coup j'ajouterai un disque de 3To à mon poolRaidZ, que je transformerai en zvol, et que j'intégrerai dans ma VM. Grace au Raid 0 je pense que je pourrai alors ajouter le disque de 3To à mes 4To actuels et ainsi augmenter la taille du partage. Ce ne serap as du Raid zfs car consommant trop, mais mdadm ou autres...

Ce serait une configuration tordue.

• Soit tu souhaites de la redondance et la sécurité des données qui va avec et tu ajoute un deuxième RAIDZ à ton premier (+3 disques) ou tu remplace les trois disques par des disques plus grands
• Soit tu veux une config économique et tu fais directement de la concaténation dès le début (pool avec 4 disques puis ajout d'un nouveau disque). Si seulement une partie des données est critique, tu peux toujours les mettre dans un système de fichier avec "copies=2"

Ca n'a pas de sens d'ajouter un disque simple en raid0 à une config en raidz.

[T3rm1nat0r]

Qu'est-ce qui ne marche pas, en dehors justement de mettre un zpool dans zvol (sur Linux) ?

Rien, seul ceci pose problème actuellement

tu remplace les trois disques par des disques plus grands

impossible, beaucoup trop cher

Soit tu veux une config économique et tu fais directement de la concaténation dès le début (pool avec 4 disques puis ajout d'un nouveau disque). Si seulement une partie des données est critique, tu peux toujours les mettre dans un système de fichier avec "copies=2"

Là, j'ai pas trop compris...

De façon plus "simple", est-ce que ceci est possible :
Je garde mon poolRaidZ de mes 3 disques de 3To (ca c'est bon)
J'en attribue une partie pour mes VM (ca c'est bon)
Je créé un zvol de 4To (ca c'est bon)
J'ajoute ce zvol dans ma VM (ca, normalement ca pose pas de soucis)
je fais mon partage_reseau sur ce disque (ca c'est bon)
ET, si besoin est,
j'ajoute un disque de 3To à mon poolRaidZ (ca, c'est possible si j'ai bien compris)
je créé un nouveau zvol de 3To que j'ajoute dans ma VM (ca c'est bon)
j'étends mon partage_reseau sur le deuxième disque sans aucun raid (ca, ca doit etre possible)

[jlliagre]

ET, si besoin est,
j'ajoute un disque de 3To à mon poolRaidZ (ca, c'est possible si j'ai bien compris)

Non, ce n'est pas possible. On ne peut pas rajouter de disque à un raidz.
Il faut faire un backup du raidz, détruire et reconstruire le pool et restaurer le backup.

Sinon, on peut bien rajouter un disque au pool mais du coup, ce n'est plus du raidz, c'est une combinaison batarde de raidz et de concaténation. Il n'y a plus de redondance (si on perd ce disque, on pert tout le pool). Pas recommandé du tout non plus en terme de performances car les E/S ne seront pas équilibrées.

[T3rm1nat0r]

Sinon, on peut bien rajouter un disque au pool mais du coup, ce n'est plus du raidz, c'est une combinaison batarde de raidz et de concaténation. Il n'y a plus de redondance (si on perd ce disque, on pert tout le pool). Pas recommandé du tout non plus en terme de performances car les E/S ne seront pas équilibrées.

http://www.unixgarden.com/index.php/...-raidz-au-pool

http://docs.oracle.com/cd/E24843_01/...yrd.html#gazgw

C'est ce que ces deux liens disent ?

Merdouille... On m'avait assuré pouvoir rajouté un disque comme ça à un RaidZ... C'est vraiment dommage du coup, niveau évolutivité je l'ai dans l'baba..

[jlliagre]

C'est ce que ces deux liens disent ?

Aucun de ces liens ne dit que l'on peut étendre un raidz en y ajoutant un disque.
L'exemple donné dans le premier est l'extension d'un pool composé d'un raidz par l'ajout d'un autre raidz, ce qui est justement l'une des deux méthodes que j'ai proposé dans ma première réponse..

On m'avait assuré pouvoir rajouté un disque comme ça à un RaidZ...

Ben non ...

C'est vraiment dommage du coup, niveau évolutivité je l'ai dans l'baba..

Tu ne fais pas de backups ?

[T3rm1nat0r]

ce qui est justement l'une des deux méthodes que j'ai proposé dans ma première réponse..

C'est bien ce que j'avais compris du coup

N'y a t'il aucun autre moyen (me rabattre sur le raid 5 ? :/) pour pouvoir ajouter des disques par la suite?
C'est quelque chose d'important pour moi car je risque d'avoir vite besoin de place et je peux pas me permettre de tout refaire à chaque fois...

[jlliagre]

L'idéal est de travailler avec une concaténation de miroirs. Tu peux augmenter la taille du pool en rajoutant deux disques à chaque fois, le système supporte la panne de plusieurs disques à la fois et c'est la solution la plus rapide.

Si une partie des données n'a pas besoin de redondance, tu peux aussi créer deux pools, un avec redondance (miroirs) et un autre sans (raid 0)

[T3rm1nat0r]

Par concaténation des miroirs tu veux dire Raid 0+1?
raid0a
--disk 1 3To
--disk 2 3To
raid0b
--disk 3 3To
--disk 4 3To

raid1 de raid0a + raid0b ?
Et on peut faire ca en ZFS?

[jlliagre]

Bien sûr, c'est même l'exemple d'augmentation de pool présenté par le lien que tu as posté (doc Oracle ZFS).

[T3rm1nat0r]

Bon... Après une bonne nuit et un peu de réflexion, voici ce qui en ressort :
Trois cas se présentent à moi :
Note : Ma Carte Mère possède 6 ports SATA (+ 2 ports IDE) et mon boitier serveur a de la place pour 7 disques. Je n'aurai donc pas à changer de materiel pour ces différentes implémentations :

// Possibilité 1
Actuellement :

• RaidZ de 3*3TO
• 3 disques -> 6To utilisables, 3To non-utilisables

Evolutivité :

• 2nd RaidZ de 3TO
• 6 disques : 12To utilisables, 6To non-utilisables

Avantage :
6To d'utilisables dès maintenant
Aucune reconstruction complète pour le faire évoluer

// Possibilité 2
Actuellement :

• Raid 1+0 de 4*3TO
• 4 disques -> 6To utilisables, 6To non-utilisables

Evolutivité :

• Ajout de 2 disques en Raid1 au sein du Raid 0 déjà mis en place
• 6 disques -> 9To utilisables, 9To non-utilisables

Avantages :
Plus rapide en lecture/écriture
Aucune reconstruction complète pour le faire évoluer
Inconvéniants :
Besoin d'un nouveau disque dur dès maintenant pour le même espace
Espace final moins important

// Possibilité 3
Actuellement :

• RaidZ de 3*3TO
• 3 disques -> 6To utilisables, 3To non-utilisables

Evolutivité :

• Reconstruction totale du Raid en ajoutant 3*3TO
• 6 disques : 15To utilisables, 3To non-utilisables

Avantage :
6To d'utilisables dès maintenant
15To d'utilisables au final
Inconvéniants :
Reconstruction complète pour le faire évoluer

Conclusion :
Je pense garder un raidZ :
1- Je n'ai pas à acheter un nouveau disque
2- Je n'ai pas besoin de vitesse de transfert élevée (enfin ca, je verrai avec ce que j'obtiens en perf, si j'ai même pas 1Mo/s, peut-être me tournerai-je vers le 1+0...)
3- Ca ne me dérange pas d'acheter 3 disques d'un coup
4- Ces disques seront achetés plus tard qu'en cas de 1+0 donc baisse de prix
5- Peut être aurai-je accès à un moyen de faire une copie de mes données et finalement de tout reconstruire sur un unique raidZ de 6 disques

Si tu vois des avantages/inconvéniants que je n'aurai pas vu, ou encore des mauvaises compréhensions de ma part, je mettrai à jour ce post

[jlliagre]

Ca me parait bien, juste une petite erreur, un raidz de 6 disques de 3 To, ça fait 15To utiles.

[T3rm1nat0r]

Ca me parait bien, juste une petite erreur, un raidz de 6 disques de 3 To, ça fait 15To utiles.

Ok J'ai mis à jour

Merci beaucoup pour toutes ces explications !

[T3rm1nat0r]

Quelque chose de bizarre...
J'ai mon RaidZ de 3*3To = 9To donc 6To utilisables.
poolRaidZ fait donc 6To
dans celui-ci j'ai une partition zfs de 100Go (quota + reservation)
je suis donc sur que celle ci fais 100Go

toujours dans poolRaidZ j'ai fais un vPoolShare
# zfs create -V 4000G poolRaidZ/vPoolShare
il est donc censé me creer un peripherique de type block de 4000Go (à une centaine de Go près)
sauf que je l'ai monté dans ma VM sous KVM, je l'ai formatée en ext3 (pour la partager sur le reseau plus tard avec samba) et mon disque ne fait plus que... 2To !
D'où cela peut-il venir?
les commandes zfs/zpool concernant la place available/used/free je les trouves assez confuses... j'ai l'impression qu'il ne me donne jamais la valeur exacte, il me met par exemple 8,2To pour mon poolRaidZ (il prend en compte les 3 disques et non pas seulement 2...)

[jlliagre]

sauf que je l'ai monté dans ma VM sous KVM, je l'ai formatée en ext3 (pour la partager sur le reseau plus tard avec samba) et mon disque ne fait plus que... 2To !
D'où cela peut-il venir?

D'une limitation d'ext3 ?
La taille maximum d'un système de fichier ext3 créé avec des blocs de 1 ko est justement de 2 To. C'est peut-être tout bêtement çà.

[T3rm1nat0r]

Ah ouai....
Tu me conseilles quoi ? Partir sur du ext4 pour le coup ? du ntfs ? Ou diviser en plusieurs disques de 1To au lieu d'un seul de 4To ?