Questions sur NFS

[asm76]

Bonjour,

J'ai actuellement des soucis de lenteur sur des commandes de type "cp", "ls", "vi" sur un petit calculateur.

Pour simplifier, on peut resumer le calculateur a :
- une frontale qui sert de serveur NFS
elle permet d'acceder aux repertoires /home (montes en xfs)
- plusieurs noeuds de calcul. Chacun
a acces aux repertoires /home via NFS
et dispose d'un espace de calcul local /scratch (monte en xfs)

Mon probleme est le suivant :
- connectee sur la frontale, je fais par exemple une copie d'un fichier de 1.8 Gigas situe sur le repertoire /home dans le repertoire /home.
Je constate des variations du temps reel de copie entre 4s et plus de 1 minute (ie "time cp /home/mon_fichier /home/ma_copie" retourne un real time qui varie entre 3s et 1 minute, un cpu time preque nul et un sys time de 4s)
- connectee sur le noeud de calcul, je fais la meme chose ds le scratch
(ie "time cp /scratch/mon_fichier /scratch/ma_copie"). Je constate la meme chose.

Est-il bien juste de dire que dans les 2 cas les copies sont locales et qu'elles ne doivent pas faire travailler le serveur NFS ? Des lenteurs du serveur NFS pourraient-elles expliquer ces ralentissements sur les temps de copie (idem sur les "ls", "vi" etc), en particulier dans le second cas ou la copie a lieu localement sur un noeud qui n'est pas le serveur NFS mais qui monte les repertoires /home via NFS ?


Merci pour votre aide.

[jlliagre]

Je n'ai pas tout compris à ton architecture et tes tests mais certains de tes chiffres sont irréalistes, à moins que tu ait une baie de disque RAID extrèmement performante et un réseau de compétition.

Copier 1.8 Go en 3 secondes, c'est avoir un débit d'écriture disque de 644 Mo/s alors que les meilleurs disques sur le marché (15000 tours/mn) affichent 110 Mo/s et un disque standard est plutot autour de 50 Mo/s..

Je pense plutot que ta configuration de NFS ou du filesystem te fait croire que la copie est terminée alors que tout est encore dans de la mémoire tampon. Commence par regarder les option de montage NFS, si tu as un async quelque part, c'est un début d'explication.

Je ne sais pas si sur ton frontal les répertoire /home sont aussi montés en NFS ou si c'est directement du XFS. Dans ce dernier cas, il faut voir au niveau de ce filesystem ou de l'O/S pour vider les caches avant de mesurer le temps effectif de la copie.

Pour répondre à ta question sur la copie locale, si tu fais un "cp" sur une machine distante via NFS, il n'y a pas d'optimisation à ma connaissance donc le contenu des fichiers va transiter deux fois sur le réseau. Ici aussi, un temps de 3 secondes correspond à un peu plus de 5 Gigabits/s qui est bien au dessus de ce qui se rencontre habituellement ...

[asm76]

Envoyé par jlliagre

Je n'ai pas tout compris à ton architecture et tes tests mais certains de tes chiffres sont irréalistes, à moins que tu ait une baie de disque RAID extrèmement performante et un réseau de compétition.

Copier 1.8 Go en 3 secondes, c'est avoir un débit d'écriture disque de 644 Mo/s alors que les meilleurs disques sur le marché (15000 tours/mn) affichent 110 Mo/s et un disque standard est plutot autour de 50 Mo/s..

Merci pour toutes tes remarques !

Je n'y connais rien du tout en réseau ... !!

Pour préciser la baie de disque est en RAID5 et les connections sont du type fiber channel et certaines connections sont redondantes.
Je viens de regarder sur la doc de la baie de disque et je vois
"Peak performance up to 400 MB per second" ... donc une copie d'un fichier de 1.8Giga en un petit plus de 4s ce n'est pas si irréaliste ?

Tu as raison, peut etre que le filesystem me fait croire que la copie est terminée alors que tout est dans la mémoire tampon. Quoiqu'il en soit le temps que je mesure représente toujours la même chose je suppose (le temps de copie ds la memoire tampon ou sur le disque) et ce qui m'interesse c'est surtout de comprendre pourquoi ce temps passe de 4s a 1min régulièrement.

Ce qui m'interesse deja de savoir c'est si des lenteurs de NFS sont en cause. C'est pour ça que je fais des tests dans differents espaces disques montes ou non par NFS.

Si NFS n'est pas en cause, je chercherai du cote de la baie de disque.

[jlliagre]

Envoyé par asm76

Quoiqu'il en soit le temps que je mesure représente toujours la même chose je suppose (le temps de copie ds la memoire tampon ou sur le disque) et ce qui m'interesse c'est surtout de comprendre pourquoi ce temps passe de 4s a 1min régulièrement.

Je ne pense pas que ce soit toujours la même chose.
Si la mémoire tampon est vide, tu mesures le temps d'écriture de la mémoire.
Si la mémoire tampon est pleine, tu mesures le temps d'écriture sur le disque.

Tu as regardé les options de montage NFS ?

[asm76]

Voilà ce que j'ai trouvé en tapant mount :

- type xfs (rw,quota)

- type nfs (rw,hard,intr,bg,addr=...)

[jlliagre]

La présence ou l'absence de synchronisation par défaut dépend de la version de NFS utilisée. Dans le doute, tu peux ajouter la commande "sync" à la fin de ta copie d'un fichier de 1.8 Go et mesurer le temps cumulé des deux commandes.

Autre chose, quand je lis "Peak performance up to 400 MB per second" dans des specs H/W, je ne m'attends pas à ce que ce débit puisse etre soutenu longtemps.