Discussion :

[ludo40190]

Bonjour à tous,

Voici mon problème :

OS serveur appli + nas : CentOS 7.9 ou Rocky Linux 8.x

J'ai une application sur une machine qui écrit de gros fichiers sur un nas (partage réseau samba) au travers d'un lien ethernet 10 Gb/s (connexion direct entre les deux).

Le fichier est écrit en continu pendant une heure, puis un nouveau fichier est créé par l'application, etc...

A chaque rotation de fichier (chaque heure), j'ai un overflow et des données sont perdues car il y a un temps trop important avant la création du nouveau fichier.

Cela que j'écrive à 1,2 GB/s (saturation du lien 10 Gb/s) ou même à 200 MB/s.

J'arrive à éviter ce problème en passant le paramètre samba "cache=none", alors je n'ai plus ce problème, mais je devient limité en écriture à 400 MB/s maximum sinon ça ne suit pas... c'est gênant...

Avez-vous des idées afin d'éviter cela en gardant un débit > à 1 GB/s (et avec samba) ?

P.S : en local sur le NAS je peux écrire en séquentiel à environ 3 GB/s.
P.S2 : même problème en NFS
P.S3 : en iSCSI pas de problèmes, mais limité à environ 900 MB/s, mais je perd la possibilité d'avoir plusieurs clients ayant accès aux données...

Merci par avance.

Ludovic

[Jipété]

Bonjour,

il nous manque une info : la taille de la mémoire du nas.

[becket]

Salut,

1 ) As tu configuré : write cache = no ( en global ? )
2 ) Qu'est ce qui est configuré dans les socket options ?
3 ) Quel est la taille de la mémoire ?

[ludo40190]

Bonjour,

il nous manque une info : la taille de la mémoire du nas.

16 GB de RAM

[ludo40190]

Salut,

1 ) As tu configuré : write cache = no ( en global ? )
2 ) Qu'est ce qui est configuré dans les socket options ?
3 ) Quel est la taille de la mémoire ?

1 - oui avec write cache = no c’est pareil qu’avec le paramètre cache=none côté client, c’est à dire plus de problèmes mais limité à 400 MB/s

2 - paramètres socket options laissés par défaut…

3 - 16 GB de mémoire

[disedorgue]

As tu essayé au moment de la rotation, de faire un sync (ce qui en principe fait l'écriture sur disque, par contre tu auras de la latence de le temps de l'écriture sur disque) ?

[ludo40190]

As tu essayé au moment de la rotation, de faire un sync (ce qui en principe fait l'écriture sur disque, par contre tu auras de la latence de le temps de l'écriture sur disque) ?

Je pense que c'est justement le problème, samba fait un sync à chaquerotation de fichier et j'ai cette perte de données car il met plus d'une seconde pour vider le cache...

[binarygirl]

A tout hasard, avez-vous regardé dans les logs de Samba si des erreurs sont signalées ?

[Jipété]

Le fichier est écrit en continu pendant une heure, puis un nouveau fichier est créé par l'application, etc...

Et avec un sync toutes les minutes ?

[disedorgue]

Peux tu décrire la méthode de rotation car si cela vient de cette synchro, c'est qu'il y a des erreurs de méthodologie.
Ou regarde la taille max du cache socket.
Et d'ailleurs, tes données manquantes, c'est dans le nouveau fichier ou celui qui vient de rotater ?

[ludo40190]

Bonjour à tous,

Je me suis re-penché sur ce problème.

Après avoir épluché la doc samba, il fallait bien jouer sur la taille du cache.

Mes stockages sont de type NAS, avec une taille de stripe pour du RAID 6.

En ajoutant le paramètre "write cache size = taille du tripe" dans le fichier smb.conf, je n'ai plus ce problème.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

write cache size = 65536 # si taille du stripe à 64 KB

ou bien

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

write cache size = 262144 # si taille du stripe à 256 KB

Man ici : https://www.samba.org/samba/samba/do...WRITECACHESIZE

Cela fonctionne très bien sur les CentOS 7.9 avec samba 4.11

Mais, évidemment, sur les Rocky Linux 8.x, avec samba 4.15, ce paramètre n'existe plus, et je ne trouve pas d'équivalent ! Je vais faire des tests d'écriture mais j'ai bien peur que ce problème apparaissent également.

A priori, il est possible de remettre ce paramètre en créant un module samba VFS, à tester (je n'ai jamais esssayé) : https://wiki.samba.org/index.php/Sam...MOVED_FEATURES

A+
Ludovic

[Christophe]

Merci pour ce retour sur un vieux prob. qui pourra servir à d'autres.