Ecriture séquentielle gros fichiers avec samba - overflow

Version imprimable

06/04/2023, 16h32
ludo40190

Ecriture séquentielle gros fichiers avec samba - overflow

Bonjour à tous,

Voici mon problème :

OS serveur appli + nas : CentOS 7.9 ou Rocky Linux 8.x

J'ai une application sur une machine qui écrit de gros fichiers sur un nas (partage réseau samba) au travers d'un lien ethernet 10 Gb/s (connexion direct entre les deux).

Le fichier est écrit en continu pendant une heure, puis un nouveau fichier est créé par l'application, etc...

A chaque rotation de fichier (chaque heure), j'ai un overflow et des données sont perdues car il y a un temps trop important avant la création du nouveau fichier.

Cela que j'écrive à 1,2 GB/s (saturation du lien 10 Gb/s) ou même à 200 MB/s.

J'arrive à éviter ce problème en passant le paramètre samba "cache=none", alors je n'ai plus ce problème, mais je devient limité en écriture à 400 MB/s maximum sinon ça ne suit pas... c'est gênant...

Avez-vous des idées afin d'éviter cela en gardant un débit > à 1 GB/s (et avec samba) ?

P.S : en local sur le NAS je peux écrire en séquentiel à environ 3 GB/s.
P.S2 : même problème en NFS
P.S3 : en iSCSI pas de problèmes, mais limité à environ 900 MB/s, mais je perd la possibilité d'avoir plusieurs clients ayant accès aux données...

Merci par avance.

Ludovic
06/04/2023, 17h08
Jipété

Bonjour,

il nous manque une info : la taille de la mémoire du nas.
06/04/2023, 17h37
becket

Salut,

1 ) As tu configuré : write cache = no ( en global ? )
2 ) Qu'est ce qui est configuré dans les socket options ?
3 ) Quel est la taille de la mémoire ?
06/04/2023, 17h52
ludo40190

Citation:

Envoyé par Jipété

Bonjour,

il nous manque une info : la taille de la mémoire du nas.

16 GB de RAM
06/04/2023, 17h54
ludo40190

Citation:

Envoyé par becket

Salut,

1 ) As tu configuré : write cache = no ( en global ? )
2 ) Qu'est ce qui est configuré dans les socket options ?
3 ) Quel est la taille de la mémoire ?

1 - oui avec write cache = no c’est pareil qu’avec le paramètre cache=none côté client, c’est à dire plus de problèmes mais limité à 400 MB/s

2 - paramètres socket options laissés par défaut…

3 - 16 GB de mémoire
07/04/2023, 13h12
disedorgue

As tu essayé au moment de la rotation, de faire un sync (ce qui en principe fait l'écriture sur disque, par contre tu auras de la latence de le temps de l'écriture sur disque) ?
07/04/2023, 15h49
ludo40190

Citation:

Envoyé par disedorgue

As tu essayé au moment de la rotation, de faire un sync (ce qui en principe fait l'écriture sur disque, par contre tu auras de la latence de le temps de l'écriture sur disque) ?

Je pense que c'est justement le problème, samba fait un sync à chaquerotation de fichier et j'ai cette perte de données car il met plus d'une seconde pour vider le cache...
07/04/2023, 17h01
binarygirl

A tout hasard, avez-vous regardé dans les logs de Samba si des erreurs sont signalées ?
07/04/2023, 18h58
Jipété

Citation:

Envoyé par ludo40190

Le fichier est écrit en continu pendant une heure, puis un nouveau fichier est créé par l'application, etc...

Et avec un sync toutes les minutes ?
07/04/2023, 19h01
disedorgue

Peux tu décrire la méthode de rotation car si cela vient de cette synchro, c'est qu'il y a des erreurs de méthodologie.
Ou regarde la taille max du cache socket.
Et d'ailleurs, tes données manquantes, c'est dans le nouveau fichier ou celui qui vient de rotater ?
26/11/2023, 07h50
ludo40190

Bonjour à tous,

Je me suis re-penché sur ce problème.

Après avoir épluché la doc samba, il fallait bien jouer sur la taille du cache.

Mes stockages sont de type NAS, avec une taille de stripe pour du RAID 6.

En ajoutant le paramètre "write cache size = taille du tripe" dans le fichier smb.conf, je n'ai plus ce problème.

Code:

write cache size = 65536 # si taille du stripe à 64 KB

ou bien

Code:

write cache size = 262144 # si taille du stripe à 256 KB

Man ici : https://www.samba.org/samba/samba/do...WRITECACHESIZE

Cela fonctionne très bien sur les CentOS 7.9 avec samba 4.11

Mais, évidemment, sur les Rocky Linux 8.x, avec samba 4.15, ce paramètre n'existe plus, et je ne trouve pas d'équivalent ! Je vais faire des tests d'écriture mais j'ai bien peur que ce problème apparaissent également.

A priori, il est possible de remettre ce paramètre en créant un module samba VFS, à tester (je n'ai jamais esssayé) : https://wiki.samba.org/index.php/Sam...MOVED_FEATURES

A+
Ludovic
27/11/2023, 20h15
Christophe

Merci pour ce retour sur un vieux prob. qui pourra servir à d'autres.