problème SO_REUSEADDR avec socket AF_UNIX

bonjour,

Je voudrais utiliser des sockets unix pour récupérer depuis différents workers des logs via logging.handlers.SocketHandler et les récupérer dans un process à part.
Cependant je voudrais utiliser des sockets unix plutôt qu'un tuple host:port

Le problème étant qu'il met impossible de ne pas me heurter à OSError: [Errno 98] Address already in use si je relance le processus.

voici le code minimal de repro

Code:

---

1 2 3 4 5 6 7

import socketserver   class H(socketserver.StreamRequestHandler): def handle(self): pass   srv = socketserver.ThreadingUnixStreamServer("/tmp/log.sock", H)

---

au deuxième lancement rien ne va plus


Jusqu'à présent la question aurait plus de sens dans un forum unix, en faite ma vraie question c'est existe t'il un moyen build-in à socket ou socketserver de gérer ça sans que j'ai un faire un

Code:

---

1 2 3 4

try: os.remove("/tmp/log.sock") except FileNotFoundError: pass

---

avant ?

Je précise que socket.close() et socket.shutdown(2) n'ont rien changé

Bonjour

Citation:

---

Envoyé par flapili

en faite ma vraie question c'est existe t'il un moyen build-in à socket ou socketserver de gérer ça sans que j'ai un faire un

Code:

---

1 2 3 4

try: os.remove("/tmp/log.sock") except FileNotFoundError: pass

---

avant ?

---

J'ai eu le même souci avec les fichiers sockets et j'ai utilisé la même solution (sans que ça ne me gêne plus que ça)

finalement j'ai rajouté un ficher lock à l'aide de portalocker pour être sur de pas avoir de soucis si un second serveur se lance pendant que le 1er écoute déjà, plus qu'a utiliser /dev/shm et ça tourne :)

J'ai essayé de voir si je ne pouvais pas utiliser directement /tmp/log.sock en tant que fichier de lock mais je n'ai pas l'impression, je peux faire un os.remove sans soucis même si j'ai déjà un serveur qui tourne

Citation:

---

Envoyé par flapili

je peux faire un os.remove sans soucis même si j'ai déjà un serveur qui tourne

---

Ouais, je viens de tester chez-moi. On peut même continuer le send() et recv() tout fonctionne nickel.
On dirait que le fichier socket ne sert qu'à établir la liaison, ensuite tout se fait via le noyau Linux...

par mesure de précaution je vais quand même garder mon lock pour n'avoir qu'un process qui tourne :D

mais est ce que si je fait le remove send() marche toujours après 30s, 3h ?
Il faudrait que je me plonge dans la doc unix pour voir un peu le fonctionnement derrière

ps: d'après la doc sur remove :

Citation:

---

on Unix, the directory entry is removed but the storage allocated to the file is not made available until the original file is no longer in use.

---

tant que le fd est ouvert j'imagine que le programme continue de tourner comme si de rien était ?

Citation:

---

Envoyé par flapili

tant que le fd est ouvert j'imagine que le programme continue de tourner comme si de rien était ?

---

Ah oui, ça me rappelle un autre truc que j'ai découvert pour pouvoir réécrire en shell sur un fichier utilisé en lecture. Ca passe aussi par un remove.
Exemple (shell): pour pouvoir reéécrire un "toto" quelconque qu'on veut aussi utiliser en lecture

Code:

---

1 2 3

exec 3<toto rm -f toto travail_quelconque (ex sort) 0<&3 >toto

---

Le "rm -f toto" est impératif pour que la redirection finale crée un fichier neuf, mais le contenu de l'ancien fichier reste disponible dans le buffer n° 3. Et j'ai fait des tests sur des fichiers de plusieurs centaines de Mo (voire sur le Go) le truc fonctionne parfaitement.

Probable que c'est un peu le même principe avec le fichier socket effacé après avoir été invoqué...

au final j'ai trouvé la solution, ça devrait aussi t'interesser

https://linux.die.net/man/7/unix

Citation:

---

abstract: an abstract socket address is distinguished by the fact that sun_path[0] is a null byte ('\0'). The socket's address in this namespace is given by the additional bytes in sun_path that are covered by the specified length of the address structure. (Null bytes in the name have no special significance.) The name has no connection with file system pathnames. When the address of an abstract socket is returned by getsockname(2), getpeername(2), and accept(2), the returned addrlen is greater than sizeof(sa_family_t) (i.e., greater than 2), and the name of the socket is contained in the first (addrlen - sizeof(sa_family_t)) bytes of sun_path. The abstract socket namespace is a nonportable Linux extension.

---

dans la pratique ça donne ça:
client.py

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

# coding: utf-8   import logging import logging.handlers   rootLogger = logging.getLogger() rootLogger.setLevel(logging.DEBUG) socketHandler = logging.handlers.SocketHandler("\0test", None)   rootLogger.addHandler(socketHandler)   logging.info("Jackdaws love my big sphinx of quartz.")   logger1 = logging.getLogger("myapp.area1") logger2 = logging.getLogger("myapp.area2")   logger1.debug("Quick zephyrs blow, vexing daft Jim.") logger1.info("How quickly daft jumping zebras vex.") logger2.warning("Jail zesty vixen who grabbed pay from quack.") logger2.error("The five boxing wizards jump quickly.")

---

server.py

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34

# coding: utf-8 import socketserver import pickle import struct import logging     class LogRecordStreamHandler(socketserver.StreamRequestHandler): def handle(self): while True: chunk = self.connection.recv(4) if len(chunk) < 4: break   slen = struct.unpack(">L", chunk)[0] chunk = self.connection.recv(slen) while len(chunk) < slen: chunk += self.connection.recv(slen - len(chunk))   obj = pickle.loads(chunk)   record = logging.makeLogRecord(obj) logger = logging.getLogger(record.name)   if logger.isEnabledFor(record.levelno): logger.handle(record)     logging.basicConfig(format="%(name)-15s %(levelname)-8s %(message)s", level=10) logger = logging.getLogger(__name__) logger.info("Logging level set to %s", logging.getLevelName(10))   srv = socketserver.ThreadingUnixStreamServer("\0test", LogRecordStreamHandler) srv.serve_forever()

---

et ça marche sans problème.

enfin ... étant donné que je veux porter ça sur docker je ne trouve pas beaucoup de ressources sur le web sur comment partager une socket abstraite.
à chaque fois la réponse c'est de pas utiliser de socket abstraite et à la place de partager ça avec les volumes.

c'est dommage si je suis obligé de passer par un fs qui m'oblige à gérer les locks

ps: je ne suis pas sur que dans mon cas utiliser des sockets soit nécessaires et mon système tourne déjà avec les aliases networks de docker donc bon :weird: