Limite du nombre de thread

bonsoir

j'ai créé un petit outil qui permet de pinguer des équipements (MODEM) en utilisant une connexion SSH vers le serveur à partir duquel sont exécuter les ping.

j'utilise paramiko pour cela puis je réalise les ping à travers des thread.

mon outil fonctionne très bien lorsque ma liste des IP est de 11 ou moins mais je me heurte à un problème de nombre de thread possible.

je ne peux en avoir plus de 11 a priori.

Or mon parc d @ IP est d'environ 4000.

une solution existe-t-il pour contourner ce problème ?

par avance merci

Salut,



S'il y a une limite, elle est fixée par le système (et pas par Python) et est généralement autour de quelques milliers.

Si çà bloque à 11, probable que ce soit pour autre chose...
D'ailleurs vous pourriez écrire un petit programme qui crée plusieurs dizaines de threads pour le vérifier.

- W

bonjour

merci de votre réponse

En effet la restriction est au niveau du serveur qui n'accepte que 10 accès par client (configuration par défaut).

en vous remerciant de votre réponse.

CDT

Après passage du parametre à 4000 je me trouve confronté à un autre problème

impossible de créer plus de 685 threads

runtime error can t start new thread file threadind.py line 852


j ai divisé mon fichier d importation d IP en plusieurs partie afin que chacun présente moins de 650 éléments

j ai modifie mon py pour en créer 3 fichier1.py fichier2.py et fichier3.py en veillant a donner des références différentes de noms de thread. chacun allant chercher un fichier d'ip différent.

j'ai lancé 3 instances python pour lesquelles j'ai lancé l'import d'un .py différent.
De cette manière, j'arrive à couvrir la globalité des mes adresses à pinguer.
j'ai donc un nombre de thread ouvert important au total. le nombre de thread semble dépendant de l'instance python.
je semble disposé de 685 thread pour chaque session python sur l'équipement sur lequel je me connecte en SSH



je n'arrive pas à comprendre ce qui me limite ma capacité de thread pour une seule instance de python.


j'ai également changer la commande lancé ( ls en remplacement de ping idem )

j'ai modifie le nombre d'occurences passage d'infini à 1 avec clôture du thread à l'issue. Ainsi je n'ai plus l'erreur !!

Cdt

Citation:

---

Envoyé par raphael75015

je n'arrive pas à comprendre ce qui me limite ma capacité de thread pour une seule instance de python.

---

685 me semble raisonnable comme limite imposée par l'environnement système en fonction de son paramétrage et des ressources disponibles.

Pour le reste, les threads sont une "astuce" pour permettre à un programme d'utiliser l'ensemble des CPU d'une machine pour réduire les temps de calculs.
Il n'y a pas grand intérêt à avoir plus de threads que de CPU.

Pire avec Python, vous pouvez créer autant de threads que de CPU, vous arriverez à consommer rarement plus que la capacité d'un CPU. (d'où l'intérêt d'asyncio)

En plus, faire des "pings", c'est expédier un message sur la carte réseau et attendre la réponse du host, partir en timeout ou recommencer un certain nombre de fois.
Comme les messages passent en série sur la carte réseau, si on a 100 threads qui poussent un message en même temps, pendant que le message d'un des threads passe, un autre sera temporairement stocké en mémoire de la carte et les 98 autres attendent.

A la base vous avez un problème de conception: je veux faire un truc. Quelles sont les ressources disponibles? Quel est sont les facteurs limitants? A partir de là comment écrire un code qui aille le plus rapidement possible en utilisant au mieux ces ressources.

Vous avez plus un problème de physique que de programmation Python.

- W