Batch avec traitements parallèles

Bonjour à tous,

Je réalise un batch (une console) qui doit faire une série d'opérations des milliers de fois en 45 minutes. Ces opérations vont de la lecture d'un fichier à des requêtes http. Chaque série prend quelques dixièmes secondes (suivant la taille des requêtes http).

En mode séquentiel, une série après l'autre les temps sont intenables. Je m'oriente donc vers des traitements parallèles.

Pour ce faire j'encapsule les opérations dans des classes et je m'abonne à des évènements pour lancer les opérations suivantes.

Ca marche. Sauf que de temps en temps il y a des embouteillages lors de requêtes http. Le serveur est submergé de requêtes et le délai d'attente expire. Je crois que je vais devoir faire un singleton pour gérer ces requêtes.

Questions:
Avez-vous une méthode particulière pour gérer ce genre de besoin?
Existe-t-il un sytème qui peut gérer ce besoin?

Merci de votre aide.

Bonjour,
le plus simple pour ne pas submerger ton serveur de requêtes et de gérer dans ton programme un nombre maximal de requêtes en simultanées. Tu peux utiliser les sémaphore pour limiter le nombre de threads simultanés qui iront faire une requête sur le serveur.

Bonjour,

Il me semble que la solution la plus simple est de créer au départ la pile des traitements à exécuter. Puis de créer un nombre de threads fixe, chaque thread allant chercher en boucle une requête dans la pile et se terminant dès qu'il n'y en a plus de requêtes dans la pile.

Une solution plus évoluée consiste à utiliser un thread principal qui créera au départ autant de threads secondaires que de cores disponibles, puis qui dans la suite du traitement ajoutera dynamiquement des threads secondaires supplémentaires, dès que tous les threads secondaires sont en attente (et tant que le nombre de threads secondaires ne dépasse pas un max trop élévé).