Optimisation par multithread

Bonjour,

Je developpe actuellement une application locale, s'adressant à un Web-service. Celle ci dois traiter des fichiers lourds (entre 300 et 45 000 enregistrements).

Le web service gere les soumissions une par une.
Malheureusement il est developpé par une entreprise exterieur, je n'ai pas le droit de le modifier pour qu'il puisse gerer des paquets de soumissions.

Pour optimiser mes traitements j'ai donc decidé de creer un thread par ligne de fichier effectuant la soumission a mon web-service au sein d'une connexion commune a tous les threads.

Le resultat etait decevant a moins que j'autorise 100 threads simultanés.

Mes questions:

1 - Quels sont les risques encourus a l'utilisation d'autant de Threads pour mon systeme (pas de probleme niveau web service il est reputé robuste (env 1000 soumission/s))?
2 - Existe t'il de meilleurs moyen d'optimisation dans mon cas ?

Merci d'avance pour vos reponses.

qu'entends tu pas connexion commune à tous les Threads? Les risques en faisant trop de Threads, c'est

soit sur des OS peu peformant, de les surcharger à cause du traitement multithread (a moins de tourner sur un tout vieux unix ou un view windows 95, ça devrais peu jouer)

soit au niveau java d'avoir plus de blocages dus à la synchronisation des tes bouts de codes que de gains à travailler en parallèle

soit de faire s'écrouler les performance en raison d'une limitation de la bande passante que tout le monde se battera pour avoir.


Si t'hésite sur les perfs, le mieux serait de tester des montées en charge. Tu peux même, si tu as le temps, faire des algos qui testent ça en temps réel pour monter en charge progressivement (10, 20, 50, 100, 1000 threads) suffit de tester au fur et à mesure que t'augmente le nombre de threads pour savoir si tu augmente aussi ton débit. Quand tu plafonne, t'arrête avant que ça s'écroule.

Ok merci pour ces precision.

En fait le but c'est surtout de surcharger le reseau afin qu'il y ai toujours une soumission prete pour le Web service des qu'il en finis une...

Je vais utiliser ta methode de montée en charge.

Merci pour les infos.

par les webservice ne traite qu'une demande à la fois, j'avais cru comprendre qu'il fallait plusieurs requete pour traiter tout, pas que le webservice met toutes les demande en queue et les traite une à une. Si il traite une chose à la fois et fait patienter les autres demandes pendant ce temps, en supposant qu'il traite ta requete en 10ms et que ta latence réseau est de 100ms pour te connecter au webservice, 10 Threads sont largement suffisants pour assurer 10 demande par 100 millisecondes.