Discussion :

[founes]

Bonjour,
je suis actuellement sur un projet ou j'ai développé un jar exécutable qui appel un Web service qui met jusqu'à 10 secondes à répondre.

ce jar est appelé par un programme perl.
Pour des raison historique nous ne pouvons pas modifier cet architecture.

afin accélérer le traitement nous devons appeler le jar plusieurs fois de façon parallèle, nous faisons donc un fork dans le code perl qui exécute la commande:
java -jar callWS.jar

Le problème que nous rencontrons est que les jars ne sont s'exécutent en rafale mais avec des pause, comme le montre les logs ci-dessous

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
début de l'exécution de l'appel 1: 15:39:10:054
début de l'exécution de l'appel 2: 15:39:10:668
début de l'exécution de l'appel 3: 15:39:11:017
début de l'exécution de l'appel 4: 15:39:12:369
début de l'exécution de l'appel 5: 15:39:13:837
début de l'exécution de l'appel 6: 15:39:18:084
 
fin l'exécution de l'appel 3: 15:39:19,126
fin l'exécution de l'appel 1: 15:39:19,530
 
début de l'exécution de l'appel 6: 15:39:20:109
 
fin l'exécution de l'appel 4: 15:39:20,592
fin l'exécution de l'appel 2: 15:39:20,654
 
debut de l'exécution de l'appel 7: 15:39:22,329
 
fin l'exécution de l'appel 5: 15:39:23,911

Comme on peut le voire les jar sont bien exécuté en parallèle, et non séquentiellement.
le problème, est dans le démarrage on voit des temps de pause, en effet on voit:
614ms entre le début de l'appel 1 et le début de l'appel 2
349ms entre le 2 et le 3
1s352ms entre le 3 et le 4
1,5s entre le 4 et le 5
5s entre le 5 et le 6
les pauses sont en moyenne de 4s sur le reste des appels

Je ne sais pas à quoi sont du ces pause, j'imagine que étant un jar exécutable, il lui faut le temps de démarré la jvm (mais je n'en suis pas sur).

est ce que quelqu'un aurait une solution ou un conseil afin supprimer ces pauses.
P.S: nous avons vérifié coté perl les appels sont fait toutes les 10ms

Merci par avance.

[tchize_]

est-ce que vous avez vérifié que la machine est capable (temps CPU, IOS) de lancer toutes ces jvms en parallèle?

[founes]

Comment puis-je faire cette vérification ?
la machine dispose de 4Go de ram, le traitement effectué par le jar étant assez simple (juste un appel à un web service), j'ai exécuté le jar en limitant la mémoire de la jvm à 64Mo (-Mxm64m), mais cela n'a pas modifié le comportement. Par contre je n'ai pas d'information sur le processeur.

Est il possible de n'exécuter qu'une seul JVM, puis d'y faire s'y exécuter les jars, sans que ses derniers ne lancent leurs propre JVM à chaque fois

[tchize_]

ces messages (début/fin) sont générés par le jar ou par le script appelant?

[founes]

ce sont tous les logs du jar

[tchize_]

il faudrait voir dans le jar ce que tu fais avant de commencer à logguer. Il est possible que le delai soit du à l'un ou l'autre serveur qui mette du temps à répondre.

[founes]

La seule chose que je fais avant de logguer "début de l'exécution de l'appel" est de récupéré les argument passés en paramètre de l'appel au jar par le biais d'une classe utils dont j'ai déjà mesuré les performances, elle répond en quelques millisecondes.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
		Map<String, String> parameters = Utils.getParameters(args);
		maxRetry = Integer.parseInt(parameters.get(MAX_RETRY));
		delay = Long.parseLong(parameters.get(DELAY));
		id = parameters.get(ID);
		long t1 = Calendar.getInstance().getTimeInMillis();
		logger.fatal("début de l'exécution de l'appel "+id+" + new SimpleDateFormat("HH:mm:ss:SSS").format(new Date(t1)));

[dinobogan]

Il faudrait également ajouter un log dans le code perl pour connaître le temps entre l'ordre de démarrage de la JVM et le début du code Java.

Sinon, au lieu de forker en Perl, ne serait-il pas plus judicieux de faire des thread en Java, pour ne lancer qu'une seule JVM (si le projet le permet, bien entendu) ? Il suffirait de donner en paramètre le nombre de Thread à créer, et le programme Java pourrait se débrouiller.

[founes]

en effet c'est ce qui serait le mieux, ce qu'il y a c'est que chaque appel perl, envoie des paramètres au jar.
Donc on échappera de toutes façon pas aux fork en perl.
Je cherchais une solution qui nous aurais permis de ne pas changer l'architecture, mais visiblement ce n'est pas possible, (1 appel à un jar exécutable = une JVM de lancé) et donc le projet ou ce fonctionnement est répliqué 4 fois, on se retrouve donc avec 80 JVM exécuté en même ce qui n'est pas tenable.
nous allons donc probablement revoir notre architecture, et donc passer les argument du perl vers java avec des sockets.

Merci à ceux qui ont tenté de m'aider.
Bonne continuation

P.S: @dinobogan j'adore ta signature, j'aurai sans doute du la lire avant de démarré ce projet