Discussion :

[Annsen]

Bonjour,

J'ai une question conception et viabilité de mon choix de framework svp!

Les technos: Spring data - Spring REST

Le problème: Le client aimerait envoyer 140000 objets dans sa requête JSON et chaque objet peut représenter en BD 9000 caractères.
Ce qui me semble déjà trop gros pour un corps de requête HTTP.

1. Quelle serait déjà la limite de data safe à envoyer avec un service REST pour de l'insertion svp?
2. Pensez vous qu'une telle charge par enregistrement X nombre d'enregistrement soit viable: faut il limiter le nombre d'enregistrements/appel? Si oui quelles sont les limites que je dois considérer?
3. Spring data est il apte à gérer de l'insertion massive? Est ce que le mapping orm ralentira trop mon système et quelle autre stratégie me conseilleriez vous?

Merci beaucoup!

[NoClassDefFound]

Difficile de répondre précisément mais balancer des gros volumes de données via ce type d'architecture REST est rarement une bonne idée, le framework n'a rien à voire là dedans.
Tout d'abord, il faudrait que tu puisses estimer la taille du message JSON représentant 140 000 objets et ensuite extrapoler le temps et les ressources machine que cela nécessiterait (sur des volumes plus petits).
De toute manière, il faudra effectivement limiter le volume de données que le client pourra envoyer, tes ressources serveurs ne seront ni illimitées ni extensibles dans le temps.
Si il faut absolument passer par la couche REST, voilà quelques pistes:

• Gérer un format compressé type gzip pour diminuer au maximum la taille des données envoyées.
• Traitements asynchrones: Rendre la main tout de suite au client et traiter les demandes en asynchrone.
• Paralléliser les traitements: (Pool de threads)

Un ORM ne peut être aussi rapide que de l'insertion brute/basique sans mapping objet mais il existe un certain nombre d'options qui permettent de limiter la casse (batch size par exemple).
Par contre Spring a ceci de génial c'est que tu dispose d'une boîte à outil avec à peu près tout ce qui faut.
Pour la gestion des gros volumes de données, regardes du côté de Spring Batch, c'est fait pour ça.

[Annsen]

Excellent Merci de tout ces conseils
J'enquêtais justement du côté de Spring batch.
Je vais creuser ces stratégies et faire te travail d'extrapolation que tu recommandes !