Débutant cherche un bon framework pour l'acquisition de données temporelles par un serveur

Bonjour,

Voici mon besoin:

Des messages arrivent par AMQP et contiennent des données temporelles.

J'ai besoin de les analyser et de les archiver en base.

Ces messages contiennent des données temporelles et des fragments de fichiers.

Je dois pouvoir stocker en base des fichiers reconstitués et des valeurs en fonction du temps. Pour les valeurs temporelles, pas soucis. Par contre pour les fichiers, je dois mémoriser des états temporaires contenant l'ensemble des blocs déjà reçus. Un fichier peut mettre plusieurs heures avant d'arriver.

Plusieurs clients envoient des fragments de fichiers à plusieurs moments. Ces blocs peuvent être doubles et dans le désordre. Je dois donc pouvoir éliminer ces doublons et réordonner les blocs.

Bien entendu, le serveur resete, je dois pouvoir retrouver le dernier état d'acquisition.

Par contre je sais exactement quand tous les blocs sont censés être arrivés pour un fichier donné et je peux accepter un peu de lattence avant que le fichier soit reconstitué et stocké en base.

Quelles technologies utiliseriez-vous pour faire ceci?

Le système doit permettre à quelques 100 000 clients de poser deux fichiers de 1M par jour environ...

Y a t'il quelque chose dans l'écosystème java qui fait déjà celà?

Merci d'avance