Discussion :

[BobbyWeb]

Salut à tous !

juste une petite question sur les possibilités offertes par Java :

J'ai besoin d'avoir une base de donnée contenant tous les noms, chemins et dates de dernières modifications de tous les fichiers présents sur mon serveur.
Seulement il y en a une énorme quantité (+100 000 et bientôt plus), et le traitement prend quelque minutes.

Le problème c'est que j'ai besoin d'avoir une base presque toujours à jours et si je lance mon programme qui remplit ma base de données que toutes les heures, ma base n'est pas a jour des fichiers crées et/ou modifier durant la dernière heure.
Seulement si je lance mon programme tous les 10min, mon programme va lire et relire indéfiniment les fichiers présent sur mon serveur, et donc le ralentir continuellement...

Comment puis-je faire pour avoir une base constamment à jour ? Existe-t-il un moyen d'obtenir seulement les nouveaux fichiers (et ceux modifiés) depuis la dernière exécution du programme ? Ou alors lire dans le snapshot du serveur, ou quelque chose comme ça ?

Je suis perdu la...

[JoeChip]

Le seul moyen, c'est d'intercepter les appels de l'OS au système de fichier ; dans tous les autres cas, tu n'as aucune garantie de détecter toutes les modifications.

[tchize_]

Java 7 (pas encore sorti) fournira un système de "watch" sur des fichiers et/ou dossier. Reste à savoir si ça supportera la charge d'un serveur complet.

Maintenant, en général, l'OS fournis déjà un service d'indexation, il serait peut être plus utile de l'utiliser. Sous linux tu as par exemple "locate" qui indexe tous les fichiers.

[Jimmy_]

Bonjour,

Déjà il faudrait voir s'il n'y a pas une solution applicative simple à mettre en place. L'application met à jour un fichier ou créé un nouveau fichier et en même temps modifie l'index.

Tout dépend de ce qui tourne sur ton serveur.

[NeptuS]

ça ne s'appelle pas une solution de gestion documentaire ?
Genre Alfresco ...

[BobbyWeb]

D'abord, merci à tous pour vos réponses !

Les fichiers en questions sont modifier par différents utilisateurs par divers logiciels, donc aucune possibilité de mettre a jour ma base lors d'une modification.

Je pense que je doit checker mon serveur toutes les heures par exemple et mettre a jour ma base.

Le problème c'est que soit je ré-insert TOUS les fichiers, cela qui me prendra une petite heures :
récupérer récursivement tous mes fichiers : environ 4 min, c'est correcte.
Mais insérer en base ces 100000 fichiers prend environ 1 heure

Ou bien, 2ème solution : pour chaque fichier je vérifie qu'il est en base, si oui je vérifie si la date de dernière modification a changer, si oui j'Update. Ce qui fait 3 requêtes multiplier par 100000 fichiers :/

Si le programme dure plus d' une heure, je pourrais pas l’exécuter toute les heures, mais toutes les N heures par exemple, et ma base ne sera pas a jour avant ces N heures...

Quelqu'un a-t-il une idée pour augmenter les performances des ces insertion ou Update massif ? j'ai entendu parler de Spring qui est efficace mais je connais pas...