insertion log dans BDD

Version imprimable

26/04/2008, 23h25
jmjmjm

insertion log dans BDD

Bonjour, je fais actuellement un projet qui récupère un fichier de log pour l'insérer dans une base MySQL, mon problème est que ce fichier est accédé très régulièrement en écriture par le processus écrivant les logs. Comment puis je faire d'après vos expériences pour lire ce fichier et supprimer les lignes inséré tout en le laissant accessible en écriture au processus écrivant les logs. j'avais penser créer une copie puis vider l'originale et travailler sur la copie mais comme je risque d'avoir plusieurs logs enregistré par seconde, j'ai peur que des logs soit détruit entre le temps ou je copie le fichier et celui ou je le vide. Si toute fois je conserve mon idée, je devrais le faire en période creuse 1 2 h du matin, or je souhaite quasiment du temps réel pour la base de donnés.

Merci d'avance pour les différentes solution que vous allez m'apporter.

Jérémy
27/04/2008, 23h32
nicroman

Je ne sais pas d'ou vient le fichier de log... mais en général on prefere utiliser un "appender" additionel à l'origine du log.

Bon... ceci-dit.... tu peux juste te souvenir du "nombre d'octets" lus... du fichier originel....
J'imagine qu'il y a un "rolling-file" ou un truc du genre, qu'il va te falloir gérer.... genre... si la taille du fichier < à mon nombre d'octet, il y a eu rolling... je traite donc la fin de l'archive de l'ancien fichier de log, puis je remet mon compteur à 0 et je recommence sur le nouveau.

Tu peux aussi te baser sur la date de création du fichier de log

Ce que je ferais :
1/ je ne gérerai pas la destruction/effacement du log dans le fichier de log. Je laisserai le système (rotate, admin) détruire le fichier.
2/ Je gérerai un pointeur sur la position courante dans le fichier.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 tant que toujours lire taille fichier si taille fichier < ancienne taille le fichier a été reinitialise fin si se rappeler taille fichier tant que position courante != taille fichier lire ligne dans fichier recuperer/se rappeler position courante traiter ligne/inserer dans BDD fin tant que fin tant que