Parsing logs python

Hello les experts,

J'ai créé un bout de code en python pour observer mes serveurs et instances SQL.
Il me manque "juste" la partie parsing de logs.

Je vais donc parser les fichiers windows evtx et les fichiers SQL errorlog.log.
En gros analyser 3 à 4 fichiers de 1 à 100 Mo.
Je vais extraire ensuite tous les evtx warning et error + SQL error dans un fichier séparer que je vais agréger à mon rapport.

Mes questions sont les suivantes:
- Est-ce que j'ai intérêt à faire des readline + regex ( a ce qu'il parait c'est très lent RE sur les gros fichiers)
- Connaissez vous d'autres techniques ?
- Connaissez-vous un module compatible python 3.5.3 qui fasse bien le travail et soit efficace en thermes de performances ?

Merci d'avance pour vos conseils.

Bonjour

En fait, ta question concerne juste la rapidité de lecture d'un fichier. Ben non, désolé, mais non. Si tu veux lire un log de 5000 lignes, ben pour lire la 5000° il te faudra d'abord lire les 4999 précédentes. C'est justement pour ça que les concepteurs de langages dédiés aux traitements de grosses masses de données (COBOL, bdd diverses) ont créé le concept "d'index" (petit fichier parallèle contenant une petite partie de l'information ainsi que la position de l'information complète dans le fichier principal). Mais même un index ne peut rien quand on veut lire tout un fichier sans rechercher une information particulière.

Ceci dit, comme un fichier est un itérable dans Python, et que l'itérateur renvoie des lignes, tu peux alors remplacer un while True: lig=fp.readline() par un for lig in fp. A mon avis ça va un peu plus vite. De plus tyrtamos est intervenu sur une discussion similaire en disant que lire un fichier par bloc allait plus vite que lire un fichier par lignes. Mais ça t'oblige ensuite à reconstruire manuellement les lignes à traiter (et surtout gérer quand le bloc lu s'arrête en milieu de ligne).

salut,

Citation:

---

Envoyé par AlternantOracle

En gros analyser 3 à 4 fichiers de 1 à 100 Mo.
(...)
- Est-ce que j'ai intérêt à faire des readline + regex ( a ce qu'il parait c'est très lent RE sur les gros fichiers)
- Connaissez vous d'autres techniques ?

---

c'est à mon avis pas la mer à boire, d'autant que c'est pas à analyser chaque seconde j'imagine, donc même si la totalité du traitement prend 20s est-ce vraiment dérangeant ?

ensuite "les regex c'est lent" oui et non, c'est souvent bien plus rapide qu'on croit, surtout si on sait optimiser un peu ses expressions d'une part et qu'on oublie pas de les compiler d'autre part

tout dépend de ce que tu cherches, et s'il est question d'analyser le même log plusieurs fois (peu importe à quel intervalle), créer une table d'indexation peut effectivement être une idée intéressante, on analyse la 1ère fois, les fois suivantes on se réfère à la table pour query plus vite dans le fichier

Bonjour,

tout d'abord merci pour vos retours. Concernant la partie EVTX j'ai trouvé un très bon script pour extraire en XML:
https://github.com/williballenthin/python-evtx/

Pour la partie errorlog, je vais tester les 2 et je vous tiens au courant sur mes tests.