analyse Fichier logs

Version imprimable

23/10/2018, 04h09
blackpirates

analyse Fichier logs

Bonjour,
je suis debutant en programmation, je voudrais votre aider par rapport à un projet sur l'analyse de fichier log sans utiliser de librairie python.
Je voudrais savoir comment faire pour extraire dans le fichier log et faire des analyses sur combien de personne ce sont connectées. Merci

Salut,

En premier lieu tu ouvres ton log dans un simple éditeur de texte.
Les logs sont normalement structurés de sorte à faciliter la tâche des programmes de statistiques.

Exemple:
Code:

1 2 3 180.76.15.13 - - [15/Oct/2018:22:40:02 +0000] "GET /robots.txt HTTP/1.0" 200 - "-" "Mozilla/5.0 (Windows NT 5.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2" 2a01:4f8:141:4052::2 - - [16/Oct/2018:01:03:49 +0000] "GET /downloads HTTP/1.0" 200 1434 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)"
Au départ l'IP (en bleu) séparée par un "- -"
Ensuite la date (en rouge) entre crochets
Puis vient la requête (marron) entre guillemets
Le code de retour (bleu clair) très pratique pour mesurer le taux de tentatives d'intrusion du site
Et enfin diverses infos sur le navigateur ou le robot utilisé

Les diverses séparations de ces éléments font qu'il est relativement simple avec les méthodes de string() de séparer ces informations.

23/10/2018, 09h26
Fifan31
Bonjour,

Pour que l'on puisse t'aider sur un problème de code, il faut au moins nous présenter ce que tu as déjà fait.
Pour l'instant il s'agit plus d'un problème de process (algorithme).
Avant de coder, il faut toujours un papier et un crayon pour savoir ce que l'on veut faire au moins avec du pseudo-code:
Code:

1 2 3 4 5 6 ouvrir le fichier pour chaque ligne du fichier recherche nom utilisateur ajouter nom utilisateur à la liste afficher la liste

Bonjour,
merci pour ta réponse, voici un bout de mon fichier logs en txt, il compte en tout 35000 lignes.
pour l'instant j'ai pu extraire seulement le nbre de GET et POST.
pour le reste, c'est a dire extraire par jour le nbre de connexion et par heure ou le nbre d 'IP et savoir qui s'est connecté le plus par rapport a son IP.

hmu4.cs.auckland.ac.nz [29:23:57:35] "GET /docs/GCDOAR/EnergyStar.html HTTP/1.0" 200 6829
ix-knx-tn1-22.ix.netcom.com [29:23:57:38] "GET /icons/circle_logo_small.gif HTTP/1.0" 200 2624
suburbia.apana.org.au [29:23:57:39] "GET /docs/PressReleases/1995/August/Day-22 HTTP/1.0" 302 -
hmu4.cs.auckland.ac.nz [29:23:57:39] "GET /docs/GCDOAR/gifs/estarcsm.gif HTTP/1.0" 200 7005
hmu4.cs.auckland.ac.nz [29:23:57:40] "GET /docs/GCDOAR/gifs/gl.gif HTTP/1.0" 200 3302
suburbia.apana.org.au [29:23:57:45] "GET /PressReleases/1995/August/Day-22/ HTTP/1.0" 200 1535

Voici mon code depart:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
f = open('data_project.log', 'r')
df = open("data_project2.txt", 'a')
lines = f.readlines()
for line in lines :
        line = line.split(' ')
        #if line.split()[5]=='"GET':
        df.write(str(line) + "\n")
        #print(line)
 
 
 
 
cg = 0
cp = 0
fd =open('data_project2.txt', 'r')
lines1 = fd.readlines()
for line1 in lines1:
        line1 = line1.split()[2]
        #print(line1)
        if line1=='"GET':
                cg = cg + 1
        if line1=='"POST':
                cp = cp + 1        
print("GET:",cg)
print("POST:",cp)