Utilisation des expressions régulières

Version imprimable

Bonjour.

Sur une ligne de type complexe, j'essaie de décomposer en groupes de données parlantes.
J'essaie avec les expressions régulières, mais pour l'instant ne parviens pas au résultat escompté.
Un exemple valant mieux qu'un long discours :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import re
line = '46.193.16.35 - hguelbeye [02/Nov/2017:00:59:35 +0100] "POST <a href="http://www.dalloz.fr:80/documentation/SessionHandler.svc/GetSessionLive?id=RECUEIL/IR/1996/0884&ctxt=0_YSR0MT1sZSBqdWdlIGV0IGFwcGxpY2F0aW9uIGRlIGxhIGxvaSBldHJhbmdlcmXCp3gkc2Y9cGFnZS1yZWNoZXJjaGU=&ctxtl=0_cyRwYWdlTnVtPTHCp3MkdHJpZGF0ZT1GYWxzZcKncyRzb3J0PcKncyRzbE5iUGFnPTIwwqdzJGlzYWJvPUZhbHNlwqdzJHBhZ2luZz1UcnVlwqdzJG9uZ2xldD3Cp3MkZnJlZXNjb3BlPUZhbHNlwqdzJHdvSVM9RmFsc2U=&nrf=0_TGlzdGU=" target="_blank">http://www.dalloz.fr:80/documentatio...nrf=0_TGlzdGU=</a> HTTP/1.1" 200 587'
 
# Expression régulière pour les log. 
# On est censé récupérer ip, login, datetime, url, path
regex = "^(?P<ip>(?:[0-9]{1,3}\.){3}[0-9]{1,3}) - " \
            "(?P<login>[0-9a-zA-Z]*) .*" \
            "\[(?P<datetime>.*)\].*connect\?session=.*&url=" \
            "https?://w*\.?(?P<url>.[^/]*)/(?P<path>.*) HTTP/1.1.*"
 
chain1 = re.compile(regex)
match1 = chain1.match(line)
 
if match1:
           url = match1.group("url")
           dt1 = match1.group("datetime")
           P_login = match1.group("login")

Je n'arrive pas à comprendre pourquoi ça ne marche pas.
Quelqu'un a une idée ?
Une autre solution pour décomposer ce genre de ligne ?

Merci de votre aide ;-)

06/11/2018, 11h56
wiztricks

Salut,

Citation:

Envoyé par lylandra6

Je n'arrive pas à comprendre pourquoi ça ne marche pas.
Quelqu'un a une idée ?

Si çà ne fonctionne pas, c'est parce que votre expression régulière est mal écrite. Et donc la vraie question est de comment la mettre au point. Dans votre cas, vous avez de la chance puisqu'elle est composée de plusieurs groupes qui "mangent" la ligne.
Donc vous pouvez tester si çà attrape bien IP tout seul, puis IP suivi de LOGIN, puis... lorsque vous trouvez un problème, vous vous concentrez la dessus avec une sous-chaîne à parser et un bout de la regexp.

- W
06/11/2018, 15h11
Fifan31
Bonjour,

La ligne donnée ne matche pas l'expression régulière; c'est pour ça qu'il n'y a aucun résultat.
Il n'y a pas de 'connect' ou de 'session'.
Comme l'a dit wiztricks, le mieux est de procéder par étapes: tester la récupération de l'ip, puis du login, puis....

Lorsque ça matche, tu peux récupérer tous les groupes et la valeur correspondante dans un dictionnaire avec: match1.groupdict()

Pour ma part, j'obtiens un résultat pas trop mal (à vérifier avec ce qui est attendu) avec l'expression suivante:
Code:

1 2 3 4 regex = "(?P<ip>(?:[0-9]{1,3}\.){3}[0-9]{1,3}) - " \ "(?P<login>[0-9a-zA-Z]*) .*" \ "\[(?P<datetime>.*)\]" \ ".*https?://w*\.?(?P<url>.[^/]*)/(?P<path>.*) HTTP/1.1.*"

Bonjour,

Voilà ce que j'ai trouvé (Python 3):

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import re
 
line = '46.193.16.35 - hguelbeye [02/Nov/2017:00:59:35 +0100] "POST <a href="http://www.dalloz.fr:80/documentation/SessionHandler.svc/GetSessionLive?id=RECUEIL/IR/1996/0884&ctxt=0_YSR0MT1sZSBqdWdlIGV0IGFwcGxpY2F0aW9uIGRlIGxhIGxvaSBldHJhbmdlcmXCp3gkc2Y9cGFnZS1yZWNoZXJjaGU=&ctxtl=0_cyRwYWdlTnVtPTHCp3MkdHJpZGF0ZT1GYWxzZcKncyRzb3J0PcKncyRzbE5iUGFnPTIwwqdzJGlzYWJvPUZhbHNlwqdzJHBhZ2luZz1UcnVlwqdzJG9uZ2xldD3Cp3MkZnJlZXNjb3BlPUZhbHNlwqdzJHdvSVM9RmFsc2U=&nrf=0_TGlzdGU=" target="_blank">http://www.dalloz.fr:80/documentatio...nrf=0_TGlzdGU=</a> HTTP/1.1" 200 587'
 
motif = r"^(?P<ip>[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}) - (?P<login>[a-zA-Z][a-zA-Z0-9]*) (?P<datetime>\[.*\]).*(?P<url>http[s]?://.*HTTP/1.1)"
 
regex = re.compile(motif)
match = regex.search(line)
 
if match!=None:
 
    ip = match.group("ip")
    print("ip:", ip)
 
    login = match.group("login")
    print("login:", login)
 
    datetime = match.group("datetime")
    print("datetime:", datetime)
 
    url = match.group("url")
    print("url:", url)
 
else:
    print("Pas trouvé!")

Ce qui affiche:

Code:

1
2
3
4
ip: 46.193.16.35
login: hguelbeye
datetime: [02/Nov/2017:00:59:35 +0100]
url: http://www.dalloz.fr:80/documentatio...nrf=0_TGlzdGU=</a> HTTP/1.1

salut,

ce type de ligne est extraite d'un log de serveur web (nginx), le format de la ligne est spécifié dans la configuration du serveur directement

ce qu'on récupère en dernier champs n'est pas une url, c'est la requête du client, ici dans l'exemple c'est une requête POST avec des données qui contiennent des guillemets ", c'est d'autant plus piégeux, derrière on trouve le code HTTP renvoyé suivi en général du nombre d'octets de la réponse ou - si aucun octet n'est renvoyé, le login aussi peut éventuellement être -.

Code:

1
2
3
4
5
>>> pattern = r'^(?P<ip>(?:\d+\.){3}\d+) (?:-|.+?) (?P<login>-|.+?) \[(?P<datetime>.{26})\] \"(?P<req>.+)\" (?P<code>\d+) (?P<ansbytes>-|\d+)$'
>>> s = '46.193.16.35 - hguelbeye [02/Nov/2017:00:59:35 +0100] "POST machin "truc" bidule "pouet" coincoin" 200 587'
>>> reg = re.compile(pattern)
>>> reg.search(s)['req']
'POST machin "truc" bidule "pouet" coincoin'

le champ req a beau être délimité par des guillemets, la regex prend bien l'intégralité de son contenu

du coup si on reprend l'exemple :

Code:

1
2
3
>>> s = '46.193.16.35 - hguelbeye [02/Nov/2017:00:59:35 +0100] "POST <a href="http://www.dalloz.fr:80/documentation/SessionHandler.svc/GetSessionLive?id=RECUEIL/IR/1996/0884&ctxt=0_YSR0MT1sZSBqdWdlIGV0IGFwcGxpY2F0aW9uIGRlIGxhIGxvaSBldHJhbmdlcmXCp3gkc2Y9cGFnZS1yZWNoZXJjaGU=&ctxtl=0_cyRwYWdlTnVtPTHCp3MkdHJpZGF0ZT1GYWxzZcKncyRzb3J0PcKncyRzbE5iUGFnPTIwwqdzJGlzYWJvPUZhbHNlwqdzJHBhZ2luZz1UcnVlwqdzJG9uZ2xldD3Cp3MkZnJlZXNjb3BlPUZhbHNlwqdzJHdvSVM9RmFsc2U=&nrf=0_TGlzdGU=" target="_blank">http://www.dalloz.fr:80/documentatio...nrf=0_TGlzdGU=</a> HTTP/1.1" 200 587'
>>> reg.search(s)['req']
'POST <a href="http://www.dalloz.fr:80/documentation/SessionHandler.svc/GetSessionLive?id=RECUEIL/IR/1996/0884&ctxt=0_YSR0MT1sZSBqdWdlIGV0IGFwcGxpY2F0aW9uIGRlIGxhIGxvaSBldHJhbmdlcmXCp3gkc2Y9cGFnZS1yZWNoZXJjaGU=&ctxtl=0_cyRwYWdlTnVtPTHCp3MkdHJpZGF0ZT1GYWxzZcKncyRzb3J0PcKncyRzbE5iUGFnPTIwwqdzJGlzYWJvPUZhbHNlwqdzJHBhZ2luZz1UcnVlwqdzJG9uZ2xldD3Cp3MkZnJlZXNjb3BlPUZhbHNlwqdzJHdvSVM9RmFsc2U=&nrf=0_TGlzdGU=" target="_blank">http://www.dalloz.fr:80/documentatio...nrf=0_TGlzdGU=</a> HTTP/1.1'

le champ req se compose de la méthode HTTP (GET, POST, HEAD, OPTION..) suivi d'un espace puis des données (lesquelles proviennent directement de l'utilisateur) suivi d'un espace puis de la version HTTP et se termine par un guillemet :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
>>> pattern =   r'^'                             \
...             r'(?P<ip>(?:\d+\.){3}\d+) - '    \
...             r'(?P<login>-|.+?) '             \
...             r'\[(?P<datetime>.{26})\] '      \
...             r'\"(?P<method>GET|POST) '       \
...             r'(?P<datas>.+) '                \
...             r'(?P<version>HTTP/\d\.\d)\" '   \
...             r'(?P<code>\d+) '                \
...             r'(?P<bytesent>-|\d+)'           \
...             r'$'
>>> reg = re.compile(pattern)
>>> reg.search(s)['method']
'POST'
>>> reg.search(s)['version']
'HTTP/1.1'
>>> reg.search(s)['datas']
'<a href="http://www.dalloz.fr:80/documentation/SessionHandler.svc/GetSessionLive?id=RECUEIL/IR/1996/0884&ctxt=0_YSR0MT1sZSBqdWdlIGV0IGFwcGxpY2F0aW9uIGRlIGxhIGxvaSBldHJhbmdlcmXCp3gkc2Y9cGFnZS1yZWNoZXJjaGU=&ctxtl=0_cyRwYWdlTnVtPTHCp3MkdHJpZGF0ZT1GYWxzZcKncyRzb3J0PcKncyRzbE5iUGFnPTIwwqdzJGlzYWJvPUZhbHNlwqdzJHBhZ2luZz1UcnVlwqdzJG9uZ2xldD3Cp3MkZnJlZXNjb3BlPUZhbHNlwqdzJHdvSVM9RmFsc2U=&nrf=0_TGlzdGU=" target="_blank">http://www.dalloz.fr:80/documentatio...nrf=0_TGlzdGU=</a>'

on voit clairement que les données en question c'est du HTML, à ce stade il conviendrait donc de dégainer BeautifulSoup ou autre pour récupérer ce qu'on souhaite.

Code:

1
2
3
4
>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(reg.search(s)['datas'], 'html.parser')
>>> soup.text
'http://www.dalloz.fr:80/documentatio...nrf=0_TGlzdGU='