parsing de string

Version imprimable

14/06/2010, 15h10
Shinjikun

parsing de string

Bonjour à tous,

J'espère que mon intitulé de sujet est correct :?

Je travaille actuellement avec des fichier ayant des lignes de ce format :
1251763920 udp 6:92:33:18:28:2839:else:537:2:728:12:13:15:12973:38:255:1:12977:255:56:5:13 tcp 1:1:else:6

Je dois pour chaque ligne du fichier ajouter certaine valeur a des compteur :

le fichier est construit ainsi :

Date "nom de protocole" type:"nombre d'occurrence":type:"nombre d'occurrence" ainsi de suite jusqu'à "nom de protocole" type:...

avec le mot else comme type pour les type non reconnu par le programme

j'aimerais pour chaque type ajouter le nombre d'occurrence à un compteur.

Actuellement j'ai splitté la chaine en une liste séparant chaque terme et je la parcours, mais y aurait-il un moyen "plus élégant" avec une regular expression par exemple ?

Merci,
14/06/2010, 15h36
eyquem

Salut,

On devrait pouvoir faire ça facilement.

Mais je ne comprend pas bien:

dans la ligne

Citation:

1251763920 udp 6:92:33:18:28:2839:else:537:2:728:12:13:15:12973:38:255:1:12977:255:56:5:13 tcp 1:1:else:6

la date est 1251763920

les types sont udp , else , tcp

les nombres d’occurences sont 6:92:33:18:28:2839 pour udp

les nombres d’occurences sont 537:2:728:12:13:15:12973:38:255:1:12977:255:56:5:13 et aussi 6 pour else

les nombres d’occurences sont 1:1 pour tcp

il y a un blanc devant et derriere udp et tcp, mais il y a : devant et derriere else

C’est bien ça ?
14/06/2010, 15h55
Shinjikun

presque ^^

1251763920 est la date
udp et tcp sont les deux type de protocole

et ensuite les suite comme celle-ci sont :
6:92:33:18:28:2839:else:537

6 le type 92 le nombre d'occurrence
33 le type 18 le nombre d'occurrence
ainsi de suite
else le type 537 le nombre d'occurence

date et protocole sont séparé par des espace, les type:occurrence par des deux points

tcp, n'apparait pas forcément à chaque ligne
14/06/2010, 16h04
eyquem

Ah oui d’accord.... je croyais poser une question bête, mais en fait c’est moi qui suis bête de ne pas avoir compris.
Quoique si les explications étaient un tantinet plus développées ce ne serait pas plus mal.

J’ai la solution, mais pas pour ta question . :mrgreen:

Je pense sortir la bonne solution dans 10 mn.
Je fais avec une regex.
14/06/2010, 16h10
Shinjikun

héhé désolé, j'avais le nez dedans depuis un moment, après on oublie de bien décrire la chose :aie:

Waou, ce serait génial :) ! Merci beaucoup de prendre du temps pour mon problème !

Des minutes à rallonge....

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from collections import defaultdict
import re
 
nbo = defaultdict(int)
 
with open('nbo.txt') as f:
    for match in re.finditer('(udp|tcp) ([else\d:]+)',f.read()):
        le_type = match.group(1) + '_'
        li = match.group(2).split(':')
        for i in range(0,len(li),2):
            nbo[le_type + li[i]] += int(li[i+1])
 
 
for x in nbo:
    print(x,'  ',nbo[x])

C'est en Python 3.1

Avec un fichier dans lequel ta ligne d'exemple est présente 3 fois, ça donne

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
udp_33    54
udp_1    38931
udp_2    2184
udp_5    39
udp_else    1611
tcp_1    2
udp_6    276
udp_28    8517
udp_38    765
udp_12    39
udp_15    38919
udp_255    168
tcp_else    12

14/06/2010, 16h52
Shinjikun

Waou! C'est impressionnant!

Merci beaucoup, tu m'as permis de gagner un temps précieux et surtout avoir un code plus propre et efficace ^^ j'étais entrain de bidouiller avec des find, des split et tout ça

Encore merci !
++

Pardon, le fichier qui donne les résultats ci-dessus ne comporte pas trois fois la ligne que tu as donnée en exemple, mais ceci (j’ai éliminé une section tcp pour conformer à l’absence éventuelle de tcp)
Code:

1 2 3 1251763920 udp 6:92:33:18:28:2839:else:537:2:728:12:13:15:12973:38:255:1:12977:255:56:5:13 tcp 1:1:else:6 1251763920 udp 6:92:33:18:28:2839:else:537:2:728:12:13:15:12973:38:255:1:12977:255:56:5:13 1251763920 udp 6:92:33:18:28:2839:else:537:2:728:12:13:15:12973:38:255:1:12977:255:56:5:13 tcp 1:1:else:6
Citation:

j'étais entrain de bidouiller avec des find, des split et tout ça

Ah oui ça, il ne faut pas s’y perdre.
Les regex , c’est un truc qui me laisse encore pantois. Mais il ne faut pas s'y perdre non plus.
Il faut un bon dosage.
Comme entre le sel et le sucre dans la patisserie.

14/06/2010, 17h07
Shinjikun

je profite encore de ta présence,

J'ai un peu de mal avec les regex... ca rentre lentement...
Ici, si je veux ajouter un champ udp_total et tcp_total qui cumulerais la somme de tous les type rencontré, comment je peux procéder ?

ps: t'as le droit de me dire débrouilles toi :p
14/06/2010, 17h13
Shinjikun

C'est tout bon, je viens de comprendre ^^
Encore merci ++