Problème de lecture de stdin lors de pipe avec tail -f

Version imprimable

Bonjour à tous,

Mon programme doit surveiller des lignes insérées dans des fichiers de logs et renvoyées celles qui correspondent à une expression régulière. Mon problème est que lorsque je lance mon programme de cette manière, je n'ai pas de lignes en sortie quand j'injecte des lignes dans mon fichier_log :

Code:

tail -f fichier_log | python -u mon_prog arg1 arg2

Sachant que j'ai fait des tests en n'envoyant que des lignes correspondantes à mon expression régulière et que je n'ai pas eu de résultat alors que si je fais la même chose avec cette commande ça marche nickel :

Code:

cat fichier_log | python -u mon_prog arg1 arg2

Voici mon programme :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 #!/usr/bin/python -u import sys import re import time if len(sys.argv) != 3: sys.exit("You did not give the two necessary arguments.\nUsage : python ./cvfsparser.py filename VOP") file_name = sys.argv[1] sum_type = sys.argv[2] node_name = "" operation_type = "" operation_counter = "" file_name = file_name.rstrip("\n") sum_type = sum_type.rstrip("\n") for line in sys.stdin: line = line.rstrip("\n") regex="\s%s\sSUMMARY\s\[(\w+)\.\w+\]\s(\w+)\scnt\/(\d+)\s" % sum_type pattern = re.compile(regex) found = pattern.search(line) if found: node_name = found.group(1) operation_type = found.group(2) operation_counter = found.group(3) timestamp = time.time() print "PUTVAL %s.serveur/cvfs-%s/operations-%s %d:%s\n" % (node_name, file_name, operation_type, timestamp, operation_counter)
Si quelqu'un a une idée sur ce que je ne fais pas correctement ou sur une manière différente de faire ça pourrait grandement m'aider.

Merci d'avance.

16/08/2010, 19h32
josmiley

Code:

for line in sys.stdin.readlines():
17/08/2010, 09h28
Samb95

Citation:

Envoyé par josmiley

Code:

for line in sys.stdin.readlines():

Merci, mais j'ai déjà essayé d'ajouter le readlines() et ça ne fonctionne pas. Je viens de réessayer au cas où mais ça ne donne rien.
17/08/2010, 10h57
dividee

N'est-ce pas un problème de buffering ? Essaie de lancer Python avec l'option -u et d'utiliser readline():
cf http://docs.python.org/using/cmdline.html#cmdoption-u
17/08/2010, 11h08
Samb95

Citation:

Envoyé par dividee

N'est-ce pas un problème de buffering ? Essaie de lancer Python avec l'option -u et d'utiliser readline():
cf http://docs.python.org/using/cmdline.html#cmdoption-u

Merci pour l'info c'est effectivement un problème de buffering. Cependant, j'utilise déjà l'option -u dans le shebang de mon programme. Dans la doc que tu as linké, ils parlent d'utiliser "file.readline()" pour contourner le problème rencontré avec "for line in sys.stdin", mais je vois pas comment faire ... J'ai essayé de modifier mon programme en utilisant le "file.readline()" à la place mais sans résultat. Je pense que je ne le fais pas bien.

Sans doute comme ceci:

Code:

1
2
3
4
while True:
    line = file.readline()
    if not line: break
    # traitement de la ligne lue

Citation:

Envoyé par dividee

Sans doute comme ceci:

Code:

1
2
3
4
while True:
    line = file.readline()
    if not line: break
    # traitement de la ligne lue

Merci dividee, je viens de voir ton code je ne l'ai pas testé car j'ai fait un peu autrement mais ça y ressemble et ça fonctionne. Voici le code si jamais ça peut aider quelqu'un :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
line = sys.stdin.readline()
    while (line):
    line = line.rstrip("\n")
    regex="\s%s\sSUMMARY\s\[(\w+)\.\w+\]\s(\w+)\scnt\/(\d+)\s" % sum_type
    pattern = re.compile(regex)
    found = pattern.search(line)
 
    if found:
 
        node_name = found.group(1)
        operation_type = found.group(2)
        operation_counter = found.group(3)
        timestamp = time.time()
 
        print "PUTVAL %s.serveur/cvfs-%s/operations-%s %d:%s\n" % (node_name, file_name, operation_type, timestamp, operation_counter)
 
    line = sys.stdin.readline()
 
    if not line:break  #Je le rajoute d'après ce qu'à mis dividee pour être sûr de sortir

Je propose de condenser ainsi:
Code:

1 2 3 4 5 6 7 8 line = sys.stdin.readline().rstrip("\n") while line: found = re.search("\s"+sum_type+"\sSUMMARY\s\[(\w+)\.\w+\]\s(\w+)\scnt/(\d+)\s",line) if found: node_name,operation_type,operation_counter = found.groups() print "PUTVAL %s.serveur/cvfs-%s/operations-%s %d:%s\n" % \ (node_name, file_name, operation_type, time.time(), operation_counter) line = sys.stdin.readline().rstrip("\n")
"\s"+sum_type+"\sSUMMARY\s\[(\w+)\.\w+\]\s(\w+)\scnt/(\d+)\s"
est plus rapide que
"\s%s\sSUMMARY\s\[(\w+)\.\w+\]\s(\w+)\scnt\/(\d+)\s" % sum_type

Puisque dans ton cas tu ne peux pas définir une regex (= RegexObject ) par compilation préalable, autant ne pas s’enquiquiner et perdre du temps à en créer une à chaque ligne: il faut directement écrire

Code:

re.search("\s"+sum_type+"\sSUMMARY\s\[(\w+)\.\w+\]\s(\w+)\scnt/(\d+)\s",line)

Nota: ’/’ n’est pas un caractère qui nécessite d’être échappé.

if not line:break
complétement inutile avec while line:
Dans le code de dividee, c’est différent: il y a while 1.

Dans l’esprit “éviter des assignations inutiles“, il est aussi possible de faire:
Code:

1 2 3 4 5 6 7 8 line = sys.stdin.readline().rstrip("\n") while line: found = re.search("\s"+sum_type+"\sSUMMARY\s\[(\w+)\.\w+\]\s(\w+)\scnt/(\d+)\s",line) if found: print "PUTVAL %s.serveur/cvfs-%s/operations-%s %d:%s\n"\ % ('%s', file_name, '%s', time.time(), '%s')\ % found.groups() line = sys.stdin.readline().rstrip("\n")
mais bon, ça fait deux formatages à la suite, c’est pas foudroyant d’intérêt