Erreur Ply et Yacc

Version imprimable

Erreur Ply et Yacc

Bonjour,
Je suis en train de débuter avec ply.
Mon fichier min_lex.py est le suivant:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
 
import ply.lex as lex
 
tokens = (
	'NUMBER',
	'ADD_OP',
	'MUL_OP'
#	'PLUS',
#	'MINUS'
	)
 
#t_PLUS	= r'\+'
#t_MINUS	= r'-'
 
def t_NUMBER (t):
	r'\d+'
	t.value = int (t.value)
	return t
 
def t_newline(t):
	r'\n+'
	t.lexer.lineno += len(t.value)
 
t_ignore = ' \t'
 
def t_error(t):
	print ("Illegal character '%s'" %t.value[0])
	t.lexer.skip(1)
 
lex.lex()
 
if __name__ == "__main__":
	import sys
	prog = file (sys.argv[1]).read()
#	prog = file(sys.argv[1]).read()
	lex.input(prog)
 
	while 1:
		tok = lex.token()
		if not tok: break
		print ("line %d: %s(%s)" %(tok.lineno, tok.type, tok.value))

Mon fichier min_yacc.py est le suivant:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
 
import ply.yacc as yacc
from min_lex import tokens
 
operations = {
	'+' : lambda x,y: x+y,
	'-' : lambda x,y: x-y,
	'*' : lambda x,y: x*y,
	'/' : lambda x,y: x/y,
}
 
precedence = (
	('left', 'ADD_OP'),
	('left', 'MUL_OP'),
)
 
#I define operation linked to tokens
 
def p_expression(p):
	'''
    expression: expression ADD_OP expression
    | expression MUL_OP expression
        '''
	p[0] = operations [p[2]](p[1], p[3])
 
def p_error(p):
	print ("Erreur de syntaxe sur la ligne %d" % p.lineno)
	yacc.errork()
 
yacc.yacc(outputdir = 'generated')
 
if __name__ == "__main__":
	import sys
	prog = file(sys.argv[1]).read()
	result = yacc.parse(prog)
	print (result)

en compilant, j'ai l'erreur suivante:

Code:

1
2
3
4
5
6
7
8
 
ERROR: min_yacc.py:20: Syntax error. Expected ':'
Traceback (most recent call last):
  File "min_yacc.py", line 29, in <module>
    yacc.yacc(outputdir = 'generated')
  File "/usr/lib/python2.7/dist-packages/ply/yacc.py", line 3106, in yacc
    raise YaccError("Unable to build parser")
ply.yacc.YaccError: Unable to build parser

Quelqu'un pourrait-il me dire ce qui cloche SVP? Merci

05/05/2014, 18h47
wiztricks

Salut,

A la ligne 20, c'est le __doc__ de la fonction autrement dit la grammaire de votre parseur écrit sous forme de BNF-like.
Python + le codage de la grammaire + lex/yacc, pas facile d'empiler les abstractions sans se prendre les pieds dans le tapis. C'est tellement prise tête que je ne suis pas certain que quelqu'un prendra le temps de réfléchir à votre place.

Le plus simple serait de partir des exemples, leur appliquer de "petites" variations, tester, intégrer,...

Bon courage.

- W
06/05/2014, 08h08
dimele

Justement c'est un exemple que j'ai pris et que je n'ai pas encore modifié. Je demande juste des avis sur l'erreur.
Merci
06/05/2014, 08h13
plxpy

Citation:

Envoyé par wiztricks

A la ligne 20, c'est le __doc__ de la fonction autrement dit la grammaire de votre parseur écrit sous forme de BNF-like.

Et plus précisément, à la ligne 21 (dans ce que tu as posté), ce sont les deux-points ´:´ qui ne devraient pas être accolés à 'expression' et qui provoquent l'erreur au sens de la grammaire de ton parser, pas de celle de Python.

Si tu ajoutes un espace ... tu auras une autre erreur (de mémoire, je l'ai testé hier mais sur une autre machine) indiquant que le token 'NUMBER' est défini (ligne 5) mais jamais utilisé. Encore une erreur, non pas Python, mais de grammaire du parser.

Je ne saurai trop te conseiller de suivre les conseils de wiztricks à savoir partir d'exemples corrects donnés sur le site de PLY et d'y aller progressivement en modifiant des petites choses, au coup par coup.

Et aussi de bien faire la part des choses entre erreurs Python et erreurs de grammaire du parser.

EDIT :

Citation:

Envoyé par dimele

Justement c'est un exemple que j'ai pris et que je n'ai pas encore modifié

J'en doute (très) fort.

D'ailleurs, ça ressemble à ça mais tu as commenté et supprimé tout un tas de choses : c'est ok pour Python, mais pas pour la grammaire de ton parser.
06/05/2014, 09h40
dimele

Je n'ai pas pris l'exemple de la calculatrice. Je suis plutôt l'exemple en français parce qu'il est non seulement en français mais permet de voir les choses étape par étape, enrichissant pas à pas la grammaire.

J'avais effectué les modifications dont tu parles et j'ai comme toi les erreurs sur la grammaire.

Existe une documentation sur les fonctions yacc?

Merci
06/05/2014, 14h09
Tryph
Salut,

je suppose que tu suis le tuto qui se trouve à cette adresse: http://www.matthieuamiguet.ch/media/...eEnMainPLY.pdf
j'ai vu juste?

dans ton code , je vois déjà un problème: tes tokens ADD_OP et MUL_OP ne sont définis nulle part.
il faut les définir de la même manière qu'étaient définis les tokens PLUS et MINUS avec une expression régulière adéquate

ensuite en testant ton code, plusieurs autres problème apparaissent:
- il manque la fontion p_expression_num qui défini une "expression"
- il faut un espace entre "expression" et ":" dans la docstring de la fonction p_expression
- y a un "r" en trop dans "yacc.errok()"
et je crois que c'est tout.
une fois tout ça corrigé, ça devrait être bon... ou pas loin.
06/05/2014, 16h04
dimele
Exactement c'est ce tutoriel que je suis. Justement je regarde depuis peu comment dire que t_ADD_OP vaut r'\+' ou r'-' mais je n'y parviens pas.
J'ai fait ça
Code:

1 2 3 4 5 6 7 8 def t_ADD_OP (t): if ( t.value == '+'): r'\+' t.value = r'\+' elif (t.value == '-'): r'-' t.value = r'-'
mais ça ne marche pas.
J'ai aussi tenté ça
Code:

1 2 3 4 5 def t_ADD_OP (t): ''' t_ADD_0P: r'\+' | r'-' '''
Là, je n'ai pas d'erreurs mais quand je teste avec un fichier contenant 2 + 3, j'obtient Illegal character '+'.

En plus quand je cherche tout ce qui concerne les expressions régulières, je ne tombe que sur regrex (re) de python
06/05/2014, 16h22
Tryph
Citation:

Envoyé par dimele

En plus quand je cherche tout ce qui concerne les expressions régulières, je ne tombe que sur regrex (re) de python

bah la doc du module re de python, c'est exactement ce qu'il te faut pour comprendre la syntaxe demandée.
t'auras pas à utiliser les fonctionalités du module re, mais ce que tu dois utiliser dans tes script a très exactement la même syntaxe que ce que tu utiliserai pour écrire un pattern d'expression régulière.

je te donne 2 solutions pour décrire ADD_OP, je te laisserai trouver pour MUL_OP (ça sera pas bien difficile):
Code:

1 2 3 ADD_OP = r"[+-]" # ou ADD_OP = r"\+|-"
06/05/2014, 16h30
dimele
Je pense que tu as omis le t_. Ce qui marche est :
Code:

1 2 3 t_ADD_OP = r"\+ | -" t_MUL_OP = r'\* | /'
Sans le t_ , le "Illegal character '+'" demeure.

Merci