Discussion :

[lucie34]

Bonjour,

Je voudrais découper une chaîne de caractères par des séparateurs comme les espaces, des signes de poncutations, le point, la virgule. Chaque ligne aura un seul mot (un token), tous les séparateurs seront également affichés dans chaque ligne.

Ex : chaîne :Il march, elle marche.

l'affichage sera comme :

Il
marche
,
elle
marche

Je n'arrive pas à afficher un token par ligne, mais ca a affiché un caractère par ligne.

Merci de votre aide ? Merci

voici mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
def tokenize(a):
    ponc = [' ','.',',','!','?',';',':']
    for x in a:
        if x[-1] in ponc:
            #print(x[0:-1])
            print(x[-1])
        else:
            print(x)
print (tokenize("Une chaîne de caractère va être séparée par un espace, une virgule, un pont, etc."))

[Sve@r]

Bonjour

Je voudrais découper une chaîne de caractères par des séparateurs comme les espaces, des signes de poncutations, le point, la virgule. Chaque ligne aura un seul mot (un token), tous les séparateurs seront également affichés dans chaque ligne.

Ex : chaîne :Il marche, elle marche.

l'affichage sera comme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
Il
marche
,
elle
marche

Déjà là il y a un souci. En effet, la virgule comme le point sont des séparateurs. Mais dans le résultat montré, la virgule apparait tandis que le point n'apparait pas. Il y a donc incohérence (ou plutôt inéquité) entre les séparateurs. Or en informatique, rien n'est plus difficile à programmer que l'inéquité (en général ça se traduit par des "if" dans tous les sens).

S'il n'y a pas inéquité (donc erreur de ta part dans l'affichage du but à atteindre), alors je pense à priori (donc l'idée n'est pas complètement fixée) que le plus simple serait de copier la chaine d'origine dans une chaine de travail tout en uniformisant tous les séparateurs (donc convertir tout ce qui est virgule, point-virgule, etc en un séparateur unique) ; puis découper la chaine de travail sur cet unique séparateur.

[wiztricks]

Salut,

On peut aussi utiliser des regexp:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
>>> import re
>>> text = "Il march, elle marche."
>>> ponc = [' ','.',',','!','?',';',':']
>>> re.split(r'([%s])' % '|'.join(ponc), text)
['Il', ' ', 'march', ',', '', ' ', 'elle', ' ', 'marche', '.', '']
>>>

- W

[CosmoKnacki]

Moi je ferais plutôt ça pour sucrer les espaces et se passer de ponc:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
>>> import re
>>> text = 'Il marche, elle marche.'
>>> re.findall(r'\w+|\S', text)
['Il', 'marche', ',', 'elle', 'marche', '.']

[wiztricks]

En effet, c'est bien mieux.

- W

[lucie34]

Oh, j'ai oublié de mettre le point pour l'affichage souhaité dans l'exemple que j'ai donné.

Bonjour


Déjà là il y a un souci. En effet, la virgule comme le point sont des séparateurs. Mais dans le résultat montré, la virgule apparait tandis que le point n'apparait pas. Il y a donc incohérence (ou plutôt inéquité) entre les séparateurs. Or en informatique, rien n'est plus difficile à programmer que l'inéquité (en général ça se traduit par des "if" dans tous les sens).

S'il n'y a pas inéquité (donc erreur de ta part dans l'affichage du but à atteindre), alors je pense à priori (donc l'idée n'est pas complètement fixée) que le plus simple serait de copier la chaine d'origine dans une chaine de travail tout en uniformisant tous les séparateurs (donc convertir tout ce qui est virgule, point-virgule, etc en un séparateur unique) ; puis découper la chaine de travail sur cet unique séparateur.

[lucie34]

Bonjour,

Je ne peux pas utiliser split.. des fonctions définies dans Python.
J'ai trouvé cette solution (voir en bas), mais il y a encore un petit problème. Chaque mot est bien présenté par ligne, avec les signes de ponctuations, mais comme je peux ne pas afficher quand c'est l'espace, car cela donne des lignes vides quand c'est l'espace.

Une autre question dans mon code sur mot="" : pourriez vous me dire, que cela signifie ? J'ai testé par hasard, mais sans rien comprendre, et pourquoi il faut aussi mettre mot="" dans if.
Merci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
def tokenize(chaine):
	ponc = [' ','.',',','!','?',';',':']
	mot=""
	for char in chaine:
		if char in ponc:
			print(mot)
			print(char)
			mot=""
		else:
			mot = mot + char			
print (tokenize("il marche, elle marche."))

[Sve@r]

J'ai trouvé cette solution (voir en bas), mais il y a encore un petit problème. Chaque mot est bien présenté par ligne, avec les signes de ponctuations, mais comme je peux ne pas afficher quand c'est l'espace, car cela donne des lignes vides quand c'est l'espace.

Non, ce n'est pas que "ça donne une ligne vide quand c'est l'espace", c'est "ça donne une ligne vide quand il y a deux caractères de ponctuation qui se suivent". Ce serait bien que tu comprennes ce que tu "trouves". Dans cette solution tu balayes ta chaine caractère par caractère. Si le caractère n'est pas de la ponctuation tu le rajoutes à "mot". Si c'est de la ponctuation alors tu affiches le mot construit précédemment et tu le réinitialises (ceci qui répond d'ailleurs à ta seconde question).
Dans la chaine "il marche, elle marche." il y a deux caractères de ponctuation à suivre (la virgule et l'espace). Donc quand "ton" programme arrive à l'espace le mot a déjà été affiché lors de la virgule et il est alors vide. Donc ça affiche un mot vide.
Suffit donc de tester, lors de l'affichage, si le mot est/n'est pas vide. Et éviter d'afficher aussi ce que renvoie la fonction car elle ne renvoie rien

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
def tokenize(chaine):
	ponc = (' ','.',',','!','?',';',':')
	mot=""
	for char in chaine:
		if char not in ponc:
			mot = mot + char			
		elif mot:
			print(mot)
			mot=""
 
tokenize("il marche, elle marche.")

J'ai testé par hasard, mais sans rien comprendre

C'est bien ça le drame.

[lucie34]

Bonjour,
Dans mon code, je ne comprend pas pourquoi lorsqu'il y a deux caractères de ponctuations qui se suivent, une ligne vide apparaît.
Pourriez vous me donner un exmple ? Merci
Une autre problème : Si je ne mets pas le point à la fin de la phrase, le dernier mot n'apparaît pas.

[Sve@r]

Donc quand "ton" programme arrive à l'espace le mot a déjà été affiché lors de la virgule et il est alors vide. Donc ça affiche un mot vide.

Dans mon code, je ne comprend pas pourquoi lorsqu'il y a deux caractères de ponctuations qui se suivent, une ligne vide apparaît.

Oh ? Tu les lis les mots qu'on écrit ou bien ils font juste un vague "flonflon" dans ta tête ?

Pourriez vous me donner un exmple ? Merci

il marche, elle marche.

Une autre problème : Si je ne mets pas le point à la fin de la phrase, le dernier mot n'apparaît pas.

Ben oui. Parce que tu n'affiches le mot que lorsque tu rencontres un caractère de ponctuation. Donc si pas de caractère rencontré alors pas d'affichage.