[string] Trier alphabetiquement des string avec des caracteres speciaux

Version imprimable

15/09/2011, 11h32
KINENVEU

[string] Trier alphabetiquement des string avec des caracteres speciaux

bonjour,

j'aimerai donc trier par ordre alphabetique des string avec des caracteres speciaux.
du type :
"œil", "Æ", "être", "île", "éveil", ...

Quand je lance un "sort" brut, je n'ai pas le resultat voulu.
(a savoir par exemple: "île" entre "hibou" et "jardin")

j'ai essaye avec le key=str.lower(), ca me regle le probleme des capitales.
Je n'ai pas trouve de fonction qui me transforme les caracteres speciaux en un equivalent dans [a-z].
(par exemple: f("œil") produit "oeil", f("île") produit "ile", ...)

quelqu'un aurait-il une idee ? :calim2:

merci par avance.
15/09/2011, 12h49
Sve@r
Salut

Tu définis ta fonction de comparaison telle que tu la veux. Elle doit
- recevoir 2 éléments à comparer
- renvoyer -1; 0 ou 1 selon que l'élément 1 est plus petit (selon ta propre conception de "plus petit"), égal ou plus grand que l'élément 2

Exemple
Code:

1 2 3 4 def compar(x, y): ... tout un code qui va gérer Æ avec le reste pour finalement ... renvoyer -1 ou 0 ou 1
Ensuite, te suffit d'invoquer tableau.sort(fct) si tu veux trier ton tableau (il sera donc modifié) ou bien sorted(tableau, fct) si tu veux que le tri se fasse à la volée. Et tu peux éventuellement rajouter "reverse=True" si tu veux inverser le tri...

Exemple
Code:

1 2 3 tab=["œil", "Æ", "être", "île", "éveil"] b=sorted(tab, compar, reverse=True) print b
15/09/2011, 13h01
KINENVEU

Citation:

Envoyé par Sve@r

Salut

Tu définis ta fonction de comparaison telle que tu la veux. Elle doit
- recevoir 2 éléments à comparer
- renvoyer -1; 0 ou 1 selon que l'élément 1 est plus petit (selon ta propre conception de "plus petit"), égal ou plus grand que l'élément 2

merci.
Mais avec cette approche,
je vais devoir coder toutes les conversions de carateres speciaux a la main quand meme.
Et c'est exactement ce que je voudrais eviter.

Malheureusement, il semble ne pas y avoir de solution miracle (je trouve d’ailleurs que ça manque…). Donc, je crains qu’il ne te faille coder tes “transcriptions” à la main… Perso, je ferais comme ça*:

* Créer une table de conversion (c’est la partie la plus pénible, python pourrait en fournir une…).
* Trier en utilisant translate en plus de lower.
Code:

1 2 3 4 5 >>> trans = str.maketrans({"œ":"oe", "æ":"ae", "é":"e", "è":"e","ê":"e"}) #etc. >>> l = ["dummy", "alors", "œuf", "advanced", "ætéria", "être", "étirer"] >>> l.sort(key=lambda k: k.lower().translate(trans)) >>> l ['advanced', 'ætéria', 'alors', 'dummy', 'étirer', 'être', 'œuf']

Bonjour,

S'il faut faire un tri selon le dictionnaire français, il existe une solution toute faite déjà intégrée à Python et qui ne marche pas mal.

Pour vérifier si elle marche dans tous les cas, j'ai vérifié avec cet excellent article http://www-clips.imag.fr/geta/gilles...-francais.html.

J'ai fait quelques compléments, et j'ai fini par adopter le code suivant qui marche dans tous les cas que j'ai essayés:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 import locale class Compfr(object): def __init__(self, decod='utf-8'): self.decod = decod locale.setlocale(locale.LC_ALL, '') self.espinsec = u'\xA0' # espace insécable def __call__(self, v1, v2): # on convertit en unicode si nécessaire if isinstance(v1, str): v1 = v1.decode(self.decod) if isinstance(v2, str): v2 = v2.decode(self.decod) # on retire les tirets et les blancs insécables v1 = v1.replace(u'-', u'') v1 = v1.replace(self.espinsec, u'') v2 = v2.replace(u'-', '') v2 = v2.replace(self.espinsec, u'') # on retourne le résultat de la comparaison return locale.strcoll(v1, v2)
Voilà comment on l'utilise (ici sur un exemple de test):
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 L = ['pèche', 'PÈCHE', 'pêche', 'PÊCHE', 'péché', 'PÉCHÉ', 'pécher', 'pêcher'] compfr = Compfr() L.sort(cmp=compfr) for mot in L: print mot pèche PÈCHE pêche PÊCHE péché PÉCHÉ pécher pêcher
La liste à trier est supposée être composée de mots encodés soit en unicode, soit en utf-8. Si ce n'est pas en utf-8, on peut donner l'encodage au lancement de l'instance de classe Compfr(). De ce fait, les comparaisons sont faites en unicode.

Si on est dans Python 3.x, l'argument cmp de la méthode sort n'existe plus. Grâce au module functools et à sa fonction cmp_to_key, on peut utiliser la même méthode de comparaison avec l'argument key de sort:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 L= [u'vicennal', u'vice-consul', u'vice-roi', u'vice-président', u'vice' + u'\xA0' + u'versa', u'vice-versa', u'vicésimal'] compfr = Compfr() L.sort(key=cmp_to_key(compfr)) for mot in L: print mot vice-consul vicennal vice-président vice-roi vicésimal vice versa vice-versa
Bien entendu, le cas des voyelles liées comme œ,Æ, ... est traité!

Essaie pour voir si ça te convient.

18/09/2011, 16h52
KINENVEU

merci pour vos reponses.

Je trouve la solution de "mont29" elegante.
Je l'utiliserai en plan B (car je tiens a eviter de faire les conversions a la main)

La solution de "tyrtamos" correspond tout a fait a ce que je cherche. :D
Je vais la tester de ce pas et je vous tiens au courant.

merci encore.

Je n'arrive pas a faire marcher la solution de "tyrtamos". :aie:

voici le code :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 # encoding:UTF-8 import locale class Compfr(object): def __init__(self, decod='utf-8'): self.decod = decod locale.setlocale(locale.LC_ALL, '') self.espinsec = u'\xA0' # espace insécable def __call__(self, v1, v2): # on convertit en unicode si nécessaire if isinstance(v1, str): v1 = v1.decode(self.decod) if isinstance(v2, str): v2 = v2.decode(self.decod) # on retire les tirets et les blancs insécables v1 = v1.replace(u'-', u'') v1 = v1.replace(self.espinsec, u'') v2 = v2.replace(u'-', '') v2 = v2.replace(self.espinsec, u'') # on retourne le résultat de la comparaison return locale.strcoll(v1, v2) if __name__ == "__main__": ## L = ['pèche', 'PÈCHE', 'pêche', 'PÊCHE', 'péché', 'PÉCHÉ', 'pécher', 'pêcher'] L = ["œil", "Æ", "être", "île", "éveil", "aba", "afa", "oda", "ofa", "eve", "ila", "ilf"] ## compfr = Compfr() compfr = Compfr("iso-8859-7") L.sort(cmp=compfr) for mot in L: print mot
J'ai rajoute

Code:

# encoding:UTF-8

a cause des accents dans les commentaires.

Ensuite, j'ai change le type d'encodage (un peu au hasard)

Code:

compfr = Compfr("iso-8859-7")

car j'avais une erreur

Code:

UnicodeDecodeError: 'utf8' codec can't decode byte 0xc6 in position 0: unexpected end of data

sinon.

Enfin, j'ai change la liste test

Code:

L = ["œil", "Æ", "être", "île", "éveil", "aba", "afa", "oda", "ofa", "eve", "ila", "ilf"]

car elle est plus significative pour moi dans un 1er temps.

J'obtiens
Code:

1 2 3 4 5 6 7 8 9 10 11 12 œil aba afa eve ila ilf oda ofa Æ éveil être île
ce qui n'est pas du tout ce que j'attendais. :(

Qu'est-ce que j'ai mal fait ?

18/09/2011, 19h34
tyrtamos
Bonjour,

Avec ta liste et ton code, corrigé de "compfr = Compfr('utf-8')", j’obtiens bien le bon résultat:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 aba Æ afa être eve éveil ila île ilf oda œil ofa
Mais pour cela, Python doit savoir sous quel encodage tu écris tes textes! Il faut donc commencer par mettre au début de ta page:

Code:

# -*- coding: utf-8 -*-

Et, bien entendu, ton éditeur doit pouvoir éditer et enregistrer en utf-8.

Enfin, quand tu affiches, il faut que la chaine soit encodée en fonction de ce que supporte ton afficheur. Si c'est de l'utf-8, tant mieux, il n'y a rien à faire. Si c'est un éditeur Windows, comme avec PyScripter par exemple, l'encodage est 'cp1252'. Il faut dans ce cas corriger la chaine à l'impression avec:
Code:

1 2 for mot in L: print mot.decode('utf-8').encode('cp1252')
Ok?

Ca ne marche toujours pas. :-(

J'ai la meme erreur qui revient:
Code:

1 2 3 4 5 6 7 8 9 Traceback (most recent call last): File "toto.py", line 36, in <module> L.sort(cmp=compfr) File "toto.py", line 16, in __call__ v1 = v1.decode(self.decod) File "C:\Python25\lib\encodings\utf_8.py", line 16, in decode return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError: 'utf8' codec can't decode byte 0xc6 in position 0: unexpected end of data >Exit code: 1
C'est pour cela que j'avais essaye avec un autre codec.

Question bonus :
quel est la difference entre

Code:

# -*- coding: utf-8 -*-

et

Code:

# encoding:UTF-8

?

Par contre, en mettant :

Code:

compfr=Compfr('cp1252')

ca a l'air de marcher.
Je vais essayer avec mon application pour voir si ca marche aussi.

En pratique, comment fait-on pour determiner le codec necessaire ?

18/09/2011, 22h08
tyrtamos
Je ne connais pas tes outils de développement. Mais si cp1252 a l'air de marcher, c'est peut-être que ton texte est encodé en cp1252? Dans ce cas, essaie de commencer ta page de code par:

Code:

# -*- coding: cp1252 -*-

Tu n'es pas obligé de travailler en utf-8! Mais tu dois savoir sous quel encodage tu travailles.

Voilà une astuce (Python 2.7). Dans ton éditeur, écris:
Code:

1 2 3 ch = "é" print type(ch) print len(ch)
Si le type de ch est 'str' et la longueur est 2: c'est de l'utf-8.

Si le type de ch est 'str' et c'est la longueur 1, ce n'est pas de l'utf-8, mais ça peut être beaucoup d'encodages: cp1252 (=Windows), cp850 (DOS), latin1 ou iso-8859 (standard de l'Europe de l'ouest).

Bonjour,

Pourquoi ne pas faire confiance au système ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
#
#
import locale
 
class Compfr(object):
 
    def __init__(self):
        from sys import stdin
        self.decod = stdin.encoding
        locale.setlocale(locale.LC_ALL, '')
        self.espinsec = u"\xA0"
 
    def __call__(self, v1, v2):
        # on convertit en unicode si nécessaire
        if isinstance(v1, str):
            v1 = v1.decode(self.decod)
        if isinstance(v2, str):
            v2 = v2.decode(self.decod)
 
        # on retire les tirets et les blancs insécables
        v1 = v1.replace(u'-', u'')
        v1 = v1.replace(self.espinsec, u'')
        v2 = v2.replace(u'-', '')
        v2 = v2.replace(self.espinsec, u'')
 
        # on retourne le résultat de la comparaison
        return locale.strcoll(v1, v2)
 
 
if __name__ == "__main__":
    import sys
    #L = ['pèche', 'PÈCHE', 'pêche', 'PÊCHE', 'péché', 'PÉCHÉ', 'pécher', 'pêcher']
    L = ["œil", "Æ", "être", "île", "éveil", "aba", "afa", "oda", "ofa", "eve", "ila", "ilf"]
    compfr = Compfr()
    L.sort(cmp=compfr)
    for mot in L:
        print mot

19/09/2011, 08h49
tyrtamos

Bonjour PauseKawa

A mon avis, sys.stdin.encoding donne l'encodage de l'entrée console qu'on aurait avec raw_input, mais pas l'encodage des chaines écrites dans le texte du code Python. C'est pour ça qu'il doit être précisé au début de ce code avec "# -*- coding: utf-8 -*-". Sinon, cette ligne serait inutile.

Mais, bien sûr, si on dit à Python avec cette ligne que le texte du code est encodé 'utf-8', ça doit être vrai! Et donc que l'éditeur de texte utilisé est configuré pour ça. On peut le vérifier, une fois le code enregistré sur disque, avec un éditeur hexadécimal indépendant, qui en lisant directement le fichier .py dira comment sont codés les caractères accentués:

- si le 'é' est codé E9 en hexadécimal, c'est du cp1252 (Windows) ou latin1/iso8859-1
- si le 'é' est codé 82 en hexadécimal, c'est du cp850 (MSDOS)
- si le 'é' est codé C3 A9 en hexadécimal, c'est de l'utf-8
19/09/2011, 12h29
KINENVEU
Pour synthetiser :
Si l'on connait l'encodage,
1. on decode les string en unicode
2. on importe le module "locale"
  
  Code:
  
  import locale
3. on initialise "locale"
  
  Code:
  
  locale.setlocale(locale.LC_ALL, '')
4. on utilise la methode "locale.strcoll"
  
  Code:
  
  locale.strcoll(v1, v2)
  
  pour comparer les string.
5. on peut verifier les resultats avec les exemples ici :http://www-clips.imag.fr/geta/gilles...-francais.html
(J'ai l'impression que le bloc ou l'on remplace les tirets et espaces insecables est inutile, a confirmer)

Donc, je retiens que ca fonctionne a condition de connaitre l'encodage des string a trier.

Il faut voir que la, on faisait le test sur une liste fournie dans le code source.
Mais dans mon application, je recupere ces strings dans des fichiers de donnees.
Comme les origines de ces fichiers sont differentes, je peux me retrouver avec le cas ou l'encodage est different d'un fichier a l'autre ...

Comment changer l'encodage d'un string ?

Sachant que lorsque j'essaie myStr.decode(oldCode).encode(newCode), ca plante dans la majoritee des cas.
19/09/2011, 14h47
tyrtamos
Bonjour,

Citation:

Envoyé par KINENVEU

J'ai l'impression que le bloc ou l'on remplace les tirets et espaces insecables est inutile, a confirmer)

Je ne l'ai ajouté que pour traiter complètement (ou presque) les cas:

Code:

L = [u'vice-consul', u'vicennal', u'vice-président', u'vice-roi', u'vicésimal', u'vice' + u'\xA0' + u'versa', u'vice-versa']

Mais tu peux ne pas en avoir besoin.

Citation:

Envoyé par KINENVEU

Donc, je retiens que ca fonctionne a condition de connaitre l'encodage des string a trier.

J'ai bien peur qu'on ne puisse y échapper... Dans la mesure où les caractères accentués ne sont pas toujours codés de la même façon d'un encodage à l'autre.

Cependant, s'il s'agit de fichiers, cela peut dépendre du domaine dans lequel on est. L'encodage latin1/iso8859-1 est assez courant. On peut même lui préférer l'iso8859-15 qui contient en plus '€'. Mais si on est dans un domaine dans lequel on peut trouver des textes issus de pays plus lointains, l'utf-8 a des capacités plus grandes. Et le 'cp850' ne sera trouvé que dans des fichiers créés par des logiciels assez anciens (j'ai déjà trouvé cela dans une base de données issue du BDE de Delphi)

A noter que dans certains cas, le fichier à lire démarre par quelques octets qui "signent" l'encodage: on appelle ça un "BOM" (http://fr.wikipedia.org/wiki/Marque_...dre_des_octets).

Citation:

Envoyé par KINENVEU

Comment changer l'encodage d'un string ?

Quand on connait l'encodage de départ (par exemple 'utf-8') et l'encodage d'arrivée (par exemple 'latin1'), c'est facile:
Code:

1 2 ch = ch.decode('utf-8').encode('latin1)
En fait, pour convertir, on passe toujours par l'intermédiaire de l'unicode interne (une sorte d'utf-16 simplifiée). Et ça marche très bien: quand il y a une erreur, c'est qu'on s'est trompé dans l'encodage de départ.

Et si on veut lire un fichier texte en connaissant son encodage, il faut utiliser le module codecs.

Il faut investir un peu de temps pour comprendre et maitriser ces problèmes d'encodage, parce que n'importe quel problème de saisie, traitement et affichage de texte y sera confronté. Et ce n'est spécifique ni à Python, ni à la méthode de tri choisie.
19/09/2011, 17h09
KINENVEU

Citation:

Envoyé par tyrtamos

Bonjour,

Citation:

Envoyé par KINENVEU

(J'ai l'impression que le bloc ou l'on remplace les tirets et espaces insecables est inutile, a confirmer)

Je ne l'ai ajouté que pour traiter complètement (ou presque) les cas:

Code:

L = [u'vice-consul', u'vicennal', u'vice-président', u'vice-roi', u'vicésimal', u'vice' + u'\xA0' + u'versa', u'vice-versa']

Mais tu peux ne pas en avoir besoin.

oui desole.
je m'etais trompe en testant.
tu as raison, on en a besoin pour que ca fonctionne correctement.

Globalement, je crois que la solution de "tyrtamos" repond bien au probleme de tri.
Merci beaucoup.
D'ailleurs, je crois qu'elle aurait sa place dans la FAQ. ;-)

En bonus, pour ce qui comme moi sont leger sur les unicodes, je vous conseille la lecture de ceci:
http://docs.python.org/howto/unicode
http://python.developpez.com/cours/
Bien que je n'ai toujours pas compris comment definir le codec pour l'output de scite(mais ca c'est un autre sujet),
ca m'a aide a mieux comprendre les concepts.
19/09/2011, 17h25
tyrtamos

Citation:

Envoyé par KINENVEU

Globalement, je crois que la solution de "tyrtamos" repond bien au probleme de tri.

Pour "rendre à César, etc...", cette solution est issue du fil: http://www.developpez.net/forums/d10...-strings-utf8/ (et merci à dividee!)

[Edit] pour être complet, je viens d'ajouter cette solution comme tuto sur mon site: http://python.jpvweb.com/mesrecettes...naire_francais. Y compris le tri indexé et la recherche rapide par dichotomie qui utilise la même fonction de comparaison.