Equivalent sort -u unix en python

Bjr,
J'aimerais savoir si il existe un module, ou comment procéder pour avoir l'équivalent de la commande unix sort -u (supprime les doublons)
En cherchant, les seuls réponses que j'ai trouvé sont de créer deux listes, d'en charger une avec les éléments de l'autre, un par un et de comparer à chaque fois ....

Le problème c'est que je dois trier de gros fichier, tout ça en mémoire, c'est pas top !
N'y a t'il pas une autre solution ?

Personne n'a eu l'idée de coder un module qui 'émule' les commande unix, tels que sort (avec les options k R r etc, etc, comme unix), ou d'autres commandes utiles, surtout sur les traitements de fichier pas commode en python.

Merci d'avance !

Tu oeut essayer avec set(), ça enlève les doublon.

Code:

---

1 2 3 4 5

>>> li = [1, 2, 5, 8, 4, 1, 8, 7, 5, 2] >>> liSort = set(sorted(li)) >>> list(liSort) [1, 2, 4, 5, 7, 8]

---

Après je sais pas comment ça se passe en mémoire.

Je me doutais bien qu'il y avait une fonction pour le tri simple (sinon, cela m'aurait vraiment fait regretter le bash), mais pour le tri plus complexe ? Par exemple sur la troisième colonne de chaque éléments de la liste ?

Ca se complique là ! Obligé de passer par un boucle et tester chaque éléments ? Il n'y a pas de fonction magique :) ?

Thx.

Bonjour,

Pour les doublons, on peut aussi supprimer de la liste les éléments qui se répètent, ce qui permet de ne pas avoir 2 listes en mémoire. L'instruction L.pop(i) supprime l'élément d'indice i. On parcourt alors la liste triée avec une boucle while. Par exemple:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

L = [1,2,2,3,4,5,5,5,5,6,6]   i = 1 while i<len(L): if L[i] == L[i-1]: L.pop(i) else: i += 1   print L [1, 2, 3, 4, 5, 6]

---

Pour le tri sous Python, les fonctions sort et sorted sont très puissantes et très adaptables.

L.sort() trie sur place et sorted(L) donne une nouvelle liste triée.

il y a 2 arguments optionnels à ces fonctions sous Python 2.6: cmp et key. Ces arguments sont des fonctions qui permettent de modifier les valeurs que la fonction de tri utilise dans ses comparaisons. En créant ses propres fonctions (c'est facile), on peut trier n'importe quoi, y compris, par exemple, une liste d'instance de classe par rapport à l'un des attributs, ou une liste de liste de chaines par rapport à une sous-chaine du 3ème élément. On peut aussi faire des tris selon l'alphabet français du dictionnaire ou selon l'ordre qu'on veut pour afficher des contenus de répertoires de disque (majuscule d'abord, puis tenir compte des caractères accentués, etc...).

Prenons un petit exemple:

On veut trier la liste suivante selon le 2ème élément de chaque sous-liste:

Code:

---

L = [[9,4,7],[6,1,4],[2,7,4],[0,9,8],[4,3,7],[2,1,0],[3,7,9]]

---

On définit une nouvelle fonction de comparaison: les arguments v1 et v2 étant les éléments de la liste L, seront en fait ses sous-listes. Il est alors facile d'identifier le 2ème élément de chaque sous-liste (indice=1).

Code:

---

1 2 3 4 5 6 7

def comp(v1, v2): if v1[1]<v2[1]: return -1 elif v1[1]>v2[1]: return 1 else: return 0

---

Et on trie comme d'habitude:

Code:

---

L.sort(cmp=comp)

---

Cela donne:

Code:

---

[[6, 1, 4], [2, 1, 0], [4, 3, 7], [9, 4, 7], [2, 7, 4], [3, 7, 9], [0, 9, 8]]

---

Ce qui est un résultat correct!

A noter que les tris sont stables, c'est à dire ne modifient pas l'ordre des éléments dont les valeurs de tri sont égales. Ce qui permet d'appliquer successivement plusieurs tris.

Je crois que Python 3.0 n'a plus que l'argument key, mais on peut faire la même chose avec:

Code:

---

1 2 3 4 5

def cle(v): return v[1]   L.sort(key=cle)

---

ce qui donne le même résultat trié.

Tyrtamos

Pourquoi ne pas appeler directement le Terminal dans le script Python...

Citation:

---

pour le tri plus complexe ? Par exemple sur la troisième colonne de chaque éléments de la liste ?

---

Tu peux aussi utiliser itemgetter:

Code:

---

1 2 3 4

from operator import itemgetter L = [[9,4,7],[6,1,4],[2,7,4],[0,9,8],[4,3,7],[2,1,0],[3,7,9]] L.sort(key=itemgetter(2)) print L

---

Code:

---

[[2, 1, 0], [6, 1, 4], [2, 7, 4], [9, 4, 7], [4, 3, 7], [0, 9, 8], [3, 7, 9]]

---

Bjr,
Et ben ... Ca c'est de la réponse ! Et vite fait en plus.

Merci à vous, c'est tout de suite plus clair ! (parce que la doc, c'est bien, mais en français ce serait mieux, je perds un temps fou à essayer de traduire et résultat des courses, j'ai tjrs pas compris ;))

Salut,
Si les lignes du fichiers sont quelque peu structurées (des champs qui contiennent des libellés de texte ou un fichier CSV), vous pourriez vous amuser à charger le tout dans une table de base de donnée SQlite en
mémoire.
Comme il s'agit de texte, vous pourriez utiliser le numéro de la ligne lue comme clé primaire et un calcul md5 pour trouver les doublons.
Ensuite vous avez accès à toutes les fonctions SQL pour trier dans tous les sens.
- W