Supprimer lignes en doubles

Bonjour à tous,
je souhaite supprimer les lignes en double dans un fichier y compris la ligne originale.

Exemple:

Citation:

---

pommes
bananes
carottes
fraises
pommes
carottes

---

je veux en résultat:

Citation:

---

bananes
fraises

---

J'ai ce bout de code qui élimine les doublons mais je n'arrive pas à éliminer chaque ligne qui existe 2 fois.

Code:

---

1 2 3 4 5 6 7 8

seen = set() # holds lines already seen outfile = open(outfilename, "w") for line in open(infilename, "r"): if line not in lines_seen: # not a duplicate outfile.write(line) lines_seen.add(line) outfile.close()

---

Ce bout de code me donne:

Citation:

---

Pommes
bananes
carottes
fraises

---

Merci pour votre aide

Bonjour

(je mets de côté pour le moment le "problème" de la première ligne)

Tu ne peux pas, de toute façon, commencer à écrire des lignes "à la volée" tant que tu n'as pas exploité (lu) l'intégralité de ton fichier en entrée : quand tu tombes sur une ligne qui n'est jamais apparue précédemment, rien ne te dit que tu ne vas pas la retrouver un petit peu plus loin.

Donc, jette ton exemple de code : ce n'est pas avec une modification mineure que cela fonctionnera mieux.

Selon la taille, importante ou non, de ton fichier en entrée, tu chargeras l'ensemble des lignes ou feras deux passes pour éliminer les doublons.

Bonjour,

Voilà un petit code un peu "rustique" qui a l'air de faire le boulot.

Code:

---

1 2 3 4 5 6 7 8 9

# Python v2.7   with open("fichier.txt", 'r') as fs: liste = fs.readlines()   with open("fichiersansdoublon.txt", 'w') as fd: for ligne in liste: if liste.count(ligne)==1: fd.write(ligne)

---

Avec le fichier de départ contenant:

Citation:

---

pommes
bananes
carottes
fraises
pommes
carottes

---

le fichier résultant "fichiersansdoublon.txt" affiche bien:

Citation:

---

bananes
fraises

---

Reste à traiter le "problème" de la première ligne :

Code:

---

1 2 3 4

aie banane pomme banane

---

Code:

---

1 2 3 4 5

plx@sony:~$ python doublons.py plx@sony:~$ more fichiersansdoublon.txt aie pomme plx@sony:~$

---

Aie

Merci pour vos réponse.

@tyrtamos: Ton petit bout de code à l'air de très bien fonctionner, c'est bien ce que je voulais.:ccool:

@plxpy: Je ne vois pas de quel "problème" de première ligne tu parles ...:?

c'est quoi, alors

Citation:

---

Envoyé par doudoubens

... y compris la ligne originale

---

tu parlais de quoi ???

Citation:

---

Envoyé par plxpy

c'est quoi, alors



tu parlais de quoi ???

---

Ah! je me suis mal exprimé. Je voulais dire la ligne qui existe en double tout simplement. Contrairement à la fonction set() qui élimine que la ligne doublée , moi je voulais supprimer la ligne en question et son double également.

Citation:

---

Fraises
Pommes
Carottes
Pommes

---

pour avoir

Citation:

---

Fraises
Carottes

---

Merci pour vos réponses :)

Code:

---

1 2 3 4 5 6

fichier = ['pomme','banane','pomme','cerise','raisin','banane'] d = {} for i in fichier: d[i] = d.get(i,0)+1   resultat = [i for i in d if d[i]==1]

---

Bonjour,

@josmiley:

Solution intéressante, car l'accès par dictionnaire est en général rapide grâce au hash code. Mais la solution proposée a un inconvénient: l'ordre des lignes du fichier d'origine n'est pas conservé.

Il est possible que ça n'ait aucune importance dans le problème posé, mais s'il y en a une, il est facile de conserver l'ordre en utilisant un dictionnaire "OrderedDict" du module collections:

Code:

---

1 2 3 4

from collections import OrderedDict   d = OrderedDict() # le reste du code est identique

---

Citation:

---

Envoyé par tyrtamos

Bonjour,

@josmiley:

Solution intéressante, car l'accès par dictionnaire est en général rapide grâce au hash code. Mais la solution proposée a un inconvénient: l'ordre des lignes du fichier d'origine n'est pas conservé.

Il est possible que ça n'ait aucune importance dans le problème posé, mais s'il y en a une, il est facile de conserver l'ordre en utilisant un dictionnaire "OrderedDict" du module collections:

Code:

---

1 2 3 4

from collections import OrderedDict   d = OrderedDict() # le reste du code est identique

---

---

Effectivement l'ordre doit être conservé.

Merci pour vos solutions :ccool:

La solution de josmiley fonctionne si on ecrit

Code:

---

1 2 3 4 5 6 7

fichier = ['pomme','banane','pomme','cerise','raisin','banane'] d = {} for i in fichier: d[i] = d.get(i,0)+1   resultat = [i for i in fichier if d[i]==1] for l in resultat: print(l)

---