Discussion :

[doudoubens]

Bonjour à tous,
je souhaite supprimer les lignes en double dans un fichier y compris la ligne originale.

Exemple:

pommes
bananes
carottes
fraises
pommes
carottes

je veux en résultat:

bananes
fraises

J'ai ce bout de code qui élimine les doublons mais je n'arrive pas à éliminer chaque ligne qui existe 2 fois.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
seen = set() # holds lines already seen
outfile = open(outfilename, "w")
for line in open(infilename, "r"):
    if line not in lines_seen: # not a duplicate
        outfile.write(line)
        lines_seen.add(line)
outfile.close()

Ce bout de code me donne:

Pommes
bananes
carottes
fraises

Merci pour votre aide

[plxpy]

Bonjour

(je mets de côté pour le moment le "problème" de la première ligne)

Tu ne peux pas, de toute façon, commencer à écrire des lignes "à la volée" tant que tu n'as pas exploité (lu) l'intégralité de ton fichier en entrée : quand tu tombes sur une ligne qui n'est jamais apparue précédemment, rien ne te dit que tu ne vas pas la retrouver un petit peu plus loin.

Donc, jette ton exemple de code : ce n'est pas avec une modification mineure que cela fonctionnera mieux.

Selon la taille, importante ou non, de ton fichier en entrée, tu chargeras l'ensemble des lignes ou feras deux passes pour éliminer les doublons.

[tyrtamos]

Bonjour,

Voilà un petit code un peu "rustique" qui a l'air de faire le boulot.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
# Python v2.7
 
with open("fichier.txt", 'r') as fs:
    liste = fs.readlines()
 
with open("fichiersansdoublon.txt", 'w') as fd:
    for ligne in liste:
        if liste.count(ligne)==1:
            fd.write(ligne)

Avec le fichier de départ contenant:

pommes
bananes
carottes
fraises
pommes
carottes

le fichier résultant "fichiersansdoublon.txt" affiche bien:

bananes
fraises

[plxpy]

Reste à traiter le "problème" de la première ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
aie
banane
pomme
banane

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
plx@sony:~$ python doublons.py
plx@sony:~$ more fichiersansdoublon.txt 
aie
pomme
plx@sony:~$

Aie

[doudoubens]

Merci pour vos réponse.

@tyrtamos: Ton petit bout de code à l'air de très bien fonctionner, c'est bien ce que je voulais.

@plxpy: Je ne vois pas de quel "problème" de première ligne tu parles ...

[plxpy]

c'est quoi, alors

... y compris la ligne originale

tu parlais de quoi ???

[doudoubens]

c'est quoi, alors



tu parlais de quoi ???

Ah! je me suis mal exprimé. Je voulais dire la ligne qui existe en double tout simplement. Contrairement à la fonction set() qui élimine que la ligne doublée , moi je voulais supprimer la ligne en question et son double également.

Fraises
Pommes
Carottes
Pommes

pour avoir

Fraises
Carottes

Merci pour vos réponses

[josmiley]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
fichier = ['pomme','banane','pomme','cerise','raisin','banane']
d = {}
for i in fichier:
    d[i] = d.get(i,0)+1
 
resultat = [i for i in d if d[i]==1]

[tyrtamos]

Bonjour,

@josmiley:

Solution intéressante, car l'accès par dictionnaire est en général rapide grâce au hash code. Mais la solution proposée a un inconvénient: l'ordre des lignes du fichier d'origine n'est pas conservé.

Il est possible que ça n'ait aucune importance dans le problème posé, mais s'il y en a une, il est facile de conserver l'ordre en utilisant un dictionnaire "OrderedDict" du module collections:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
from collections import OrderedDict
 
d = OrderedDict()
# le reste du code est identique

[doudoubens]

Bonjour,

@josmiley:

Solution intéressante, car l'accès par dictionnaire est en général rapide grâce au hash code. Mais la solution proposée a un inconvénient: l'ordre des lignes du fichier d'origine n'est pas conservé.

Il est possible que ça n'ait aucune importance dans le problème posé, mais s'il y en a une, il est facile de conserver l'ordre en utilisant un dictionnaire "OrderedDict" du module collections:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
from collections import OrderedDict
 
d = OrderedDict()
# le reste du code est identique

Effectivement l'ordre doit être conservé.

Merci pour vos solutions

[Drawingrom]

La solution de josmiley fonctionne si on ecrit

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
fichier = ['pomme','banane','pomme','cerise','raisin','banane']
d = {}
for i in fichier:
    d[i] = d.get(i,0)+1
 
resultat = [i for i in fichier if d[i]==1]
for l in resultat: print(l)