Discussion :

[doudoubens]

Bonjour à tous,
je souhaite supprimer les lignes en double dans un fichier y compris la ligne originale.

Exemple:

pommes
bananes
carottes
fraises
pommes
carottes

je veux en résultat:

bananes
fraises

J'ai ce bout de code qui élimine les doublons mais je n'arrive pas à éliminer chaque ligne qui existe 2 fois.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
seen = set() # holds lines already seen
outfile = open(outfilename, "w")
for line in open(infilename, "r"):
    if line not in lines_seen: # not a duplicate
        outfile.write(line)
        lines_seen.add(line)
outfile.close()

Ce bout de code me donne:

Pommes
bananes
carottes
fraises

Merci pour votre aide

[plxpy]

Bonjour

(je mets de côté pour le moment le "problème" de la première ligne)

Tu ne peux pas, de toute façon, commencer à écrire des lignes "à la volée" tant que tu n'as pas exploité (lu) l'intégralité de ton fichier en entrée : quand tu tombes sur une ligne qui n'est jamais apparue précédemment, rien ne te dit que tu ne vas pas la retrouver un petit peu plus loin.

Donc, jette ton exemple de code : ce n'est pas avec une modification mineure que cela fonctionnera mieux.

Selon la taille, importante ou non, de ton fichier en entrée, tu chargeras l'ensemble des lignes ou feras deux passes pour éliminer les doublons.

[tyrtamos]

Bonjour,

Voilà un petit code un peu "rustique" qui a l'air de faire le boulot.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
# Python v2.7
 
with open("fichier.txt", 'r') as fs:
    liste = fs.readlines()
 
with open("fichiersansdoublon.txt", 'w') as fd:
    for ligne in liste:
        if liste.count(ligne)==1:
            fd.write(ligne)

Avec le fichier de départ contenant:

pommes
bananes
carottes
fraises
pommes
carottes

le fichier résultant "fichiersansdoublon.txt" affiche bien:

bananes
fraises

[plxpy]

Reste à traiter le "problème" de la première ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
aie
banane
pomme
banane

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
plx@sony:~$ python doublons.py
plx@sony:~$ more fichiersansdoublon.txt 
aie
pomme
plx@sony:~$

Aie

[doudoubens]

Merci pour vos réponse.

@tyrtamos: Ton petit bout de code à l'air de très bien fonctionner, c'est bien ce que je voulais.

@plxpy: Je ne vois pas de quel "problème" de première ligne tu parles ...

[plxpy]

c'est quoi, alors

... y compris la ligne originale

tu parlais de quoi ???