recherche doublon dans liste

Bonjour,
j'ai une liste qui represénte un indexage fichiers.
Celle-ci est du type :

Code:

---

1 2	list=[file1|path1,file1|path2,file2|path3,file3|path4,file5|path5,file5|path6]

---

J'aimerais trouver et supprimer les doublons sur les file (ex: ici supprimer 'file1|path2','file5|path6')
Mais cette liste n'est pas de type dictionnaire puisque dans chaque entrée j'ai à la fois l'information de fichier + path

Quelqu'un aurait une idée de comment procéder ?

D'avance merci pour votre aide

c'est quoi ces | ?

Citation:

---

Envoyé par josmiley

c'est quoi ces | ?

---

Ce sont des "pipes", caractères de séparations

Salut,

J'avoue que comme josmiley l'usage des '|' m'interpelle... Ne pourrais tu pas stocker les noms complets et les splitter quand tu en as besoin avec les fonctions os prévues pour ça?

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

import os import sys   list = ['c:/toto/titi/fname1.bin', 'c:/toto/titi/fname2.bin', 'c:/toto/titi/fname1.bin', 'c:/toto/toto/fname1.bin', 'c:/tutu/tata/fname1.bin']   for filename in list: dirname = os.path.dirname(filename) fname = os.path.basename(filename) sys.stdout.write( 'path : "%s" fname : "%s"\n'%(dirname, fname))

---

A+

Pfeuh

Citation:

---

Envoyé par pfeuh

Salut,

J'avoue que comme josmiley l'usage des '|' m'interpelle... Ne pourrais tu pas stocker les noms complets et les splitter quand tu en as besoin avec les fonctions os prévues pour ça?

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

import os import sys   list = ['c:/toto/titi/fname1.bin', 'c:/toto/titi/fname2.bin', 'c:/toto/titi/fname1.bin', 'c:/toto/toto/fname1.bin', 'c:/tutu/tata/fname1.bin']   for filename in list: dirname = os.path.dirname(filename) fname = os.path.basename(filename) sys.stdout.write( 'path : "%s" fname : "%s"\n'%(dirname, fname))

---

A+

Pfeuh

---

Cette liste permet de générer un fichier 'txt' qui permet l'indexation de milliers de fichiers.
Ce fichier texte est ensuite repris par un autre programme qui le parse.. je ne peux donc pas le modifier ... :roll:
Je pensais passer passer par des expressions régulières pour mon histoire de doublons, en faisant quelque chose du type, sachant que ma liste est ordonnée:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

for i in range(1, len(list)-1): line=list[i] myLineSplitted=line.split('|') logger.debug('1st loop - myLineSplitted: {0}'.format(myLineSplitted[0])) #logger.debug('i: {0}'.format(i))   if re.search(myLineSplitted[0],list[i+1]): todel+=str(i)+":" logger.debug(todel)   del list[todel]

---

Mais c'est pas top ... suis sur que Python possède des fonctions plus puissantes au niveau structure de données..

J'ai finalement procédé ainsi:
-liste temporaire permettant de stocker les noms de fichiers
-suppression des doublons de cette liste (via un 'not in' )
-comparaison de cette liste à l'initiale pour ne garder que les entrées correspondantes

-> Usine à gaz mais ça marche

Merci pour votre aide

Concernant les pipes, rien ne t'empêche de réorganiser ta liste dans un dico, du type :
dico{fichier1:[path1, path2, ...]}

A la lecture de ton fichier, tu remplis à mesure ton dictionnaire.

Ensuite, tu obtiens ton dictionnaire :

Code:

---

1 2	dico = {file1:[path1, path2], file2:[path3], file3:[path4], file5:[path5, path6]}

---

Ainsi, tu n'as plus qu'à regarder pour chaque fichier si la liste de path contient plus d'un élément.

Code:

---

1 2 3 4 5

for file, lpath in dico.items(): if len(lpath) > 1: #n'en garder qu'un ...

---

Ça irait ?

Citation:

---

Envoyé par panda31

Concernant les pipes, rien ne t'empêche de réorganiser ta liste dans un dico, du type :
dico{fichier1:[path1, path2, ...]}

A la lecture de ton fichier, tu remplis à mesure ton dictionnaire.

Ensuite, tu obtiens ton dictionnaire :

Code:

---

1 2	dico = {file1:[path1, path2], file2:[path3], file3:[path4], file5:[path5, path6]}

---

Ainsi, tu n'as plus qu'à regarder pour chaque fichier si la liste de path contient plus d'un élément.

Code:

---

1 2 3 4 5

for file, lpath in dico.items(): if len(lpath) > 1: #n'en garder qu'un ...

---

Ça irait ?

---

Pas bête ami toulousain... :ccool:

Citation:

---

Envoyé par pingouinos_64

Pas bête ami toulousain... :ccool:

---

:ccool:

À ce compte là, c’est encore plus simple de ne remplir le dico qu’une fois*:

Code:

---

1 2 3 4

dico = {} for file, path in <generator>: if file not in dico: dico[file] = path

---

Pas besoin de stocker les différents pathes dans une liste si on n’en veut qu’un au final, amha… ;)

Certes. Encore faudrait-il savoir ce que pingouinos_64 veut faire des doublons. S'il veut les supprimer dans les paths, il a peut-être un choix à faire.