Discussion :

[pingouinos_64]

Bonjour,
j'ai une liste qui represénte un indexage fichiers.
Celle-ci est du type :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
list=[file1|path1,file1|path2,file2|path3,file3|path4,file5|path5,file5|path6]

J'aimerais trouver et supprimer les doublons sur les file (ex: ici supprimer 'file1|path2','file5|path6')
Mais cette liste n'est pas de type dictionnaire puisque dans chaque entrée j'ai à la fois l'information de fichier + path

Quelqu'un aurait une idée de comment procéder ?

D'avance merci pour votre aide

[josmiley]

c'est quoi ces | ?

[pingouinos_64]

c'est quoi ces | ?

Ce sont des "pipes", caractères de séparations

[pfeuh]

Salut,

J'avoue que comme josmiley l'usage des '|' m'interpelle... Ne pourrais tu pas stocker les noms complets et les splitter quand tu en as besoin avec les fonctions os prévues pour ça?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
import os
import sys
 
list = ['c:/toto/titi/fname1.bin',
    'c:/toto/titi/fname2.bin',
    'c:/toto/titi/fname1.bin',
    'c:/toto/toto/fname1.bin',
    'c:/tutu/tata/fname1.bin']
 
for filename in list:
    dirname = os.path.dirname(filename)
    fname = os.path.basename(filename)
    sys.stdout.write( 'path : "%s" fname : "%s"\n'%(dirname, fname))

A+

Pfeuh

[pingouinos_64]

Salut,

J'avoue que comme josmiley l'usage des '|' m'interpelle... Ne pourrais tu pas stocker les noms complets et les splitter quand tu en as besoin avec les fonctions os prévues pour ça?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
import os
import sys
 
list = ['c:/toto/titi/fname1.bin',
    'c:/toto/titi/fname2.bin',
    'c:/toto/titi/fname1.bin',
    'c:/toto/toto/fname1.bin',
    'c:/tutu/tata/fname1.bin']
 
for filename in list:
    dirname = os.path.dirname(filename)
    fname = os.path.basename(filename)
    sys.stdout.write( 'path : "%s" fname : "%s"\n'%(dirname, fname))

A+

Pfeuh

Cette liste permet de générer un fichier 'txt' qui permet l'indexation de milliers de fichiers.
Ce fichier texte est ensuite repris par un autre programme qui le parse.. je ne peux donc pas le modifier ...
Je pensais passer passer par des expressions régulières pour mon histoire de doublons, en faisant quelque chose du type, sachant que ma liste est ordonnée:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
for i in range(1, len(list)-1):
            line=list[i]
            myLineSplitted=line.split('|')
            logger.debug('1st loop - myLineSplitted: {0}'.format(myLineSplitted[0]))
            #logger.debug('i: {0}'.format(i))
 
            if re.search(myLineSplitted[0],list[i+1]):                
                todel+=str(i)+":"
logger.debug(todel)
 
del list[todel]

Mais c'est pas top ... suis sur que Python possède des fonctions plus puissantes au niveau structure de données..

[pingouinos_64]

J'ai finalement procédé ainsi:
-liste temporaire permettant de stocker les noms de fichiers
-suppression des doublons de cette liste (via un 'not in' )
-comparaison de cette liste à l'initiale pour ne garder que les entrées correspondantes

-> Usine à gaz mais ça marche

Merci pour votre aide

[panda31]

Concernant les pipes, rien ne t'empêche de réorganiser ta liste dans un dico, du type :
dico{fichier1:[path1, path2, ...]}

A la lecture de ton fichier, tu remplis à mesure ton dictionnaire.

Ensuite, tu obtiens ton dictionnaire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
dico = {file1:[path1, path2], file2:[path3], file3:[path4], file5:[path5, path6]}

Ainsi, tu n'as plus qu'à regarder pour chaque fichier si la liste de path contient plus d'un élément.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
for file, lpath in dico.items():
	if len(lpath) > 1:
		#n'en garder qu'un
		...

Ça irait ?

[pingouinos_64]

Concernant les pipes, rien ne t'empêche de réorganiser ta liste dans un dico, du type :
dico{fichier1:[path1, path2, ...]}

A la lecture de ton fichier, tu remplis à mesure ton dictionnaire.

Ensuite, tu obtiens ton dictionnaire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
dico = {file1:[path1, path2], file2:[path3], file3:[path4], file5:[path5, path6]}

Ainsi, tu n'as plus qu'à regarder pour chaque fichier si la liste de path contient plus d'un élément.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
for file, lpath in dico.items():
	if len(lpath) > 1:
		#n'en garder qu'un
		...

Ça irait ?

Pas bête ami toulousain...

[panda31]

Pas bête ami toulousain...

[mont29]

À ce compte là, c’est encore plus simple de ne remplir le dico qu’une fois*:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
dico = {}
for file, path in <generator>:
    if file not in dico:
        dico[file] = path

Pas besoin de stocker les différents pathes dans une liste si on n’en veut qu’un au final, amha…

[panda31]

Certes. Encore faudrait-il savoir ce que pingouinos_64 veut faire des doublons. S'il veut les supprimer dans les paths, il a peut-être un choix à faire.