Discussion :

[Quantactique]

Salut salut !
Je débute en Python et je souhaite concaténer deux fichiers en 1 seul suivant certaines conditions.

Voiçi mes 2 fichiers:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
file1:
toto tata 123
foo bar 456
truc machin 789
 
file2:
toto tata 321
bidule machin 753

Je souhaite les concaténer de façon à ce que les valeurs associées à chaque ligne correspondent (voilà ce à quoi je devrais m'attendre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
outfile:
toto tata 123 321
foor bar 456 0
truc machin 789 0
bidule machin 0 753

Mon code fonctionne plutôt bien quand la ligne est présente dans infile2 et pas dans infile1 mais ne fonctionne pas dans l'autre sens. De plus je dois effectuer ce traitement sur des fichiers relativements grands (>10M lignes).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
def concatenate(infile1, infile2, outfile):
 
	dict1=dict()
 
	with open(outfile, "w+") as out:
		with open(infile1, "r") as in1:
			for line in in1:
				line=re.split("\s+", line)
				dict1[line[0]+line[1]]=line[2]
 
		with open(infile2, "r") as in2:
			for line in in2:
				line=re.split("\s+", line)
				if dict1.get(line[0]+line[1]) != None:
					print_file(out, line[0], line[1], dict1[line[0]+line[1]], line[2])					
				else:
					print_file(out, line[0], line[1], 0, line[2])
 
def print_file(f, string1, string2, int1, int2):
	f.write("%s\t%s\t%d\t%s\n" %(string1, string2, int(int1), int(int2)))
 
concatenate("test1", "test2", "out.txt")

Comme vous pouvez le voir je boucle sur un dictionnaire pour identifier ou non la présence d'une ligne dans l'autre fichier. Je pourrais résoudre mon problème en créant un second dictionnaire et en comparant les deux mais comme je dois effectuer ceci pour de grand fichiers ce n'est pas très adapté...

Si vous pouviez m'aider ça me dépannerait

Merci à vous

[Invité]

Bonjour,

Voici un code générique qui ne sera sans doute pas des plus rapides, mais qui au moins n'explosera pas la mémoire avec des gros fichiers :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
#!/usr/bin/python3
# -*- coding: utf-8 -*-
 
 
def concatenate(infile1, infile2, outfile):
 
    with open(outfile, "w") as out:
 
        with open(infile1) as in1:
 
            with open(infile2) as in2:
 
                for line1 in in1:
 
                    chunks1 = line1.split()
 
                    in2.seek(0)
 
                    new_value = 0
 
                    for line2 in in2:
 
                        chunks2 = line2.split()
 
                        if chunks1[:2] == chunks2[:2]:
 
                            new_value = chunks2[-1]
 
                            break
 
                        # end if
 
                    # end for - in2
 
                    chunks1.append(str(new_value))
 
                    out.write(" ".join(chunks1) + "\n")
 
                # end for - in1
 
                in2.seek(0)
 
                for line2 in in2:
 
                    chunks2 = line2.split()
 
                    found = False
 
                    in1.seek(0)
 
                    for line1 in in1:
 
                        chunks1 = line1.split()
 
                        if chunks2[:2] == chunks1[:2]:
 
                            found = True
 
                            break
 
                        # end if
 
                    # end for - in1
 
                    if not found:
 
                        chunks2.insert(2, "0")
 
                        out.write(" ".join(chunks2) + "\n")
 
                    # end if
 
                # end for - in2
 
            # end with - in2
 
        # end with - in1
 
    # end with - out
 
    print("concatenate : done. OK.")
 
# end def
 
concatenate("test1", "test2", "out.txt")

@+.

[Quantactique]

Merci à toi, je vais tâcher de comprendre le fonctionnement maintenant merci

[fred1599]

On peut faire une fonction plus générique (avec plus de deux fichiers à concaténer par exemple) en utilisant une classe spécifique comme fileinput et sa méthode input...