Sauvegarde avec TAR lente

Version imprimable

15/11/2020, 16h59
sebaaas

Sauvegarde avec TAR lente

Bonjour à tous,

Je convertis une vidéo en images dans dossier (ram) temporaire puis j'archive tout les x temps le tout dans un dossier tar pour limiter les accès au disque lors de la convertion.
J'utilise TAR pour effectuer une archive avec la commande :

Code:

tar --remove-files --ignore-failed-read -rf /home/moi/archive/20201115.tar /tmp/moi/*

Au début tout fonctionne bien mais plus l'archive TAR ( 20201115.tar) grossi, plus la commande prendre du temps. J'ajoute toujours à l'archive le même nombre de fichier (7500). Lorsque l'archive est vide, cela ne prend que 2 secondes. Mais quand l'archive combien déjà bien plein de fichier, l'ajout des nouveaux fichiers prend plusieurs minutes.

Dois-je ajouter une option à commande afin d'éviter ce soucis de temps.

Merci
15/11/2020, 18h06
Christophe

Logique, tu satures ta RAM, ta source est en RAM et tar a aussi besoin de RAM pour bosser.

Si tu veux travailler en RAM il te faut en ajouter. Mais mauvaise option à mon avis sauf si vidéo petites.
15/11/2020, 21h18
sebaaas

Pour être plus précis dans les chiffres, les 7500 fichiers représentent +/- 70 méga et mon archive arrive à cette heure à une taille de 25 giga. Donc ajouter ces 70 méga au 25 giga a pris 2 minute 48.

Les 70 méga ne pèsent par lourd sur la RAM :-)
16/11/2020, 07h43
Christophe

Je ne suis pas sûr que tar soit la bonne méthode, surtout que les caches disques doivent permettre la limitation des accès disque.
16/11/2020, 09h15
LittleWhite

Bonjour,

Ne serait-ce pas un problème de boucle infinie, ou autrement décrit : le fichier compressé est dans le dossier à compresser. Cela veut dire, que tar, rempli un fichier alors que ce même fichier est dans la liste des fichiers à compresser ... il compresse l'archive qui grossit avec le temps et son propre contenu.
16/11/2020, 09h32
Christophe

L'option ---remove-files efface les fichiers après les avoir ajoutés à l'archive.
16/11/2020, 09h57
LittleWhite

Oui ... mais l'archive final est un fichier à compresser, parmi les autres. Comme il grossit en même temps d'être compressé, il ne sera jamais fini d'être compressé et ne sera jamais retiré.
16/11/2020, 10h14
disedorgue

non, tar ne compresse pas par défaut...

Mais, selon moi, il ne peut pas faire un simple seek pour aller à la fin du fichier d'archive et poser les derniers fichiers et c'est justement le fait de parcourir l'archive qui doit prendre du temps.
16/11/2020, 10h57
LittleWhite

Citation:

Envoyé par disedorgue

non, tar ne compresse pas par défaut...

En effet !
16/11/2020, 13h29
Flodelarab

Bonjour :coucou:

Je trouve singulier de venir sur le forum avant d'avoir tenté le mode verbeux ou super-verbeux. Ou alors tu l'as fait, mais tu n'en dit rien.

Code:

tar -vv -rf mon_archive.tar mon_dossier_a_archiver

Me revoilà :-)

Je teste et je log

Tout cela dans virtualbox.

La capacité de la ram est de 8 giga au total

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
 
lundi 16 novembre 2020, 14:51:20 (UTC+0100)
 
 
1 secondes
6,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 14:55:01 (UTC+0100)
 
 
1 secondes
6,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:00:01 (UTC+0100)
 
 
2 secondes
6,5G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:05:01 (UTC+0100)
 
 
2 secondes
6,6G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:10:01 (UTC+0100)
 
 
2 secondes
6,7G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:15:01 (UTC+0100)
 
 
2 secondes
6,8G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:20:01 (UTC+0100)
 
 
1 secondes
6,9G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:25:01 (UTC+0100)
 
 
2 secondes
7,0G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:30:01 (UTC+0100)
 
 
4 secondes
7,1G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:35:01 (UTC+0100)
 
 
12 secondes
7,1G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:40:01 (UTC+0100)
 
 
16 secondes
7,2G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:45:01 (UTC+0100)
 
 
28 secondes
7,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:50:01 (UTC+0100)
 
 
31 secondes
7,4G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:55:01 (UTC+0100)
 
 
6 secondes
7,4G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:00:01 (UTC+0100)
 
 
41 secondes
7,5G    /home/moi/archive/20201116.tar
seb@c:~$ cat archivage.log
 
 
 
lundi 16 novembre 2020, 14:48:23 (UTC+0100)
 
 
6,2G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 14:49:18 (UTC+0100)
 
 
6,2G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 14:50:01 (UTC+0100)
 
 
6,2G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 14:51:20 (UTC+0100)
 
 
1 secondes
6,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 14:55:01 (UTC+0100)
 
 
1 secondes
6,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:00:01 (UTC+0100)
 
 
2 secondes
6,5G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:05:01 (UTC+0100)
 
 
2 secondes
6,6G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:10:01 (UTC+0100)
 
 
2 secondes
6,7G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:15:01 (UTC+0100)
 
 
2 secondes
6,8G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:20:01 (UTC+0100)
 
 
1 secondes
6,9G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:25:01 (UTC+0100)
 
 
2 secondes
7,0G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:30:01 (UTC+0100)
 
 
4 secondes
7,1G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:35:01 (UTC+0100)
 
 
12 secondes
7,1G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:40:01 (UTC+0100)
 
 
16 secondes
7,2G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:45:01 (UTC+0100)
 
 
28 secondes
7,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:50:01 (UTC+0100)
 
 
31 secondes
7,4G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:55:01 (UTC+0100)
 
 
6 secondes
7,4G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:00:01 (UTC+0100)
 
 
41 secondes
7,5G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:05:02 (UTC+0100)
 
 
60 secondes
7,6G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:10:01 (UTC+0100)
 
 
63 secondes
7,7G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:15:01 (UTC+0100)
 
 
63 secondes
7,8G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:20:01 (UTC+0100)
 
 
63 secondes
7,8G    /home/moi/archive/20201116.tar

Donc dès que j'atteins 7 giga, cela commence à déconner.

Solution 1) diviser mon archive
Solution 2) configurer autrement tar ... mais là je sais pas comment

Merci

16/11/2020, 19h26
disedorgue

Tu peux nous refaire les mêmes test mais en rajoutant l'option --totals à la comande tar et nous retourner le résultat de cette option (elle sort sur la sortie d'erreur) ?

Mais, à vue de nez, tu as 8Go de RAM et ça commence à délirer vers les 7Go d'archive, ça sent le swap cette histoire...
16/11/2020, 19h38
LittleWhite

Citation:

Envoyé par disedorgue

Mais, à vue de nez, tu as 8Go de RAM et ça commence à délirer vers les 7Go d'archive, ça sent le swap cette histoire...

+1

Bon, il est l'heure de se faire taper sur les doigts.
En simplifiant mon problème je n'ai pas tout dis.

Cette commande est repris dans un bash que voici (en entier cette fois)
Code:

1 2 3 4 5 6 7 8 9 10 #!/bin/bash nom=$(date +%Y%m%d) date >> /home/moi/archivage.log debut=$(date +%s) tar --remove-files --total --ignore-failed-read -rf /home/moi/archive/$nom.tar /tmp/moi/* 2>> /home/moi/archivage.log fin=$(date +%s) duree=$(( $fin - $debut )) echo "$duree secondes" >> /home/moi/archivage.log du -h /home/moi/archive/20201116.tar >> /home/moi/archivage.log
Cela prend 78 secondes au dernier décompte

Par contre si je tape directement la commande

Code:

tar --remove-files --total --ignore-failed-read -rf /home/moi/archive/20201116.tar /tmp/moi/* 2>> /home/moi/archivage.log

Cela ne prend que 2 secondes

16/11/2020, 22h23
sebaaas

Citation:

Envoyé par disedorgue

Tu peux nous refaire les mêmes test mais en rajoutant l'option --totals à la comande tar et nous retourner le résultat de cette option (elle sort sur la sortie d'erreur) ?

Mais, à vue de nez, tu as 8Go de RAM et ça commence à délirer vers les 7Go d'archive, ça sent le swap cette histoire...

totals rien mais total donne

Nombre total d'octets écrits: 40386560 (39MiB, 602MiB/s)

... en 0m0.091s :)