Sauvegarde avec TAR lente

**sebaaas** · 15/11/2020, 16h59

Bonjour à tous,

Je convertis une vidéo en images dans dossier (ram) temporaire puis j'archive tout les x temps le tout dans un dossier tar pour limiter les accès au disque lors de la convertion.
J'utilise TAR pour effectuer une archive avec la commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tar --remove-files --ignore-failed-read -rf /home/moi/archive/20201115.tar /tmp/moi/*

Au début tout fonctionne bien mais plus l'archive TAR ( 20201115.tar) grossi, plus la commande prendre du temps. J'ajoute toujours à l'archive le même nombre de fichier (7500). Lorsque l'archive est vide, cela ne prend que 2 secondes. Mais quand l'archive combien déjà bien plein de fichier, l'ajout des nouveaux fichiers prend plusieurs minutes.

Dois-je ajouter une option à commande afin d'éviter ce soucis de temps.

Merci

**Christophe** · 15/11/2020, 18h06

Logique, tu satures ta RAM, ta source est en RAM et tar a aussi besoin de RAM pour bosser.

Si tu veux travailler en RAM il te faut en ajouter. Mais mauvaise option à mon avis sauf si vidéo petites.

**sebaaas** · 15/11/2020, 21h18

Pour être plus précis dans les chiffres, les 7500 fichiers représentent +/- 70 méga et mon archive arrive à cette heure à une taille de 25 giga. Donc ajouter ces 70 méga au 25 giga a pris 2 minute 48.

Les 70 méga ne pèsent par lourd sur la RAM :-)

**Christophe** · 16/11/2020, 07h43

Je ne suis pas sûr que tar soit la bonne méthode, surtout que les caches disques doivent permettre la limitation des accès disque.

**LittleWhite** · 16/11/2020, 09h15

Bonjour,

Ne serait-ce pas un problème de boucle infinie, ou autrement décrit : le fichier compressé est dans le dossier à compresser. Cela veut dire, que tar, rempli un fichier alors que ce même fichier est dans la liste des fichiers à compresser ... il compresse l'archive qui grossit avec le temps et son propre contenu.

**Christophe** · 16/11/2020, 09h32

L'option ---remove-files efface les fichiers après les avoir ajoutés à l'archive.

**LittleWhite** · 16/11/2020, 09h57

Oui ... mais l'archive final est un fichier à compresser, parmi les autres. Comme il grossit en même temps d'être compressé, il ne sera jamais fini d'être compressé et ne sera jamais retiré.

**disedorgue** · 16/11/2020, 10h14

non, tar ne compresse pas par défaut...

Mais, selon moi, il ne peut pas faire un simple seek pour aller à la fin du fichier d'archive et poser les derniers fichiers et c'est justement le fait de parcourir l'archive qui doit prendre du temps.

**LittleWhite** · 16/11/2020, 10h57

Envoyé par disedorgue

non, tar ne compresse pas par défaut...

En effet !

**Flodelarab** · 16/11/2020, 13h29

Bonjour

Je trouve singulier de venir sur le forum avant d'avoir tenté le mode verbeux ou super-verbeux. Ou alors tu l'as fait, mais tu n'en dit rien.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tar -vv -rf mon_archive.tar mon_dossier_a_archiver

**sebaaas** · 16/11/2020, 18h41

Me revoilà :-)

Je teste et je log

Tout cela dans virtualbox.

La capacité de la ram est de 8 giga au total

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
 
lundi 16 novembre 2020, 14:51:20 (UTC+0100)
 
 
1 secondes
6,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 14:55:01 (UTC+0100)
 
 
1 secondes
6,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:00:01 (UTC+0100)
 
 
2 secondes
6,5G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:05:01 (UTC+0100)
 
 
2 secondes
6,6G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:10:01 (UTC+0100)
 
 
2 secondes
6,7G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:15:01 (UTC+0100)
 
 
2 secondes
6,8G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:20:01 (UTC+0100)
 
 
1 secondes
6,9G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:25:01 (UTC+0100)
 
 
2 secondes
7,0G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:30:01 (UTC+0100)
 
 
4 secondes
7,1G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:35:01 (UTC+0100)
 
 
12 secondes
7,1G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:40:01 (UTC+0100)
 
 
16 secondes
7,2G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:45:01 (UTC+0100)
 
 
28 secondes
7,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:50:01 (UTC+0100)
 
 
31 secondes
7,4G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:55:01 (UTC+0100)
 
 
6 secondes
7,4G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:00:01 (UTC+0100)
 
 
41 secondes
7,5G    /home/moi/archive/20201116.tar
seb@c:~$ cat archivage.log
 
 
 
lundi 16 novembre 2020, 14:48:23 (UTC+0100)
 
 
6,2G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 14:49:18 (UTC+0100)
 
 
6,2G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 14:50:01 (UTC+0100)
 
 
6,2G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 14:51:20 (UTC+0100)
 
 
1 secondes
6,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 14:55:01 (UTC+0100)
 
 
1 secondes
6,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:00:01 (UTC+0100)
 
 
2 secondes
6,5G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:05:01 (UTC+0100)
 
 
2 secondes
6,6G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:10:01 (UTC+0100)
 
 
2 secondes
6,7G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:15:01 (UTC+0100)
 
 
2 secondes
6,8G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:20:01 (UTC+0100)
 
 
1 secondes
6,9G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:25:01 (UTC+0100)
 
 
2 secondes
7,0G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:30:01 (UTC+0100)
 
 
4 secondes
7,1G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:35:01 (UTC+0100)
 
 
12 secondes
7,1G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:40:01 (UTC+0100)
 
 
16 secondes
7,2G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:45:01 (UTC+0100)
 
 
28 secondes
7,3G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:50:01 (UTC+0100)
 
 
31 secondes
7,4G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 15:55:01 (UTC+0100)
 
 
6 secondes
7,4G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:00:01 (UTC+0100)
 
 
41 secondes
7,5G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:05:02 (UTC+0100)
 
 
60 secondes
7,6G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:10:01 (UTC+0100)
 
 
63 secondes
7,7G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:15:01 (UTC+0100)
 
 
63 secondes
7,8G    /home/moi/archive/20201116.tar
lundi 16 novembre 2020, 16:20:01 (UTC+0100)
 
 
63 secondes
7,8G    /home/moi/archive/20201116.tar

Donc dès que j'atteins 7 giga, cela commence à déconner.

Solution 1) diviser mon archive
Solution 2) configurer autrement tar ... mais là je sais pas comment

Merci

**disedorgue** · 16/11/2020, 19h26

Tu peux nous refaire les mêmes test mais en rajoutant l'option --totals à la comande tar et nous retourner le résultat de cette option (elle sort sur la sortie d'erreur) ?

Mais, à vue de nez, tu as 8Go de RAM et ça commence à délirer vers les 7Go d'archive, ça sent le swap cette histoire...

**LittleWhite** · 16/11/2020, 19h38

Envoyé par disedorgue

Mais, à vue de nez, tu as 8Go de RAM et ça commence à délirer vers les 7Go d'archive, ça sent le swap cette histoire...

+1

**sebaaas** · 16/11/2020, 20h45

Bon, il est l'heure de se faire taper sur les doigts.
En simplifiant mon problème je n'ai pas tout dis.

Cette commande est repris dans un bash que voici (en entier cette fois)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/bin/bash
 
nom=$(date +%Y%m%d) 
date >> /home/moi/archivage.log
debut=$(date +%s)
tar --remove-files --total --ignore-failed-read -rf /home/moi/archive/$nom.tar /tmp/moi/* 2>> /home/moi/archivage.log
fin=$(date +%s)
duree=$(( $fin - $debut ))
echo "$duree secondes" >> /home/moi/archivage.log
du -h /home/moi/archive/20201116.tar >> /home/moi/archivage.log

Cela prend 78 secondes au dernier décompte

Par contre si je tape directement la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tar --remove-files --total --ignore-failed-read -rf /home/moi/archive/20201116.tar /tmp/moi/* 2>> /home/moi/archivage.log

Cela ne prend que 2 secondes

**sebaaas** · 16/11/2020, 22h23

Envoyé par disedorgue

Tu peux nous refaire les mêmes test mais en rajoutant l'option --totals à la comande tar et nous retourner le résultat de cette option (elle sort sur la sortie d'erreur) ?

Mais, à vue de nez, tu as 8Go de RAM et ça commence à délirer vers les 7Go d'archive, ça sent le swap cette histoire...

totals rien mais total donne

Nombre total d'octets écrits: 40386560 (39MiB, 602MiB/s)

... en 0m0.091s

Sauvegarde avec TAR lente

Shell et commandes GNU

Discussions similaires

Partager

Partager