Archive::Tar -> Out of memory!

**cassis2k** · 18/12/2009, 15h24

Bonjour à tous,

Je suis encore et toujours sur mon script de backup ^^. Je résous les problèmes les uns après les autres. Tout allait bien jusqu'au moment ou j'ai voulu sauvegarder un site un peu plus important que les autres.

la commande que j'execute : backup_domain.pl --domain=domain.ltd --database=base --exclude=répertoire

Le scritp s'arrête en erreur avec comme message : Out of memory!

Après une petite analyse, voici le bout de code qui me pose problème :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$tar->add_files(@all_files);

Tous les fichiers que je veux sauvegarder sont dans la liste @all_files.
J'ai donc tenté de faire une boucle afin d'ajouter fichier par fichier dans l'archive :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
foreach my $archive_file (@all_files)
{
    $tar->add_files($archive_file);
}

mais cela ne corrige pas le problème. Ma question : Comment puis je contourner/corriger cette erreur ?
Je laisse la source du script pour ceux qui auraient des remarques

Merci d'avance.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
#!/usr/bin/perl
use strict;
use warnings;
#
# Chargement des modules
#
use locale;
use POSIX qw(strftime);
use Getopt::Long;                # [CoreModule] Ce module analyse la ligne de commande.
use File::Find;
use Archive::Tar;
use Net::FTP;
#
# Définition des variables de base :
#
my $ftp = 0;                # Par défaut, le FTP est désactivé.
my @all_files;
my $log_file = "backup.log";                    # Nom fichier de log
# MySQL : informations de connexion
my $db_hostname = "";
my $db_port = "";
my $db_username = "";
my $db_password = "";
# Information pour export vers un FTP distant
my $FTP_host = "";
my $FTP_port = "";
my $FTP_login = "";
my $FTP_password = "";
# Différents format de date
my %formats = (
        timestamp => '%A %d %B à %H:%M',
        date_log => '%A %d %B %Y',
        date_backup => '%Y.%m.%d',
        date_full_backup => '%Y.%m.%d_%H:%M',
        heure_backup => '%H:%M',
);
###### Début du script #####
#
# Traitement des paramètres du script.
#
GetOptions("domain=s" => \my $domain, "database:s" => \my @databases, "ftp!" => \$ftp, "exclude:s" => \my @exclude);
 
if (defined($domain))
{
    if (-w "/home/$domain/backup")
    {
        chdir("/home/$domain/backup");
        #
        # Notification du début de la sauvegarde.
        #
        open(my $handle_log, ">>", $log_file);
        print ($handle_log "/*======================================================*\\\n");
        print ($handle_log "|| Début de la sauvegarde : ".TimeBackup ("timestamp") ."\n");
        #
        # Purge du répertoire BACKUP : Les fichiers de plus de x jours sont supprimés.
        #
        my @files = glob ("*.tar.bz2");
        foreach my $file (@files)
        {
            if (-M $file > 6 )
            {
                unlink ($file) and print ($handle_log "||\tsuppression du fichier $file\n");
            }
        }
        #
        # Dump des bases.
        #
        my @sql_dump;
        if (@databases)
        {
            foreach my $database (@databases)
            {
                if (defined ($db_username) and defined ($db_password))
                {
                    my $dump_name = $database .".". TimeBackup("date_backup") .".sql";
                    my $sql_dump = `mysqldump -u $db_username -p$db_password $database > $dump_name`;
                    if ($? != 0)
                    {
                        print ($handle_log "||\t[Erreur] Export de la base impossible : $! $sql_dump\n");
                    }
                    push (@sql_dump, $dump_name);
                }
                else
                {
                    print ($handle_log "||\t[Erreur] Authentification à la base $database impossible.\n");
                }
            }
        }
        #
        #
        #
        if (-r "/home/$domain/http")
        {
            chdir("/home/$domain/http");
            find({preprocess => \&Filter, wanted => \&AllFiles}, "/home/$domain/http");
 
            my $number_of_files = scalar(@all_files);
 
            my $tar = Archive::Tar->new();
            $tar->add_files(@all_files);
 
            chdir("/home/$domain/backup");
 
            $tar->add_files(@sql_dump);
            $tar->write($domain ."_". TimeBackup("date_backup") .".tar.bz2", COMPRESS_BZIP);
 
            print ($handle_log "||\t$number_of_files de fichier ont été sauvegardés\n");
        }
        else
        {
            print ($handle_log "||\t[erreur] Le répertoire HTTP ne peut pas être lu.\n");
        }
        #
        # Delete all dump SQL
        #
        foreach my $dump (@sql_dump)
        {
            unlink ($dump);
        }
        #
        # Envoie FTP sur un ftp distant
        #
        if ($ftp)
        {
            if (my $FTP_connnexion = Net::FTP->new($FTP_host, Passive =>1, Debug =>0))
            {
                if ($FTP_connnexion->login($FTP_login, $FTP_password))
                {
                    $FTP_connnexion->binary;
                    $FTP_connnexion->cwd("$domain");
                    #
                    # Purge du répertoire distant
                    #
                    if (my @FTP_fic=$FTP_connnexion->ls("*.bz2"))
                    {
                        foreach my $file (@FTP_fic)
                        {
                            if (-M $file > 6 )
                            {
                                if($FTP_connnexion->delete("$file"))
                                {
                                    print($handle_log "||\t[INFO] Suppression du fichier $file\n");
                                }
                            }
                        }
                    }
                    else
                    {
                        print($handle_log "||\t[erreur] liste impossible  : $FTP_connnexion->message\n");
                    }
                    #
                    # Envoie de l'archive compressée
                    #
                    if ($FTP_connnexion->put("$domain.". TimeBackup("date_backup") .".tar.bz2"))
                    {
                        print ($handle_log "||\tTransfert sur FTP distant effectué.\n");
                    }
                    else
                    {
                        print ($handle_log "||\t[erreur] Transfert sur FTP distant en erreur\n");
                    }
                    $FTP_connnexion->quit;        # Déconnexion du ftp distant
                }
                else
                {
                    print ($handle_log "||\t[erreur] Identifiant FTP incorrect !\n");
                }
            }
            else
            {
                print ($handle_log "||\t[erreur] Connexion impossible à $FTP_host !\n");
            }
        }
        #
        # Notification de fin de la sauvegarde.
        #
        print ($handle_log "|| Fin de la sauvegarde : ".TimeBackup ("timestamp") ."\n");
        print ($handle_log "\\*======================================================*/\n");
        close ($handle_log);
    }
    else
    {
        print "le répertoire BACKUP pour le domaine $domain n'est pas accessible en écriture";
    }
}
else
{
    print "Exécution impossible : argument manquant !";
}
#
#Définition des fonctions
#
sub TimeBackup {
    my $format = shift;
 
    if( exists $formats{$format} ) {
        return strftime($formats{$format}, localtime);
    }
    else {
        die "[erreur fatale] Le format de date '$format' n'est pas reconnu.\n";
    }
}
#
sub AllFiles
{
        #
        # Fontion pour WANTED, module File::find
        #
        push (@all_files, $File::Find::name);
}
#
sub Filter
{
        #
        # Fonction pour PREPORCESS, module File::find
        #
        foreach my $excluded (@exclude)
        {
                @_ = grep($_ ne $excluded, @_);
        }
        return @_;
}
#
###### Fin du script #####
# v1.4

**ubugnu** · 13/01/2010, 12h45

Y aller ligne par ligne non?

**cassis2k** · 13/01/2010, 14h56

Envoyé par cassis2k

...
J'ai donc tenté de faire une boucle afin d'ajouter fichier par fichier dans l'archive :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
foreach my $archive_file (@all_files)
{
    $tar->add_files($archive_file);
}

mais cela ne corrige pas le problème.
...

Bonjour,

J'ai déjà tenté cette option sans succès.

Cordialement

Archive::Tar -> Out of memory!

Modules Perl

Discussions similaires

Partager

Partager