Sauvegarde très grosse bdd [Résolu]

creezeer · 27/07/2006, 10h20

Bonjour à tous.

Je dois faire une sauvegarde d'une base de données MySQL installée sur un serveur Linux. Jusque là, pas de problème, mysqldump et c'est parti.

Là où ça se complique, c'est que le serveur possédant la base de données n'a plus d'espace disque... donc transfert réseau.

Je monte un répertoire samba, et je lance ma commande. Au bout de 2 Go samba me dit que la taille du fichier est trop grande.

Et dernière complication, je ne peux pas accéder physiquement au serveur

Est ce que quelqu'un voit une solution à mon problème ?

Adren · 27/07/2006, 10h23

tu as indiqué dans le titre qu'il s'agit d'une très grosse base. peux tu nous dire la taille exacte? enfin une estimation si tu n'as plus accès au serveur

creezeer · 27/07/2006, 10h36

elle fait 15 Go

Mais attention, j'ai pas accès physiquement au serveur, mais j'y accède via ssh

Biglo · 27/07/2006, 10h56

Une solution : un shellscript qui récupère le nom de toutes les tables existantes et qui dumpent chacune d'entre elles dans des fichiers séparés. En espérant qu'aucun dump de table ne fera 2Go.

creezeer · 27/07/2006, 11h14

Merci pour ta réponse, c'est en effet une bonne idée.

Mais malheureusement, j'ai le fichier stats.myd qui fait 2.8 Go. Le dump va me rajouter des "insert into...machin", donc je suppose que le fichier de sauvegarde correspondant à cette table sera encore plus gros

Peut etre qu'il faut que je fasse ce que tu dis, mais avec compression, je vais tenter le coup

DBProg · 27/07/2006, 11h42

Bonjour !

Tu gagneras énormément si tu fais compresses avec bzip (format bz2) dérrière ton fichier dump (texte avec requêtyes SQL).

Il faudra toujours avoir de la place de libre tout de même durant l'exécution du dump.

Sivrît · 27/07/2006, 13h32

Si tu as un accès ssh, est-ce que récupérer directement les fichiers de mysql en ftp serait envisageable ? Il faudra peut-être arrêter la base mais ça doit se faire. Après il sera toujours possible de mettre un mysql ailleurs pour faire un vrai dump.

Sinon, pour repartir sur les idées de Biglo et dbprog, récupérer des petits pouts de la base. Je ne sais pas si c'est possible mais un "mysqldump | bzip2 > /samba/monfichier" (dans l'idée, pour la syntaxe exacte vive man) devrait garder la taille des données d'une table sous les 2Go (peut-être même tout le dump, les taux de compression sont ahurissants). Sinon libérer sur le disque de quoi dumper un bout (genre 2,5Go, quitte à évacuer momentanément via samba des fichiers non vitaux pour le serveur), puis le compresser directement sur samba pour tomber sous les 2Go.

Et si vraiment ça peut pas... faire un script qui récupère les données des tables une par une et en plusieus morceaux (avec LIMIT par ex)

creezeer · 27/07/2006, 16h24

Merci Sivrît,

J'ai adopté une solution alternative, transférer les fichiers avec scp.
Je ne pouvais pas arrêter la bdd. Je vais faire des repair table ... pour refaire les fichiers d'index (*.myi)

en tout cas, merci à tous ceux qui m'on répondu et qui m'on aidé à avancer.

27/07/2006, 10h20	#1
creezeer Invité régulier Inscription : août 2003 Messages : 16 Détails du profil Informations forums : Inscription : août 2003 Messages : 16 Points : 7 Points : 7	Sauvegarde très grosse bdd Bonjour à tous. Je dois faire une sauvegarde d'une base de données MySQL installée sur un serveur Linux. Jusque là, pas de problème, mysqldump et c'est parti. Là où ça se complique, c'est que le serveur possédant la base de données n'a plus d'espace disque... donc transfert réseau. Je monte un répertoire samba, et je lance ma commande. Au bout de 2 Go samba me dit que la taille du fichier est trop grande. Et dernière complication, je ne peux pas accéder physiquement au serveur Est ce que quelqu'un voit une solution à mon problème ?
	00

27/07/2006, 11h42	#6
DBProg Membre éclairé Étudiant Inscription : juillet 2006 Messages : 242 Détails du profil Informations personnelles : Âge : 27 Localisation : France, Moselle (Lorraine) Informations professionnelles : Activité : Étudiant Informations forums : Inscription : juillet 2006 Messages : 242 Points : 315 Points : 315	Bonjour ! Tu gagneras énormément si tu fais compresses avec bzip (format bz2) dérrière ton fichier dump (texte avec requêtyes SQL). Il faudra toujours avoir de la place de libre tout de même durant l'exécution du dump. __________________ La vitesse de la lumière étant supérieure à la vitesse du son, certaines personnes brillent encore tant qu'elles n'ont pas parlé ----------------------------------------------------------- Retrouvez mes articles informatique sur mon Site Developpez. Le reste, sur le Site perso !
	00

27/07/2006, 10h23	#2
Adren Membre du Club Inscription : février 2006 Messages : 206 Détails du profil Informations forums : Inscription : février 2006 Messages : 206 Points : 64 Points : 64	tu as indiqué dans le titre qu'il s'agit d'une très grosse base. peux tu nous dire la taille exacte? enfin une estimation si tu n'as plus accès au serveur
	00

27/07/2006, 10h36	#3
creezeer Invité régulier Inscription : août 2003 Messages : 16 Détails du profil Informations forums : Inscription : août 2003 Messages : 16 Points : 7 Points : 7	elle fait 15 Go Mais attention, j'ai pas accès physiquement au serveur, mais j'y accède via ssh
	00

27/07/2006, 10h56	#4
Biglo Rédacteur Inscription : juillet 2002 Messages : 537 Détails du profil Informations personnelles : Localisation : France, Moselle (Lorraine) Informations forums : Inscription : juillet 2002 Messages : 537 Points : 561 Points : 561	Une solution : un shellscript qui récupère le nom de toutes les tables existantes et qui dumpent chacune d'entre elles dans des fichiers séparés. En espérant qu'aucun dump de table ne fera 2Go.
	00

27/07/2006, 11h14	#5
creezeer Invité régulier Inscription : août 2003 Messages : 16 Détails du profil Informations forums : Inscription : août 2003 Messages : 16 Points : 7 Points : 7	Merci pour ta réponse, c'est en effet une bonne idée. Mais malheureusement, j'ai le fichier stats.myd qui fait 2.8 Go. Le dump va me rajouter des "insert into...machin", donc je suppose que le fichier de sauvegarde correspondant à cette table sera encore plus gros Peut etre qu'il faut que je fasse ce que tu dis, mais avec compression, je vais tenter le coup
	00

27/07/2006, 13h32	#7
Sivrît Membre Expert Inscription : février 2006 Messages : 953 Détails du profil Informations personnelles : Âge : 30 Localisation : France, Paris (Île de France) Informations forums : Inscription : février 2006 Messages : 953 Points : 1 189 Points : 1 189	Si tu as un accès ssh, est-ce que récupérer directement les fichiers de mysql en ftp serait envisageable ? Il faudra peut-être arrêter la base mais ça doit se faire. Après il sera toujours possible de mettre un mysql ailleurs pour faire un vrai dump. Sinon, pour repartir sur les idées de Biglo et dbprog, récupérer des petits pouts de la base. Je ne sais pas si c'est possible mais un "mysqldump \| bzip2 > /samba/monfichier" (dans l'idée, pour la syntaxe exacte vive man) devrait garder la taille des données d'une table sous les 2Go (peut-être même tout le dump, les taux de compression sont ahurissants). Sinon libérer sur le disque de quoi dumper un bout (genre 2,5Go, quitte à évacuer momentanément via samba des fichiers non vitaux pour le serveur), puis le compresser directement sur samba pour tomber sous les 2Go. Et si vraiment ça peut pas... faire un script qui récupère les données des tables une par une et en plusieus morceaux (avec LIMIT par ex)
	00

27/07/2006, 16h24	#8
creezeer Invité régulier Inscription : août 2003 Messages : 16 Détails du profil Informations forums : Inscription : août 2003 Messages : 16 Points : 7 Points : 7	Merci Sivrît, J'ai adopté une solution alternative, transférer les fichiers avec scp. Je ne pouvais pas arrêter la bdd. Je vais faire des repair table ... pour refaire les fichiers d'index (*.myi) en tout cas, merci à tous ceux qui m'on répondu et qui m'on aidé à avancer.
	00

Outils de la discussion
Afficher une version imprimable Envoyer un lien vers cette page par email