Discussion :

[_skip]

Bonjour,

J'ai fait une petite recherche sur le forum au sujet d'un problème que j'ai avec des pg_restore. Remonter un backup de 105mo me prend quasiment 45 minutes!

J'ai cherché un peu sur le net, et modifié mes fichiers de configs pour donner plus de ressources aux tâches de maintenance (256mo) mais il semble que rien n'y fait...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
#------------------------------------------------------------------------------
# RESOURCE USAGE (except WAL)
#------------------------------------------------------------------------------
 
# - Memory -
 
shared_buffers = 128MB			# min 128kB or max_connections*16kB
					# (change requires restart)
#temp_buffers = 8MB			# min 800kB
#max_prepared_transactions = 5		# can be 0 or more
					# (change requires restart)
# Note:  Increasing max_prepared_transactions costs ~600 bytes of shared memory
# per transaction slot, plus lock space (see max_locks_per_transaction).
#work_mem = 1MB				# min 64kB
maintenance_work_mem = 256MB		# min 1MB
#max_stack_depth = 2MB			# min 100kB

Je n'ai pas réussi à trouver la solution en cherchant sur le forum. Quelqu'un aurait un tuyau?

Merci

[kain_tn]

Bonjour.


Regarde dans ton dump si tes insertions sont au format INSERT ou COPY.
Il vaut mieux utiliser COPY pour ton dump dans la mesure où il sera reconstruit beaucoup plus vite.
Dans le cas du INSERT, à ce qu'il me semble, il va créer une transaction pour chaque INSERT, avec tout ce qui s'en suit (écritures dans le journal de transactions etc)

[_skip]

Merci,

En ouvrant le fichier au notepad, je vois bien des COPY FROM stdin en suivant pour chacune des tables, s'en suit un gros bloc illisible jusqu'au bout du fichier.

[kain_tn]

Pourrais-tu préciser la commande que tu lance pour ta restauration? (paramètres etc)

[_skip]

Ok, je fais ça depuis pgadmin, sitôt que j'ai a nouveau le controle de la bête je poste la ligne de commande...

[_skip]

C'est cette syntaxe qui est utilisée, la forme minimale en fait :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

pg_restore -h <host> -p 5432 -U <user> -d <database> "C:\temp\....backup"

[kain_tn]

Ta base possède t elle des triggers ou des règles d'écriture qui pourraient ralentir les insertions?

Sinon, pourrait tu essayer avec la commande suivante?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

psql -h <host> -p 5432  -U <username> -d <database> < "C:\temp\....backup"

?

[_skip]

Aucun trigger, et très peu de contraintes d'intégrité. Et aussi la base reste disponible aux applications pendant toute la phase de restauration du backup, je sais pas si le fait de la locker pourrait aider.

Je vais essayer ta commande, je te tiens au courant.

[kain_tn]

Essaye ma commande avec psql, et regarde si elle prend autant de temps.

Si oui:
Tu as un moyen d'essayer le pg_restore sans qu'il n'y ait q'autres requêtes qui tournent sur ta base?


Si oui alors essaye ton pg_restore sans charge derrière.

Si ça prend toujurs autant de temps, alors il faudra peut-être regarder les paramètres du postgresql.conf car tu peux avoir des limites logicielles trop basses pour ton application.
http://www.varlena.com/GeneralBits/Tidbits/perf.html
http://www.revsys.com/writings/postg...rformance.html