Discussion :

[devIdent]

Bonjour,

Je suis en stage dont le but est de mesurer les performances d'une base de données postgres ainsi que celles du système d'information (du moment de la réception des données par le système jusqu'au stockage dans la bdd).

Je ne sais pas trop par quoi commencer, ni comment procéder?
Sachant que le but à la fin est que la base puisse gérer des millions de données.

Aurez-vous des propositions à me faire?
Toute aide sera la bienvenue.

Merci.

[punkoff]

Bonjour,

C'est vraiment vaste comme question.
Personne dans votre entourage (votre entreprise) n'a déjà fait de test de monté en charge, ou n'a de connaissance quelconque dans ce domaine ?


Vous donnez trop peu d'information sur :
- l'existant
- la cible
- les tests à faire (audit de code, configuration, matèriel, ...)

[devIdent]

Je me rend compte que c'est très vaste. C'est pour cela que je ne sais pas par ou commencer ni comment.

En fait c'est un petit système qui reçoit des données dans des fichiers, qui sont ensuite traités et dont les données sont stockées dans une base.

Prochainement, ils auront à stocker des millions de données dans la bdd et veulent donc connaitre les limites de la base (en terme de charge, du temps de réponse...).
Et de savoir si c'est la base qui posera problème ou plutôt le traitement qu'il y a derrière.

D'après les gens de la boîte, c'est la base qui prend trop de temps et c'est elle le problème.
Il faut donc que j'arrive à prouver par des tests si c'est vrai ou faux!

J'ai essayer quelques outils tels que: gprof (profiler), pgbench, callgrind... mais je n'ai rien de concluant.

[punkoff]

Personnellement, j'essairai de créer un test grandeur nature avec l'archi actuelle.

il vous faudrait donc des volumes à traiter pas loin de l'équivalent de la cible.


Là, si problème il y a, indentifé d'où le problème vient :

- serveur pas assez puissant (disque / ram / cpu / ...)
- modélisation non adaptée
- traitement batch non optimisé
- code sql pourri
- mauvaise indexation de la base
- couche applicative qui ne suit pas
- problème réseau pour le transfert des fichiers
- que sais-je encore ?

[estofilo]

D'après les gens de la boîte, c'est la base qui prend trop de temps et c'est elle le problème.

Dans ce cas de figure, on peut aborder le problème par l'étude du temps pris par les requêtes SQL.
Il y a une directive log_min_duration_statement dans le fichier postgresql.conf qui indique au serveur de logger toutes les requêtes qui prennent plus qu'un certain temps (en millisecondes).

Ensuite pour analyser les résultats il faut bien voir qu'une requête (et encore moins une base en général) n'est pas lente ou rapide dans l'absolu mais par rapport à un temps d'exécution attendu jugé comme raisonnable, plausible, en fonction de la quantité de données supposément brassées par la requête.