Problème de latence web

Salut à tous,
j'ai un site sous wordpress qui tourne sous apache côté serveur et depuis aussi loin que je m'en souvienne, j'ai toujours eu des soucis de latence sur ce site (les autres sites sur la même machine, en wordpress aussi, ne rencontrent pas de soucis, même s'ils sont loin d'avoir la même charge).
La charge de visites est hors de cause (150/jour c'est bien mais ça met pas à genoux un KS2G tout seul).
J'ai fait énormément de tests sur les sites qui le proposent et à chaque fois c'est le temps de traitement serveur qui semble poser problème, comme on peut le voir ici : http://pageload.monitis.com/pagespee...r&testId=83941
Pourriez-vous m'aider à voir quelles sont les causes de ces lenteurs ?
Le WP de son côté est optimisé autant que faire se peut (cache, minification js et css, accelerateur php...). J'ai déjà regardé du côté des temps BDD et il n'y a rien d'affolant à mon avis.

Je suis sous Debian x64 et KS2G comme je l'ai dit. Je pourrais sortir des confs en rentrant du boulot. Je passe par cloudflare niveau DNS.

Merci à vous

EDIT : je précise qu'a priori il n'y a pas de raison de suspecter de virus.

Salut,

Es-tu tombé sur cet article? http://code.tutsplus.com/tutorials/h...ance--wp-26472

Si non, pourrais-tu le lire et ajouter éventuellement les plugins mentionnés histoire si l'on peut avoir plus de détails?

Merci, je vais regarder ça et je reviendrais avec les résultats.