Envoi de spam depuis mon site

Bonjour tout le monde,

Je me retrouve face à un soucis d'envoi de spam depuis un site vitrine qui date un petit peu fait avec Joomla (réalisé par un collègue, je n'est pas grande habitude des CMS).
Je reçois des notifications de l'hébergeur comme quoi certaines adresses ne sont pas valides et en regardant le détail j'ai plusieurs centaines de mails envoyés récemment.
J'ai désactivé les formulaires de contact hier, et ce matin surprise un nouveau mail de l'hébergeur sur des Mail delivery failed. Aujourd'hui j'ai désactivé le service de mailing. J'ai cherché dans les fichiers voir si je trouvais quelque chose qui me paraissait étrange mais rien de spécial.

Auriez vous des pistes pour je règle ce problème? Une sécurité à mettre en place? Un diagnostic pour trouver la source de ce piratage? Un nettoyage efficace?
Je n'ai jamais eu de soucis avec les sites développé sans CMS peut être est ce une faille connue?