Quel langage pour un robot web sous debian?

Bonjour,
En utilisant un outil de SEO, il me dit que j'ai près de 3000 pages sur un de mes site. Or je trouve ca beaucoup car la réalité devrait être plus proche de 1000 pages. Sur cet outil, ce n'est pas possible d'avoir la liste des pages, du moins gratuitement.

Donc, je me suis dit que je ferrais un petit robot pour avoir la liste de toutes les pages et par la suite, si possible, l'améliorer mais toujours dans le but de SEO (vérification titre, description,...), automatisation,...

J'aimerai que ca soit utilisable sur un debian car je pourrai facilement l'automatiser. Je connais principalement le php, un peu le java mais quel est le ou les langages idéal pour ce genre de boulot (tous langage confondu)? Je suis prêt à apprendre de nouveaux langage ou à approfondir ceux que je connais.