Discussion :

[Gorzyne]

Bonjour à tous,

Alors voilà j'ai un problème qui revient de façon récurrente, je tombe sur une page intéressante (tout est relatif) par exemple celle ci
http://www.professionalpensions.com/...on-fund-market

et donc je cherche des pages similaires, c'est à dire ici en l’occurrence des pages consacrées à d'autres pays
donc par exemple en remontant d'un cran
http://www.professionalpensions.com/...eature/1740343
ou de deux crans
http://www.professionalpensions.com/...nsions/feature
ou même de trois etc... je n'arrive pas à me raccrocher à une arborescence dans la navigation... à chaque fois j'ai une erreur genre 404

donc je cherche une solution pour obtenir les pages similaires un peu comme sur un ftp quoi...
est ce que c'est possible d'obtenir les URL valides à partir d'une racine...

Merci beaucoup pour votre aide
Gorzyne

[NoSmoking]

Bonjour,
pour obtenir des réponses je pense qu'il va falloir que tu expliques plus clairement ce que tu cherches à faire.

[Gorzyne]

D'accord et bien merci en fait c'est tout simple

j'ai donc une page web
http://www.professionalpensions.com/...on-fund-market

cette page traite d'un pays, la Colombie.
Je souhaiterais savoir si d'autres pages similaires existent sur ce même site, concernant d'autres pays, par exemple, le Portugal, la Chine, etc...

J'ai essayé de piloter par l'URL ce qui est possible sur certains sites mais pas ici.
si j'essaie par exemple d'aller à la page http://www.professionalpensions.com/global-pensions qui pourrait être une racine, et bien il n'y a rien...

du coup je cherche une méthode, technique, etc... pour détecter d'autres pages existantes..

[Muchos]

et bien il n'y a rien...

Si, la page existe.

[Gorzyne]

euh non enfin la page existe mais ne contient rien, ne permet pas d'accéder notamment à la page initiale...

"Hmmm, we can't seem to find the page you're looking for."

[thelvin]

Si le site organise ses URLs pour qu'on puisse faire ce genre de choses, alors on peut le faire.

Sinon, non.

[bretus]

du coup je cherche une méthode, technique, etc... pour détecter d'autres pages existantes..

C'est ce que font les moteurs d'indexation qui alimentent les bases des moteurs de recherche. Partant de ces mots clés, tu devrais trouver des tonnes de méthodes existantes. Mais bon, si on prend un fonctionnement à minima : Prendre la page d'accueil, rechercher les liens dans cette page, pour chaque lien, rechercher les nouveaux liens, etc.

Un fichier intéressant pour ces moteurs de recherche : Le fichier robots.txt (exemple : http://www.professionalpensions.com/robots.txt où tu verras pour le coup des plans de site en XML). Il est mis à disposition pour guider les moteurs de recherche (schématiquement : indexer ceci, n'indexer pas cela)

Pour le reste, la possibilité ou non d'avoir des résultats en supprimant une partie de l'URL dépend du développement. Les URL ne correspondent pas forcément à des dossiers sur les serveurs. Parfois, on ne veut pas que tu puisses deviner toutes les URL possibles. Dans d'autres cas, les URL sont simplement mal fichues.

[Spartacusply]

Bonne nouvelle pour toi, le site possède un fichier sitemap.xml (http://www.professionalpensions.com/sitemap.xml) peut-être (et je dis bien peut-être) que tu pourras y trouver les urls que tu recherches.

[Gorzyne]

ah sympa mais comment tu as trouvé ? c'est quelque chose de générique et t'as spoofé au pif ?
par contre cela ne semble pas exhaustif, la page que j'ai donnée en exemple n'y figure pas...
et également il y a des pages qui sont apparemment crées mais vides... sans doute le site est incomplet