Récupérer les pages d'un site

Version imprimable

19/04/2008, 23h10
Zaki_SDwin

Récupérer les pages d'un site

Comment lister les pages d'un site internet, par exemple http://www.exemple.com contient les pages suivantes :
http://www.exemple.com/index.html
http://www.exemple.com/delphi.html
http://www.exemple.com/contact.html
http://www.exemple.com/guestbook.php
Comment faire pour lister ces adresses sur un TListBox ou un TMemo, on utilisant les composants, Indy ou bien WebBrowser, ou ICS.

Merci d'avance.
20/04/2008, 00h07
evarisnea

:salut:
a mon avis, à moins d'avoir un accès par ftp à la racine du site web ce n'est pas possible. tu peux uniquement récupérer la structure du site à partir de la page d'accueil par exemple en scannant de manière récursive tous ses liens, et ce en utilisant le lien que tu proposes ici
20/04/2008, 00h21
Zaki_SDwin

Dans le cas de ne pas pouvoir récupérer les liens sans un accès FTP, comment savoir si le lien est interne ou externe esqu'il faut faire une comparaison entre le lien nom de domaine et les liens scannés?
Par exemple :
http://www.exemple.com et http://www.exemple.com/page.html ( donc ce lien est interne)
20/04/2008, 00h26
evarisnea

oui c'est cela.
en fait à la base, http://serveur.domaine.com/ désigne la racine du répertoire contenant le site web.
20/04/2008, 00h37
Zaki_SDwin

OK Merci, c'est la solution que je vais prendre on attendant d'autres :).
20/04/2008, 22h39
Zaki_SDwin

quel est le type de variable BeginPos ? dans cet exemple , normalement c'est integer , mais je l'ai déclaré et dans ce cas l'exemple ne marche pas.
20/04/2008, 22h42
ero-sennin

Le type de BeginPos est un integer, tout comme Position ;)
@+ ;)
20/04/2008, 23h00
Zaki_SDwin

C'est bon, merci beaucoup :D @+

Que dites vous de cet petite modification ^^ :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Procedure GetLinksInHTMLDoc(URL : string; Links : TStrings);
var
  Content, Link : string;
  HTTP : TIdHTTP;
  Position : Integer;
begin
  Link := '';
  HTTP := TIdHTTP.Create(nil);
  Content := HTTP.Get(URL);
  While Pos('href', Content) > 0 do
  begin
    Position := Pos('href', Content)+5;
    Repeat
      begin
        Position := Position + 1;
        Link := Link + Content[Position];
      end Until Content[Position+1]='"';
    Links.Add(trim(Link));
    Link := '';
    Content[Pos('href', Content)] := #0;
  end;
end;

Biensur je vais améliorer.

21/04/2008, 06h04
Paul TOTH

tu peux regarder mon programme WebCVS qui fait ce que tu recherches avec les CVS Repository de SourceForge.net (bien que ça foire à chaque fois que le repository change de format :D)
22/04/2008, 22h31
Zaki_SDwin

Merci beaucoup :D