Extraction de texte d'une page web

Version imprimable

22/03/2023, 14h17
Miflon

1 pièce(s) jointe(s)

Extraction de texte d'une page web

Bonjour à toutes et à tous.

Windows 10 x86_64-win64-win32/win64; Lazarus version 2.2.2; fpc 3.2.2
Je m'essaye à extraire du texte d'une page web. À partir de l'adresse suivante :
https://lazplanet.blogspot.com/2019/...in-2-ways.html
J'ai ouvert Lazarus et suivi pas à pas la procédure décrite. Tout fonctionne bien quand l'adresse débute par 'http://'. Mais cela se gâte si cette adresse est en 'https://'. Je reçois le message suivant :

Pièce jointe 636170

J'ai bien dans le répertoire de l'exécutable 'libeay32.dll' et 'ssleay32.dll' extraits depuis
https://indy.fulgan.com/SSL/ dans le fichier 'openssl-1.0.2u-x64_86-win64.zip'. Étaient-ce les bon fichiers ? Où se trouve l'unité opensslsockets ?

Si quelqu'un pouvait me mettre sur la bonne piste pour m'en sortir je serais bien content.
Merci d'avance, Michel.

Bonjour,

Voici un exemple, qui me sert à récupérer du texte sur GitHub (en l’occurrence la dernière version disponible du programme) avec Indy installé:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
uses ...., fphttpclient, fpopenssl, openssl, opensslsockets;    
 
....
 
TAboutBox = class(TForm) 
....
public
function ChkNewVersion (url: string=''): string;  
end;
 
implementation
 
....
 
function TAboutBox.ChkNewVersion(url: string=''): string;
var
  MyHTTPCli: TFPHTTPClient;
  spage: string;
  stagurl: string;
  titlebeg, titleend: Integer;
  A: TStringArray;
  sl: TStringList;
  s: string;
  i, p: integer;
begin
  result:= '';
  sl:= TStringList.create();
  // if length(url)=0 then url:= ChkVerUrl;    //Sans objet ici
  { SSL initialization has to be done by hand here }
  InitSSLInterface;
  MyHTTPCli:= TFPHTTPClient.Create(nil);
  try
    MyHTTPCli.IOTimeout:= 20000;
    MyHTTPCli.AllowRedirect:= true;
    MyHTTPCli.AddHeader('User-Agent','Mozilla 5.0 (bb84000 '+ProgName+')');
    // Parse last release page to get last version
    // <title>Release Version 0.9.1.7 - 08/04/2021 etc
    sl.text:= MyHTTPCli.Get(url);
    Application.ProcessMessages; //let loading complete
    if sl.Count > 0 then
    begin
      for i:= 0 to sl.Count-1 do
      begin
        p:= pos('<title>', sl.Strings[i]) ;
        if p > 0 then
        begin
          s:=Copy(sl.Strings[i], p+8, 40);
          A:= s.Split(' ');
          break;
        end;
      end;
      // Avoid exception if we dont find the proper line
      if length(A)>=2 then result:= A[2]
      else result:= '';
    end;
  except
    on e:Exception do
       ErrorMessage:= e.message
  end;
  if Assigned(MyHTTPCli) then MyHTTPCli.Free;
  if Assigned(sl) then sl.free;
end;

Points importants :

Ne pas supprimer opensslsockets, même si Lazarus dit que c'erst inutile.
La fonction InitSSLInterface; estnécessaire dans certains cas de figure
Spécifier un UserAgent car certains sites refusent la connexion en son absence. Je prends Mozilla 5.0, j'y ajoute de quoi me reconnaitre ainsi que mon programme. Si le site est un tant soit peu intelligent, il sait que c'est moi et pas un robot ou un pirate.

bb84000

23/03/2023, 09h43
Miflon

Merci bb84000 pour ta réponse. Je vais essayer de mettre en œuvre ta solution.
Je rendrai compte de mes essais.
27/03/2023, 09h27
Miflon

Où trouver Indy qui correspond à ma configuration?

Hello,
dans les versions récentes de Lazarus >= 2.2.0 on peut utiliser d'autres dlls plus "modernes" que libeay32 et ssleay32 comme le montre le code du fichier openssl.pas qui se trouve dans fpcsrc\packages\openssl\src :
Code:

1 2 3 4 5 6 7 8 var {$IFDEF WINDOWS} DLLSSLName: string = 'ssleay32.dll'; DLLSSLName2: string = 'libssl32.dll'; DLLSSLName3: string = {$IFDEF WIN64}'libssl-1_1-x64.dll'{$ELSE}'libssl-1_1.dll'{$ENDIF}; DLLUtilName: string = 'libeay32.dll'; DLLUtilName2: string = {$IFDEF WIN64}'libcrypto-1_1-x64.dll'{$ELSE}'libcrypto-1_1.dll'{$ENDIF}; {$ELSE}
En particulier il y a les dll libssl-1_1 et libcrypto-1_1. On peut trouver où télécharger les dll ici . Choisir :

Citation:

2023-02-07 OpenSSL Binaries Win-64 1.1.1t requires ICS V8.57 or later Built with Visual Studio Build Tools 2017 Supports TLSv1.3. For 64-bit applications only (XE2+). Digitally code signed. Only supports Windows Vista/Server 2008, and later, not Windows XP.
2023-02-07 OpenSSL Binaries Win-32 1.1.1t requires ICS V8.57 or later Built with Visual Studio Build Tools 2017 Supports TLSv1.3. Use with 32-bit applications on Windows 64-bit. Digitally code signed. Only supports Windows Vista/Server 2008, and later, not Windows XP.

Il faut avoir le VC++ redistribuable qui va bien installé (celui qui marche avec VS 2017 exemple msvc++ redistribuable 2015-2019).
Sur un Windows 64 bits les dll 32 bits sont à mettre dans Windows\SysWow64 et les dll 64 bits dans Windows\System32

Ami calmant, J.P