IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Langage Delphi Discussion :

Récupérer le contenu d'une page internet


Sujet :

Langage Delphi

  1. #1
    Membre expérimenté
    Avatar de retwas
    Homme Profil pro
    Développeur Java/Delphi
    Inscrit en
    mars 2010
    Messages
    698
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 30
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Développeur Java/Delphi
    Secteur : Finance

    Informations forums :
    Inscription : mars 2010
    Messages : 698
    Points : 1 608
    Points
    1 608
    Billets dans le blog
    4
    Par défaut Récupérer le contenu d'une page internet
    Bonjour,

    Après quelques mois sur Java, je reviens sur Delphi pour un projet perso.

    Je souhaite récupérer le contenu d'une page, jusque la rien de plus simple ..
    J'ai posé un TidHTTP sur mon appli et je l'utilise comme ceci :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    procedure TForm3.Button2Click(Sender: TObject);
    var
       s : string;
    begin
       s := IdHTTP2.Get('https://www.whisky.fr/marque/jack-daniel-s.html');
       ShowMessage(s);
    end;
    Je ne sais pas pourquoi, pour cette page je récupère un javascript et non le code source comme ci j'allais le voir manuellement depuis mon navigateur..

    Idem avec le AllowCookie et HandleRedirect, ou le composant TNetHttpClient.

    Avez-vous déjà eu ce cas ?

    Merci

  2. #2
    Membre chevronné Avatar de pprem
    Homme Profil pro
    MVP Embarcadero - développeur Delphi, PHP et JS
    Inscrit en
    juin 2013
    Messages
    959
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loiret (Centre)

    Informations professionnelles :
    Activité : MVP Embarcadero - développeur Delphi, PHP et JS
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : juin 2013
    Messages : 959
    Points : 2 044
    Points
    2 044
    Par défaut
    Bonne question, aucune idée de la raison, un wget en console rapatrie bien le source du HTML.

    Par contre tu devrais t'habituer à utiliser les composants TNetHTTPClient et TNetHTTPRequest si tu accèdes à des sites en https, au moins ça t'évitera les problèmes de mises à jour de la librairie SSL.

  3. #3
    Rédacteur/Modérateur

    Avatar de SergioMaster
    Homme Profil pro
    Développeur informatique
    Inscrit en
    janvier 2007
    Messages
    12 812
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 64
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2007
    Messages : 12 812
    Points : 34 629
    Points
    34 629
    Billets dans le blog
    54
    Par défaut
    Bonjour,

    le fait de récupérer la page dans un String ne doit pas aider. Au premier caractère #0 rencontré => fin de ligne.

    Je verrais plus une codification comme

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    procedure TForm3.Button2Click(Sender: TObject);
    var ms : TMemoryStream;
    begin
    ms:=TMemoryStream.Create;
    try
      NetHTTPClient1.Get('https://www.whisky.fr/marque/jack-daniel-s.html',ms);
      ms.Position:=0;
      Memo1.Lines.LoadFromStream(ms);
    finally
      ms.Free;
    end;
    end;
    @patrick avec NetHttpClient pour te faire plaisir
    La seule chose absolue dans un monde comme le nôtre, c'est l'humour. » Albert Einstein

    Delphi installés : D3,D7,D2010,XE4,XE7,D10 (Tokyo, Rio, Sidney) et peut être quelques autres
    SGBD : Firebird 2.5, 3, SQLite
    générateurs Etats : FastReport, Rave, QuickReport
    OS : Window Vista, Windows 10, Ubuntu, Androïd

  4. #4
    Expert éminent sénior
    Avatar de Paul TOTH
    Homme Profil pro
    Freelance
    Inscrit en
    novembre 2002
    Messages
    8 077
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 51
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Freelance
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : novembre 2002
    Messages : 8 077
    Points : 26 145
    Points
    26 145
    Par défaut
    mais que cherches-tu dans cette page ? car de fait cette page contient bcp de javascript (Ctrl+U sous Chrome pour voir la page telle qu'elle est chargée).
    Developpez.com: Mes articles, forum FlashPascal
    Entreprise: Execute SARL
    Le Store Excute Store

  5. #5
    Membre habitué
    Homme Profil pro
    conseil et développeur en informatique industrielle
    Inscrit en
    janvier 2006
    Messages
    211
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : conseil et développeur en informatique industrielle
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2006
    Messages : 211
    Points : 165
    Points
    165
    Par défaut
    et si c'était du JSON, comment le récupérer et le décoder ??

  6. #6
    Membre averti Avatar de blonde
    Femme Profil pro
    Développeur Embarcadero mutliplateforme
    Inscrit en
    septembre 2003
    Messages
    209
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Embarcadero mutliplateforme

    Informations forums :
    Inscription : septembre 2003
    Messages : 209
    Points : 350
    Points
    350
    Par défaut
    Citation Envoyé par aladin95 Voir le message
    et si c'était du JSON, comment le récupérer et le décoder ??

    tu récupères le contenu de le même façon

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    sResponse := IdHTTP.Get('http://monUrlQuiRetourneDuJSON');
    Et ensuite tu parses ton JSON pour obtenir les valeurs

    Exemple


    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
     
    aJSON := TJSONObject.Create;
    aValue := aJSON.ParseJSONValue(sResponse);
    Il doit y avoir des tutos sur le site pour la façon de parser le JSON. Tout dépendra de sa structure.

    Si tu as une question particulière, tu peux ouvrir un nouveau sujet.

  7. #7
    Membre habitué
    Homme Profil pro
    conseil et développeur en informatique industrielle
    Inscrit en
    janvier 2006
    Messages
    211
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : conseil et développeur en informatique industrielle
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2006
    Messages : 211
    Points : 165
    Points
    165
    Par défaut
    merci de ta réponse.
    mais j'ai une erreur ssl sur le GET

    peut-on utiliser NetHTTPClient qui semble éviter ce problème mais que je n'arrive pas a utiliser.

  8. #8
    Rédacteur/Modérateur

    Avatar de SergioMaster
    Homme Profil pro
    Développeur informatique
    Inscrit en
    janvier 2007
    Messages
    12 812
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 64
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2007
    Messages : 12 812
    Points : 34 629
    Points
    34 629
    Billets dans le blog
    54
    Par défaut
    Bonjour,

    La discussion de départ était sur une page web HTML. Comment en a t-on pu dériver sur du JSON ?
    La seule chose absolue dans un monde comme le nôtre, c'est l'humour. » Albert Einstein

    Delphi installés : D3,D7,D2010,XE4,XE7,D10 (Tokyo, Rio, Sidney) et peut être quelques autres
    SGBD : Firebird 2.5, 3, SQLite
    générateurs Etats : FastReport, Rave, QuickReport
    OS : Window Vista, Windows 10, Ubuntu, Androïd

  9. #9
    Membre habitué
    Homme Profil pro
    conseil et développeur en informatique industrielle
    Inscrit en
    janvier 2006
    Messages
    211
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : conseil et développeur en informatique industrielle
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2006
    Messages : 211
    Points : 165
    Points
    165
    Par défaut
    ho ben c'est simple..
    Je dois récupérer des données sur un site qui propose des API.

    Par le débogueur REST ca passe pas.

    Examinant les éléments de doc du site, j'ai trouvé que je peux récupérer une page web qui ressemble bougrement a du json avec une simple requête ou je peux ajouter les paramètres spécifiques aux données a récupérer.

    Sur cette discussion, j'ai pu récupérer les données dans un fichier texte.
    Donc reste a décoder le fichier texte pour rechercher mes données
    OU essayer de récupérer du json direct et ce sera a priori plus facile a extraire les données utiles.

    voila le cheminement ..

    si tu veux plus de détails.. mais en privé car je veux pas saturer ledit site par les visiteur d'ici

  10. #10
    Expert éminent sénior
    Avatar de Paul TOTH
    Homme Profil pro
    Freelance
    Inscrit en
    novembre 2002
    Messages
    8 077
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 51
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Freelance
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : novembre 2002
    Messages : 8 077
    Points : 26 145
    Points
    26 145
    Par défaut
    Citation Envoyé par aladin95 Voir le message
    merci de ta réponse.
    mais j'ai une erreur ssl sur le GET

    peut-on utiliser NetHTTPClient qui semble éviter ce problème mais que je n'arrive pas a utiliser.
    "une erreur ssl"...c'est vague, mais c'est très probablement lié soit à la version de OpenSSL, Indy ne supporte pas la dernière version, soit à la version de TLS configurée, c'est souvent TLS 1.2 qui est réclamé ces temps ci.

    mais ta question est comment récupérer du JSON, pas comment éviter une erreur SSL
    Developpez.com: Mes articles, forum FlashPascal
    Entreprise: Execute SARL
    Le Store Excute Store

  11. #11
    Membre habitué
    Homme Profil pro
    conseil et développeur en informatique industrielle
    Inscrit en
    janvier 2006
    Messages
    211
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : conseil et développeur en informatique industrielle
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2006
    Messages : 211
    Points : 165
    Points
    165
    Par défaut
    en complément d'info, voici le message de l'exception
    Erreur lors de la connexion avec SSL. EOF : violation du protocole.

    Je ne maitrise pas vraiment cette technologie (REST et JSON) alors je n'ai pas de préférence a propos de la méthode si j'arrive a gérer ces données.

    merci a tous de votre aide

  12. #12
    Expert éminent sénior
    Avatar de ShaiLeTroll
    Homme Profil pro
    Développeur C++\Delphi
    Inscrit en
    juillet 2006
    Messages
    12 040
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Développeur C++\Delphi
    Secteur : High Tech - Électronique et micro-électronique

    Informations forums :
    Inscription : juillet 2006
    Messages : 12 040
    Points : 21 158
    Points
    21 158
    Par défaut
    Peut-être que fournir le code pourrait aider à savoir ce qui aurait été oublié
    Fournir aussi les paramètres fourni en Design Time et Run Time, surtout que le sujet c'était récupérer une page HTML et qu'il a été détourné vers un sujet JSON
    On ignore la version de Delphi, on ignore si c'est du TidHTTP, TNetHTTPClient, TRESTClient, il faudrait déjà par bien définir cela

    Si Indy, vos deux DLL SSL doivent surement être mise à jour, sachez que plein de logiciel les installe, il est possible de les récupérer sur son propre PC avant de se lancer sur le net à la recherche de binaire d'origine douteuse.

    Par le débogueur REST ca passe pas.
    Cela semble mal parti !

    Essayer l'outil Postman !
    Aide via F1 - FAQ - Guide du développeur Delphi devant un problème - Pensez-y !
    Attention Troll Méchant !
    "Quand un homme a faim, mieux vaut lui apprendre à pêcher que de lui donner un poisson" Confucius
    Mieux vaut se taire et paraître idiot, Que l'ouvrir et de le confirmer !
    L'ignorance n'excuse pas la médiocrité !

    L'expérience, c'est le nom que chacun donne à ses erreurs. (Oscar Wilde)
    Il faut avoir le courage de se tromper et d'apprendre de ses erreurs

  13. #13
    Membre habitué
    Homme Profil pro
    conseil et développeur en informatique industrielle
    Inscrit en
    janvier 2006
    Messages
    211
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : conseil et développeur en informatique industrielle
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2006
    Messages : 211
    Points : 165
    Points
    165
    Par défaut
    - Pour le moment, y a pas de code car je ne sais pas quelle méthode choisir.
    - avec Postman ca marche mais pas avec débogueur REST.


    j'ai expliqué mon cheminement ... une url et les données arrivent a priori en json en page web.
    j'attends une analyse de Sergio..
    je veux pas forcement mettre tout le monde sur le pont ;-)

    merci .. je reviendrai peut-être..

  14. #14
    Membre chevronné Avatar de pprem
    Homme Profil pro
    MVP Embarcadero - développeur Delphi, PHP et JS
    Inscrit en
    juin 2013
    Messages
    959
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loiret (Centre)

    Informations professionnelles :
    Activité : MVP Embarcadero - développeur Delphi, PHP et JS
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : juin 2013
    Messages : 959
    Points : 2 044
    Points
    2 044
    Par défaut
    Si REST Debugger ne passe pas (je suppose en version 10.4 ?), il faut tester un Get dans un THTTPClient (de System.net.HttpClient) pour voir ce que ça donne.

  15. #15
    Rédacteur/Modérateur

    Avatar de SergioMaster
    Homme Profil pro
    Développeur informatique
    Inscrit en
    janvier 2007
    Messages
    12 812
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 64
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2007
    Messages : 12 812
    Points : 34 629
    Points
    34 629
    Billets dans le blog
    54
    Par défaut
    Tout d'abord, un GROS PS je suggère de faire de cette partie JSON, une autre discussion, peut-être plus dans le sous-forum web. En cas d'accord je m'en chargerai, il me suffit d'un titre et d'un peu d'huile de doigts

    Citation Envoyé par pprem Voir le message
    Si REST Debugger ne passe pas (je suppose en version 10.4 ?),
    Si, ça passe du moins en ai-je réussi une sans trop de difficulté, avec l'aide du site en question c'est une question de lecture

    Un petit truc j'ai remarqué qu'il ne fallait pas utiliser la paramètre pretty qui est en fait l'utilisation de l'enjoliveur quand on passe directement par un explorateur web (c'est peut-être là que cala bloquait lors de tes essais)

    [EDIT]
    Ce matin, j'améliore ma réponse. Déjà en proposant une requête JSON qui fonctionne avec REST en pj (pour plus de facilité à renommer en .json), deux solutions différentes pour une même requête (une sans parmètre, l'autre avec)
    et un petit écran REST pour montrer que c'est possible
    Nom : Capture.PNG
Affichages : 32
Taille : 48,2 Ko
    Comme l'a justement indiqué Patrick, le REST debugger de la 10.4 est légèrement différent de celui de la 10.3 (lequel, brusquement, m'avait posé souci) j'ai donc aussi fait un test avec celui de la 10.3 qui fonctionne aussi.

    Attention quand même les données ne sont pas toujours nickel chrome, surtout pour cette API Beta contenant des erreurs de type de colonne
    Fichiers attachés Fichiers attachés
    La seule chose absolue dans un monde comme le nôtre, c'est l'humour. » Albert Einstein

    Delphi installés : D3,D7,D2010,XE4,XE7,D10 (Tokyo, Rio, Sidney) et peut être quelques autres
    SGBD : Firebird 2.5, 3, SQLite
    générateurs Etats : FastReport, Rave, QuickReport
    OS : Window Vista, Windows 10, Ubuntu, Androïd

Discussions similaires

  1. récupérer le contenu d'une page web
    Par marielaure2805 dans le forum Langage
    Réponses: 4
    Dernier message: 28/02/2007, 13h12
  2. Récupérer le contenu d'une page web
    Par smarties dans le forum Entrée/Sortie
    Réponses: 2
    Dernier message: 13/02/2007, 01h25
  3. Récupérer du texte d'une page internet
    Par PorkyFighter dans le forum C
    Réponses: 2
    Dernier message: 11/11/2006, 21h55
  4. Récupérer le contenu d'une page PHP
    Par Pragmateek dans le forum Réseau
    Réponses: 37
    Dernier message: 28/05/2006, 22h00
  5. [Servlet]Récupérer le contenu d'une page web
    Par Jarodnet dans le forum Servlets/JSP
    Réponses: 6
    Dernier message: 06/10/2005, 15h47

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo