copier le contenu d'une page web dans un fichier texte

Version imprimable

Bonjour;
Code:

1 2 3 4 5 6 7 8 9 NMHTTP1->InputFileMode = true; NMHTTP1->OutputFileMode = true; NMHTTP1->Get("http://www.wpusa.dynip.com/files/SPACE/NOAA.TXT") ; Memo2->Text = NMHTTP1->Body; Memo2->Lines->SaveToFile("c:\\WINDOWS\\Bureau\\Noaa.txt"); delete MyStreamt;
Je voudrais copier le contenu de la page web telechargée(http://www.wpusa.dynip.com/files/SPACE/NOAA.TXT), dans un fichier texte (c:\\WINDOWS\\Bureau\\Noaa.txt)
seulement voila ce qui se copie dans le fichier texte:

Citation:

<HTML>
<HEAD>
<TITLE>403.1 Forbidden - No User Agent and No Referrer</TITLE>
</HEAD>
<BODY>
<H1 ALIGN=CENTER>403.1 Forbidden - No User Agent and No Referrer</H1>
<P>This site does not answer requests from browsers that do not set
the HTTP_USER_AGENT variable (ie: the browser ID string) and arrive
with a blank referer string.</P>
<P>Please try your request again using a properly configured
browser or slightly less restrictive security settings.</P>
<P>At the very minimum, set or unblock your browser ID, please.
We apologize for any inconvience.</P>
<P>-- Webmaster - wpusa.dynip.com</P>
</BODY>
</HTML>

si je met
NMHTTP1->InputFileMode = true;
NMHTTP1->OutputFileMode = true;

le fichier texte recoit

Citation:

Default.htm

Merci de m'indiquer ce qui se passe.

19/08/2005, 12h39
fverneau

Je n'apporte pas de solution à ton code, en revanche, j'ai trouvé une réponse sur le code d'erreur HTTP 403.1 (cf. l'URL) avec une proposition de résolution.
http://www.xav.com/scripts/installer/3056.html
20/08/2005, 15h20
wassila

Merci pour ta contribution :roll: mais je ne pense pas que ça a un rapport avec ce qui s'affiche dans le fichier texte! En plus je dois avouer que je ne suis pas trés calée en anglais :oops:
ici on parle de http 403.1 Forbidden:

Citation:

Server returns "HTTP 403.1 Forbidden: Execute Access Forbidden"

During the CGI install, the web server may return the error code:

HTTP 403.1 Forbidden: Execute Access Forbidden

This means:

You are running Microsoft IIS on a Windows machine.

The web server interpreted the request as an Executable request. If the request was to a *.pl file, then this is good - it probably means that the Perl-to-*.pl mapping has been set up properly.

The folder in which you are requesting does not have "Execute" access turned on.

How to fix the problem

If you have access to the Windows server, go to the Internet Services Manager, select your site, select "Properties", go to the "Home Directory" tab, and check "[x] Execute" (Windows NT 4). On Windows 2000 or XP, its a little different, you need to select "Execute Permissions: [Scripts and Executables]" from the dropdown. You do not need to reboot the computer after making the change, though on older systems it may be necessary to restart the web service.

If you do not have access to the NT server, then you must contact someone who does.

ps: moi je travaille sous windows 98!
20/08/2005, 23h02
wassila

Je reformule ma question :idea:
Est ce que la propriété Body du composant NMHTTP, reçoit le contenu de la page web!? parcequ'il y a aussi la propriété HEAD, mais je pense qu'elle reçoit l'entête de la page web!

Je ne pense pas que ça soit dû à un pb de connexion :!:
Alors qu'est ce qui cloche :?: :?

Merci pour votre contribution :arrow:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
TNMHTTP * NMHTTP1 = new TNMHTTP(NULL);
TStringList *Lignes = new TStringList();
try {   NMHTTP1->Get(Edit5->Text);   }
catch(...)
{  ShowMessage("erreur"); }
 
Lignes->Text = NMHTTP1->Body ;
Memo2->Clear();
Memo2->Lines->AddStrings(Lignes);
 
AnsiString tmp;
    tmp.sprintf("%s%s",ExtractFilePath(Application->ExeName).c_str(),"essai.htm");
    Memo2->Lines->SaveToFile(tmp);

Citation:
Envoyé par cedni
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 TNMHTTP * NMHTTP1 = new TNMHTTP(NULL); TStringList *Lignes = new TStringList(); try { NMHTTP1->Get(Edit5->Text); } catch(...) { ShowMessage("erreur"); } Lignes->Text = NMHTTP1->Body ; Memo2->Clear(); Memo2->Lines->AddStrings(Lignes); AnsiString tmp; tmp.sprintf("%s%s",ExtractFilePath(Application->ExeName).c_str(),"essai.htm"); Memo2->Lines->SaveToFile(tmp);
bein non ca ne marche pas non plus! si j'exécute, y'a une erreur de compilation

Citation:

[C++Erreur] MainForm.cpp(223): 'sprintf' is not a member of 'System::AnsiString'.

Et quand je remedie à ça! le résultat est le même: Mon fichier texte reçoit

Citation:

<HTML>
<HEAD>
<TITLE>403.1 Forbidden - No User Agent and No Referrer</TITLE>
</HEAD>
<BODY>
<H1 ALIGN=CENTER>403.1 Forbidden - No User Agent and No Referrer</H1>
<P>This site does not answer requests from browsers that do not set
the HTTP_USER_AGENT variable (ie: the browser ID string) and arrive
with a blank referer string.</P>
<P>Please try your request again using a properly configured
browser or slightly less restrictive security settings.</P>
<P>At the very minimum, set or unblock your browser ID, please.
We apologize for any inconvience.</P>
<P>-- Webmaster - wpusa.dynip.com</P>
</BODY>
</HTML>

au lieu de recevoir le contenu de la page web!!!
:?

Existe t' il une solution svp :?:

21/08/2005, 16h40
cedni

#include <vcl.h>
#include <mshtml.h>
#include <NMHttp.hpp>
#include <Vcl\strutils.hpp>

essayes avec certains ou tous pour voir

donnes le lien de la page que tu veux recup
21/08/2005, 17h16
wassila

ca marche pas non plus :cry:

en fait je ne vois pas l'utilité d'utilité : temp.sprintf!!!

Il doit y avoir un code beaucoup plus simple pour réaliser ce que je veux faire!
Merci quand même pour ton aide :wink:
21/08/2005, 17h20
cedni

ah oui c vrai les deux lignes concernant tmp

tu peux oublier , ca vient d un projet où je m en sers

Ah d'accord!! :roll:

Bein de toute façon j'ai réessayé, et toujours la même chose!! pourtant la page web existe et la connexion est trés bonne!
cedni! avce ce code, ton composant memo2 reçoit le contenu de la page web?

Je vous remontre le code:
Code:

1 2 3 4 5 6 7 8 9 10 NMHTTP * NMHTTP1 = new TNMHTTP(NULL); TStringList *Lignes = new TStringList(); try { NMHTTP1->Get("http://www.wpusa.dynip.com/files/SPACE/NOAA.TXT"); } catch(...) { ShowMessage("erreur"); } Lignes->Text = NMHTTP1->Body ; Memo2->Clear(); Memo2->Lines->AddStrings(Lignes);
et voici ce que j'ai dans Memo2:

Citation:

<HTML>
<HEAD>
<TITLE>403.1 Forbidden - No User Agent and No Referrer</TITLE>
</HEAD>
<BODY>
<H1 ALIGN=CENTER>403.1 Forbidden - No User Agent and No Referrer</H1>
<P>This site does not answer requests from browsers that do not set
the HTTP_USER_AGENT variable (ie: the browser ID string) and arrive
with a blank referer string.</P>
<P>Please try your request again using a properly configured
browser or slightly less restrictive security settings.</P>
<P>At the very minimum, set or unblock your browser ID, please.
We apologize for any inconvience.</P>
<P>-- Webmaster - wpusa.dynip.com</P>
</BODY>
</HTML>

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
<HTML>
  <HEAD>
    <META HTTP-EQUIV="Pragma" CONTENT="no-cache">
    <TITLE>Offline!</TITLE>
  </HEAD>
 
  <BODY BGCOLOR="#FFFFFF">
    <P ALIGN="center"><img src="concept3-IR.gif" border="0"></p>    
    <H1 ALIGN="CENTER"><FONT FACE="Arial">Not Available!</FONT></H1>
 
    <P ALIGN="CENTER"><FONT FACE="Arial" SIZE="+1">The DynIP customer
      at <b>www.wpusa.dynip.com</b> is<BR>
       not connected to the Internet right now.</FONT></P>
 
    <H2 ALIGN="CENTER"><FONT FACE="Arial">Please try again later. </FONT></H2>
 
    <P><BR>
      </P>
 
    <H3 ALIGN="CENTER"><FONT FACE="Arial">What is DynIP? </FONT></H3>
 
    <BLOCKQUOTE>
      <BLOCKQUOTE><FONT FACE="Arial"><B>DynIP</B> gives your computer an
        Internet Name that automatically tracks your current IP Address every
        time you connect to the Internet. If you want to run a server from your
        desktop you can give your Internet Name to your customers and they can
        find your server without ever knowing your current IP Address again!
        DynIP's Internet Name technology works great with multi-player internet
        games, video conferencing (i.e. NetMeeting), voice conferencing (i.e. IP
        Phone) and remote access (i.e. PC Anywhere). You can use your Internet
        Name with all Internet applications where your current IP Address is
        required. </FONT></BLOCKQUOTE></BLOCKQUOTE>
 
    <P ALIGN="CENTER"><FONT FACE="Arial">Get YOUR OWN 
      <A HREF="http://www.dynip.com">Internet Name HERE!</A></FONT></P>
 
    <P ALIGN="CENTER"><FONT FACE="Arial">Free 30 day trial!</FONT></P>
<div align="center"><a href="http://www.dynip.com/"><img src="/poweredbydynip.gif" border="0" alt="Powered By DynIP!"></a></div>
  </BODY>
</HTML>

voilà ce que j obtiens

21/08/2005, 20h21
cedni

parcontre

essayes de creer un nouveau projet , des fois ca fonctionne , vas t en savoir pourquoi ?
21/08/2005, 22h36
wassila

et bien tu obtiens à peu prés la même chose que moi! :? mais c'est pas ce que je veux :cry: :cry: :cry:
en fait la page web elle même est au format txt! je ne veux pas afficher l'entete et les autres info concernant la page web!
Je veux juste copier son contenu dans un composant Memo :idea:
Aidez moi s'il vous plait :hola:
22/08/2005, 11h05
Neilos

Je crois que fverneau avait bien raison.
Tu affiches bien ce que le serveur te retourne : une page web, même si c'est une page d'erreur.
Sauf qu'évidement tu récupères le code de la page source (normal).

Pourquoi tu récupère une page d'erreur ? Eh bien c'est écrit dans la page d'erreur :D

Citation:

<H1 ALIGN=CENTER>403.1 Forbidden - No User Agent and No Referrer</H1>
<P>This site does not answer requests from browsers that do not set
the HTTP_USER_AGENT variable (ie: the browser ID string) and arrive
with a blank referer string.</P>
<P>Please try your request again using a properly configured
browser or slightly less restrictive security settings.</P>

Le serveur demande qu'un certain entête de la requête HTTP soit présent, celui qui permet d'identifier le navigateur utilisé. Alors soit le composant que tu utilises te permet de faire cela, soit il faut que tu fasses tout à la main.
J'ai un exemple pour le faire à la main, mais chez moi donc je pourrais te le poster sur le forum ce soir si ça t'intéresse.
22/08/2005, 17h09
wassila

ah oui je suis trés intéréssée!!!! merci de te donner la peine! si ça marche tu me sauveras la vie :)
23/08/2005, 08h06
Neilos

Ok..j'ai pas eu le temps hier soir je me suis fait embarqué pour un ciné mais ce soir je te le poste.
Désolé pour le retard.
23/08/2005, 15h09
wassila

Pas de problème Neilos! j'éspère au moins que t'as vu un film qui en vaut la peine :wink:
Et puis j'éspère que ça va marcher!!! mais je pense qu'il y a un moyen plus simple :? peut etre l'utilisation de autre composant :idea:
26/08/2005, 14h02
wassila

Neilos! tu m'as oublié :!: :? :!:
26/08/2005, 14h34
Neilos

Euh...ouais :oops:
Ce soir promis !
Je m'envoie un mail pour ne pas oublier.

Je suis vraiment désolé !

Alors voici comme je procède.
Je place un composant TClientSocket sur ma fiche principale que tu configures correctement (Host et Port).

Ensuite je construit la requête HTTP à la main, bon la mienne cté pour passer des paramètres à une page via la méthode POST. Si tu fais une recherche sur le Header HTTP tu trouvera peut être quelque chose de plus adapté. De toute façon il faudra que tu fasses une recherche pour connaitre le truc à rajouter dans l'entête pour te faire passer pour un navigateur...parce que là je connais pas :D
Code:

1 2 3 4 5 6 7 8 AnsiString request = "POST /ma_page.htm HTTP/1.1\r\n"; request = request + "Host: www.mon-site.com"; result = result + "\r\nConnection: Close\r\n"; result = result + "Content-type: application/x-www-form-urlencoded\r\n"; ClientSocket->Host = "www.mon-site.com"; ClientSocket->Port = 80; ClientSocket->Active
Ensuite dans le OnReceive tu peux récupérer tout ce qui t'es retourné par le serveur : à savoir une page html :)

Voilà j'espère que tu vas t'en sortir...cette histoire m'intéresse et je vais chercher un peu si je trouve quelque chose !

26/08/2005, 22h15
wassila

Merci Neilos :wink: je vais voir ce que je peux faire!! je te tiendrais au courant :arrow: C'est vraiment trés sympa de ta part!
27/08/2005, 09h56
Greybird

Je pense que l'utilisation du composant Indy TIdHTTP serait appropriée dans ce cas, car il permet de spécifier le referer et autre joyeusetés plutôt facilement..
27/08/2005, 16h52
wassila

merci graybird, j'ai déjà eu l'occasion de remarquer que ce composant était fort intéressant, cependant je ne sais pas comment installer de nouveaux composants :oops: ni comment y accéder! parceque jusqu'à maintenant je n'ai jamais eu besoin de composants autres que ceux fournis par le c++builder.
serait-il possible d'avoir un lien pour pouvoir telecharger ce composant :?:
Merci d'avance
27/08/2005, 16h56
Greybird

Sur quelle version de BCB travailles-tu ?

Sur la 6 au moins, ces composant sont préinstallés...
27/08/2005, 17h02
wassila

et bien malheureusement, je ne dispose que de la version 3 professionnel.
Je dois donc installer une nouvelle librairie?
27/08/2005, 17h06
Greybird

Pour indy, c'est raté, le support commence à la version 4.

Suis donc la méthode de Neilos, à défaut de composants performants :wink:
27/08/2005, 17h09
wassila

:cry: C'est triste quand même :cry:
28/08/2005, 15h43
wassila
Me revoila!

J'ai une autre idée:
si je fais ça:
Code:

1 2 3 #include <ShellApi.h> ShellExecute ( Handle,"open","http://www.wpusa.dynip.com/files/SPACE/NOAA.TXT",NULL,NULL,SW_NORMAL);
Et bien la page web s'ouvredans une autre fenêtre!
Serait-il possible de changer un des paramètres pour pouvoir afficher la page web dans un composant Memo,(sachant que cette page web n'est autre qu'un fichier texte).
SVP dites moi que c'est possible :roll:
28/08/2005, 18h07
Neilos

Je pense pas, tu lances une application en faisant ShellExecute. Alors à moins de réussir à forcer cette application à faire un copier et toi ensuite tu fais un coller...

Tu n'arrives pas avec les requêtes HTTP ?

javascript pour le copier , ca doit etre faisable

tiens voilà un script qui copie automatiquement une variable
apres arrange le à ton gout

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
<script language="JavaScript">
		var brNum, brVer = navigator.userAgent;
		function copy2Clipboard(obj)
			{
  			var textRange = document.body.createTextRange();
  			textRange.moveToElementText(obj);
  			textRange.execCommand("Copy");
			}
		function get_ie_ver()
			{
		   	var brVerId = brVer.indexOf('MSIE');
		   	brNum = brVer.substr(brVerId + 5, 3);
		   	return brNum;
			}
		if (navigator.appName == 'Microsoft Internet Explorer' && get_ie_ver() >= 5.5) {
			copy2Clipboard(document.getElementById('mail_addr'));
			document.write("Votre adresse e-mail antispam a &eacute;t&eacute; copi&eacute;e dans votre presse papier.");
		}		
		</script>

28/08/2005, 22h27
Neilos

Problème : ce code javascript faudra le mettre sur la page qu'elle charge...dur dur non ? Surtout si c'est pas elle qui a fait la page !