proxy while avec un handle

Version imprimable

11/10/2009, 14h33
tsukasag

proxy while avec un handle

Bonjour,

j'ai fait un script qui envois l'entête a un site puis récupère le contenu de la page, jusque là tout marche.

Sauf qu'arrivé au while, je bloque.

J'ai bien essayé

Code:

while(read(SOCK, $line, 520)) {

mais ce code bien que parfaitement fonctionnel s'arrete au premier passage, hors il y a plus de 4000 bit par exemple.

Merci par avance pour toute aide,
tsukasa.
12/10/2009, 21h13
50Nio
Bonjour,
Tu as le début du script qu'on puisse tester ?

Sinon, j'essayerais comme avec un FILEHANDLE directement:
Code:

1 2 while(<SOCK>) {

Voici le code a tester :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
 
	#my $url = "http://www.pspgen.com/";
	$url=~m/http\:\/\/([^\:^\/]*)(?:\:(\d+))?\/(.*)/;
	my $host = $1;
	my $port = $2;
	$port = 80 unless($port);
	my $file = '/'.$3;
 
	my $proto = getprotobyname('tcp');
	socket(SOCK, PF_INET, SOCK_STREAM, $proto);
	my $sin = sockaddr_in($port, inet_aton($host));
	connect(SOCK, $sin) || die "Connect failed: $!\n";
 
	my $old_fh = select(SOCK);
	$|=1;
	select($old_fh);
	print SOCK "GET ".$file." HTTP/1.1\n";
	print SOCK "Host: ".$host."\n";
	print SOCK "Accept: */*\n";
	print SOCK "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.2; fr; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3\n";
	print SOCK "Connection: close\n";
	print SOCK "Accept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3\n\n";
	$content = "";
	$headers = "";
	$temp = 0;
	$b = 1;
	while(read(SOCK,$line,600)) {
		if ($temp == 0) {
		$content = $content . $line;
		$pos_h = index($content,"\r\n\r\n");
			if ($pos != -1) {
			print substr($content,$pos_h+10);
			$temp = 1;
			}
		}
		else {
		print $line ;
		}
	sleep(0.3);
	}

merci encore :)

Whoaaa, je viens de mieux comprendre ce que tu veux faire,
tu as des modules qui permette de faire ce que tu veux faire (LWP::Agent),
tu as de nombreux exemples dans ce forum (http://www.developpez.net/forums/d37...web/https-lwp/ par exemple).

Sinno ça ça marche:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 require LWP::UserAgent; my $agent = LWP::UserAgent->new; $agent->timeout(25); $uag = $uas[int rand(@uas)]; $agent->agent($uag); # A utiliser si tu veux passer via un proxy $agent->proxy($proxy); require HTTP::Request; $request = HTTP::Request->new(GET => "$url"); $dapage = $agent->request($request); $content = $dapage->content; # Affichage de la page: print $content

14/10/2009, 20h12
tsukasag

re,

Certe mais je souhaite l'utiliser en tant que plugin pour nginx et j'ai besoin a chaque retour de l'envoyer a nginx avec $r->print

merci comme même pour ton idée, si quelqu'un sait faire ...

Bien, dans ce cas on continue. :-)

Qu'essayes-tu de faire avce le code:

Code:

1
2
3
4
5
6
 
$pos_h = index($content,"\r\n\r\n");
  if ($pos != -1){
    print substr($content,$pos_h+10);
    $temp = 1;
  }

De plus $pos ne devrait pas être un $pos_h ?

SInon le code suivant fonctionne bien:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
	my $url = "http://url.domain.com/";
	$url=~m/http\:\/\/([^\:^\/]*)(?:\:(\d+))?\/(.*)/;
	my $host = $1;
	my $port = $2;
	$port = 80 unless($port);
	my $file = '/'.$3;
 
	my $proto = getprotobyname('tcp');
	socket(SOCK, PF_INET, SOCK_STREAM, $proto);
	my $sin = sockaddr_in($port, inet_aton($host));
	connect(SOCK, $sin) || die "Connect failed: $!\n";
 
	my $old_fh = select(SOCK);
	$|=1;
	select($old_fh);
	print SOCK "GET ".$file." HTTP/1.1\n";
	print SOCK "Host: ".$host."\n";
	print SOCK "Accept: */*\n";
	print SOCK "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.2; fr; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3\n";
	print SOCK "Connection: close\n";
	print SOCK "Accept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3\n\n";
	my ($content, $headers, $line, $temp, $b) = ("", "", "", 0, 1);
	while($line = <SOCK>) {
		chomp($line);
		# Ignore les lignes vides
		$line =~ /^\s*$/ && next;
		# $content contient le contenu
		$content = $content.$line;
	}
	print $content;

Généralement, je ne m'embête pas avec la fonction read, la lecture directe sur le socket fonctionne bien et Perl gère tout seul ses buffers comme un grand.

17/10/2009, 22h36
tsukasag

Le problème c'est qu'il ma semble que :

Code:

while($line = <SOCK>)

lit ligne par ligne, hors le but est au final de faire un proxy de fichier, et de renvoyer simultanément ...

une idée ou précision?
19/10/2009, 11h52
50Nio

Que tu lise avec une tailled e buffer définie, ou ligne par ligne en laissant Perl gérer la taille de son buffer ne change rien.

Les deux possibilitées doivent marcher:
while (lecture_source)
concatenation de tout dans une seule variable
Envoi du resultat complet

while (lecture_source)
envoi morceau par morceau

Ca dépend commetn c'est fait sur le serveur/client final qui va lire les données.
C'est directement un affichage par navigateur la finalité ?