Discussion :

[marielaure2805]

bonjour,

je veut recupere le contenu d une page web,
pour extraire des informations de cette page,

pour cela j utilise la fonction get_html trouver sur ce site,

mais des fois mon script se bloque et je ne sais pas
d ou ca vient ....
ca fait comme si la page web se chargeait indefiniement,
et du coup mon scritp tourne indefiniement ....

si vous avec une idee
merci

[marielaure2805]

apres plusieurs essai, j'ai l impression que ce sont
les url rewriter qui ne fonctionnent pas bien,

est ce que vous avez une idee ?

[RideKick]

est ce que vous avez une idee ?

oui , montre nous un bout de code stp

[marielaure2805]

alors, voici la fonction que j'utilise

Code PHP :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
 
function get_html($url, $parametres=array()) {
	if (CONNEXION=="curl") {
		$params='';
		if ($parametres['Referer']!="") $params.='-e '.$parametres['Referer'];
		if ($parametres['Proxy']!="") $params.='-x '.$parametres['Proxy'];
		if ($parametres['BrowserName']!="") $params.='-A "'.$parametres['BrowserName'].'"';
		return (`curl $params $url`);
	}
	else {
		if (strtoupper(substr($url,0,7))=="HTTP://") $url=substr($url,7);
		$p = strpos($url,"/");
		if ($p===FALSE) {
			$nom_domaine=$url;
			$get="/";
		}
		else {
			$nom_domaine=substr($url,0,$p);
			$get=substr($url,$p);
		}
 
		$errno=""; $errstr=""; $r="";
		$fp = fsockopen($nom_domaine, 80, &$errno, &$errstr, 60);
		if($fp) {
			socket_set_timeout($fp, 60);
			fputs($fp,"GET $get HTTP/1.1\r\n");
			fputs($fp,"Host:  $nom_domaine\r\n");
			fputs($fp,"Connection: Close\r\n\r\n");
			$r="";
			while(!feof($fp)) {
				$r.=fgets($fp,1024);
			}
			fclose($fp);
			return($r);
		}
		return('');
	}
}

exemples d url sur lesquelles ca pose probleme :

http://www.homestudio.fr/produit-sen...--id-2666.html
http://www.stars-music.fr/pages/prod...--id-8043.html

j'ai un script qui va recherche des urls dans ma base de donnees,
et qui ensuite recupere le code HTML de la page,

jusqu ici ce script fonctionnait correctement,
mais depuis hier, sur certaines url, mon script se bloque
et apparement tourne indefiniement,

apres plusieurs essais, j ai constater que c'etait sur les
url rewriter qu il bloquait ....

je ne vois pas pourquoi,


peut etre que c est les differents sites qui ne repondent pas correctement,
dans comment faire pour que ca ne bloque pas completement mon script ?

merci pour votre aide

[marielaure2805]

donc ca se bloque bien en pleine lecture de la page,
la fin de fichier n est pas encore atteinte,

j ai donc une boucle qui tourne sans arret ....