Lancer une requête google et en récupérer le code source

Version imprimable

15/02/2008, 09h06
jonathanC

Lancer une requête google et en récupérer le code source

Bonjour,

voilà j'aimerai savoir si c'est possible d'effectuer un script qui lance une requete sur google puis qui récupére les code sources des page de resultat une à une.
Merci
15/02/2008, 12h03
Celira

Tu veux intégrer une recherche google dans ton site ? comme la fonction recherche de developpez.com ? peut-être que ceci peut t'aider, mais ça ne nécessite pas particulièrement d'utiliser du php.

D'autre part, qu'est-ce que tu veux faire du code source des pages que retourne la recherche ? A mon sens, on récupère des url pas le code source ! :koi:
15/02/2008, 14h28
jonathanC

Salut,

nan nan c'est bien le code source de la page que je veux récupérer et c'est pas un truc de recherche que je veux faire.
En fait je voudrais creer un script qui soumet automatiquement mon site à des annuaires, pour ce faire, je voudrais lancer une requete sur google qui va me retourner des annuaires.
Ensuite je voudrais récupérer les sites 1 à 1 ( le code source) pour récupérer les champs du formulaire et les remplir de manière automatique et enfin valider le formulaire.
15/02/2008, 18h03
gloubi

Tu peux utiliser l'exellente librairie Snoopy, qui fournit un véritable browser PHP... Avec ça, tu peux interroger n'importe quel site (GET ou POST) et récupérer le source de la page dans une variable que tu pourras parser à volonter.
15/02/2008, 19h03
jonathanC

Salut,

ça l'air intéressant, mais je dois mélanger des notions :
- librairie Snoopy ça s'utilise comment?
- browser PHP
comment ça s'utilise?

tu as tout sur le lien que je t'ai donné (cf doc).
C'est enfantin à utiliser ! tu télécharges, tu includes et tu utilises...

Exemple pour lire la page d'accueil google :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<?php
	include "./Snoopy.class.php";
 
	// Retourne le code HTML de la page dont l'adresse est passée en paramètre
	function ReadPage($url)
	{
		$snoopy = new Snoopy;;	
 
		// On effectue la requete HTTP sur la page du NHC
		$snoopy->fetch($url);
 
		// Le code HTML est retourné
		return $snoopy->results;
	}
 
	$code_source_de_la_page = ReadPage('www.google.fr');
?>

16/02/2008, 19h19
jonathanC

hm oui sauf que ça marche pas :(
je suis une kiche lol

j'ai ça comme erreur :

Notice: Undefined index: scheme in C:\easy php\www\Snoopy.class.php on line 143

Notice: Undefined index: scheme in C:\easy php\www\Snoopy.class.php on line 261

je travail sous easy php, j'ai pas encore installé la librairie curl, peut être est-ce la cause?
19/02/2008, 15h11
jonathanC

hm ...

sinon existe-il une fonction qui permette de selectionner tout une chaine de caractère comprise entre les expression <form et </form> par exemple?

car là j'arrive a récupéré le code source, mais il faudrai que je puisse récupéré les champs du formulaire de soumission.( plus précisement le nom de chaque champs) afin de pouvoir récré un formulaire que je soumettrai .
16/08/2008, 07h11
Slade991

Je me permet de remonter le topic.
J'ai remplacer mon get_content_files() par snoopy.
J'ai besoin en faire de faire des requetes sur google.
Et je me suis me suis récemment mangé une error 403 quand mon site essaye de faire ces requêtes :/
J'ai reussi a m'en débarasser en tant qu'utilisateur le code secret blabla.
Mais même avec snoopy je récupère cette error 403 quand c'est mon site qui fait la requete. Y-a-t-il une solution pour que google me laisse faire mes requêtes ?
29/08/2008, 12h05
aymen85

http://www.google.com/uds/samples/ap...elloworld.html si c le cas va faire un toure dans l'API de google
04/09/2008, 09h11
Slade991

super merci !