[Tableaux] Crawl en PHP

**johnnyaque** · 13/08/2006, 17h31

voilla j ai trouvé ca sur google c'est un crawl on doit mettre une adresse de depart dans l'index.html qui est là

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 index.html
{
<html>
<head>
<title>Zinsearchbot - Robot d'indexation en php</title>
<body>
<div align="center">
<br/><br/>
<font face="Arial" size="2" color="black">Veuillez fournir une adresse de départ</font>
<form action="zinsearchbot.php" method="GET">
<input type="text" name="site" value="http://" size="60" />&nbsp;
<input type="submit" value="Indexer" />
</form><br/>
<font face="Arial" size="1" color="black">Copyright Zinystral. Nom du robot : Zinsearchbot</font>
</div>
</body>
</html>
}

qui lui envoie les données via le script là

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
 {
 
<html>
<head>
<title>Robot d'indexation Zinsearchbot</title>
</head>
<body>
<?php
if(empty($_GET['site']))
{
$site='http://www.yahoo.fr';
}
else
{
$site=$_GET['site'];
}
 
$code = file_get_contents($all);
$code = preg_replace('!'.$site.'!isU', '', $code);
preg_match('!<title>(.+)</title>!isU', $code, $title);
preg_match_all('!<a href="http://%5BA-Za-z0-9%5D" target="_blank">http://[A-Za-z0-9]</a>[A-Za-z0-9\-\.]+[A-Za-z0-9]\.[A-Za-z]{2,}[\43-\176]*+!isU', $code, $lien);
preg_match('!<meta name="description" content="(.+)"(.+)>!isU', $code, $description);
preg_match('!<meta name="keywords" content="(.+)"(.+)>!isU', $code, $clee);
 
$nb=count($lien[0]);
 
if(empty($title) || empty($description) || empty($clee) || $title[0] == '' || $description[0] == '' || $clee[0] == '')
{
echo'&bull; <font color="red">Une des balises n\'est pas fournie.</font><br/><br/>';
}
else
{
 
$title[0] = preg_replace('!<title>(.+)</title>!isU', '$1', $title[0]);
$description[0] = preg_replace('!<meta name="description" content="(.+)"(.+)>!isU', '$1', $description[0]);
$clee[0] = preg_replace('!<meta name="keywords" content="(.+)"(.+)>!isU', '$1', $clee[0]);
 
 
echo'&bull; <font color="red">Meta title : </font> '.$title[0].'';
echo'<br /><br />';
echo'&bull; <font color="red">Meta description :</font> '.$description[0].'';
echo'<br /><br />';
echo'&bull; <font color="red">Meta keywords :</font> '.$clee[0].'<br/><br/>';
 
 
 
$date=date('d/m/y');
include('mysql.php'); 
mysql_connect($host, $base, $passe);
mysql_select_db($db);
$requete = mysql_query("SELECT id,titre,description,adresse,key,source,date,ps FROM sites_annuaire WHERE adresse='$site'");
$reponse = mysql_num_rows($requete);
 
if($reponse == '0')
{
mysql_query("INSERT INTO sites_annuaire VALUES ('', '$title[0]', '$description[0]', '$site', '$clee[0]', '$date', '1')");
}
else
{
while ($donnes = mysql_fetch_array($requete) )
{
if($site == ''.$donnes['adresse'].'')
{
echo'@';
}
else
{
$ps=$donnes['ps'];
$ps_=$ps+1;
$requete_ = mysql_query("UPDATE sites_annuaire SET ps = '$ps_' WHERE adresse = '$site'");
}
}
}
mysql_close();
 
 
}
if(empty($lien[0]))
{
echo'&bull; <font color="red">Aucun lien aproprié n\'a été trouvé.</font><br/>
 <form action="" method="GET"><input type="text" name="site" value="'.$site.'" size="117" /> <input type="submit" value="OK" /></form>
';
}
else
{
$aleatoire=rand(1, $nb);
$_lien=$lien[0][$aleatoire];
 
echo'&bull; <font color="red">Lien suivant : </font> '.$_lien.'<br/><br/>';
echo'&bull; <font color="red">Nombre de liens : </font>'.$nb.'<br/><br/>';
 
 
 
 
echo"<script language=\"JavaScript\">
setTimeout(\"window.location='zinsearchbot.php?site=$_lien'\",300); 
</script>";
 
 
 
}
?>
<br/><br/>
<?php
if(!empty($lien))
{
?>
<div align="center"><font style="color:green; font-family:Arial;"><strong>Chargement...</strong></font></div>
<?php
}
else
{
?>
<div align="center"><font style="color:green; font-family:Arial;"><strong>Indexation stoppée...</strong></font></div>
<?php
}
?>
<br ><div align="center"><a href="index.php" style="color:red; text-decoration:none">X Stopper</a></div>
</body>
</html>
}

mais il se trouve qu'il y a des erreurs et ne connaissant pas le php, je cherche quelqu'un qui trouvera ces erreurs.
Voilà j'espère trouver quelqu'un qui saura réparer ou trouver les erreurs.Le script a été conçu pour un moteur de recherche et scanne toutes les adresses du site de départ mais s'arrete dès qu'il tombe sur une page 404. Est-il possible de faire qu'il recherche un autre lien ? Il est possible que j'installe le script pour les personnes qui voudront m'aider et qui veulent voir les erreurs

**Arnard** · 13/08/2006, 18h40

C'est quoi les erreurs ? ce serait plus sympa pour y travailler

**johnnyaque** · 13/08/2006, 19h03

voilla tu peux le teste a cette adresse ici

tumet une adresse et tu lace le truc

**Yogui** · 13/08/2006, 20h42

Salut

J'imagine que tu n'as pas suivi la procédure de création de la table dans ta base de données. Vu que le script ne gère pas les erreurs, il ne t'en informe pas.
Tu peux télécharger mon crawler ici (pas besoin de base de données) : http://g-rossolini.developpez.com/tu...ge=page_1#LI-C

**johnnyaque** · 13/08/2006, 21h02

merci mes peut tu m expliquer .
comment je vais ajoutee les lien trouvé avec ton crawl dans la base de donnee de mon moteur de recherche qui se trouve la si tu veux le voir ici

tu peux aller tester ton spiderla
avec moi il ne marche pas .!!!!

**Yogui** · 13/08/2006, 21h33

Euh

Si tu comptes créer un nouveau Google, je préfère t'avertir que tu auras besoin de quantités gigantesques d'espace disque et de bande passante. Cela va te coûter une fortune. As-tu fait une étude des coûts générés et des revenus attendus ?

De plus, les crawlers que tu trouveras ici et là sur le Net ne te permettront pas d'arriver à tes fins aussi simplement. Par exemple, celui que je t'ai proposé ci-dessus ne gère pas le fichier robot.txt et celui de CS est trop facile à faire planter.
Non, vraiment, je ne veux pas être blessant mais je crains que tu ne te sois embarqué dans quelque chose de trop gros pour toi.

Tu peux toujours essayer les programmes tels que Google Free si tu souhaites simplement inclure un moteur de recherche à ton site.

[Tableaux] Crawl en PHP

Langage PHP

Vue hybride

Discussions similaires

Partager

Partager