Discussion :

[Ti-R]

Le monde C n'est pas le monde PHP, et de base, il n'y a pas 33000 fonctions pour faire tout et n'importe quoi....

(Question: pourquoi ne pas le faire en PHP, vu que tu sembles t'y connaître ?)

Le défit est la pour toi :p, enfin tu devrais trouver ton bonheur en tout cas !

[lapras123]

Hello !
Ouui en php j'my connais bien mais le but c'est de le faire en C car php n'est pas tres rapide et ne tien que 30 secondes sinon il fait une erreur.
Mon but est de faire un bot qui indexe plein de liens et qui prend leur contenu et tout pour faire un moteur de recherche !
J'lai deja fait en php maintenant mn objectif c'est de le faire en C
Voila je regarde le défi a +++

[David.Schris]

en php j'my connais bien [...] php [...] ne tien que 30 secondes sinon il fait une erreur.

Ah bon ?

J'lai deja fait en php

Quelle(s) expression(s) régulière(s) utilisais-tu avec preg_match_all() quand tu l'as fait en PHP ? (n'oublie pas les balises [code] quand tu mettras les expressions utilisées ici)

[Gruik]

Si c'est une application transitoire, ne le fait pas en C, continue de faire du PHP. Pour ton probleme de timeout : http://fr.php.net/manual/fr/function.set-time-limit.php

Edit : merde, ça m'apprendra à pas tout lire.

[lapras123]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
<?
$chaine = file_get_contents("http://www.myefarm.com");
 
$motif='#<a href="(.*?)"(.*?)>#is';
 
$nb=preg_match_all($motif,$chaine,$out,PREG_PATTERN_ORDER);
echo''.$nb.' liens ! <br/>';
foreach ($out[1] as $link) {
echo "$link<br />";
}
?>

Voila la t'as tous les liens :p

[David.Schris]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
<?
$chaine = file_get_contents("http://www.myefarm.com");
 
$motif='#<a href="(.*?)"(.*?)>#is';
 
$nb=preg_match_all($motif,$chaine,$out,PREG_PATTERN_ORDER);
echo''.$nb.' liens ! <br/>';
foreach ($out[1] as $link) {
echo "$link<br />";
}
?>

Voila la t'as tous les liens :p

Même ceux là :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
<a name="x" href="http://boogie.tld">
<a href=http://google.com>
<a
 href="http://developpez.net"
>

?


Et puis il me semble qu'il y a un risque d'en récupérer plus qu'il n'en faut :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
<!-- <a href="http://entrop1"> -->
<script>var x='<a href="http://entrop2">';</script>

Une autre limitation : la taille de la page à traiter (puisque tu la charges entièrement en mémoire).


Mais si tu veux faire le même genre de choses en C, tu peux essayer les fonctions regex POSIX.
Sous Windows avec Dev-C++, tu peux utiliser la bibliothèque Rx (les fonctions sont les mêmes, seul le nom du fichier d'entête change).

[lapras123]

Pour les "" du href ou des '' ou rien du tout 'ai juste a changé l'eexpression :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
$motif='#<a href=(.*?)(.*?)>#is';

Et faire un preg_replace('"', '', $link);
et preg_replace("'", '', $link);

Sinon pour récupérer tous les liens de la page meme avec <a name je pense changer l'expression :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
$motif='#href=(.*?)(.*?)>#is';

moi je fais une vérification d'url (si l'url existe)pour chaque lien comme ca y'aura pas de faux liens (genre si qqun a comme pseudo : href="idiot"):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
$contenu=file_gets_contents($url);
if(!empty($contenu)) {
//le lien est valide
}

Bien sur y'a plein de solution mais j'avoue que mon systeme est LOIN d'être parfait et peut etre trop long avec ma vérification d'url....

La j'ai vraiment laché des petites solutions vites faites mais en y réfléchissant un peu je pense que je peux faire mieux

Sinon j'ai pas compri pk je charge tout dans la mémoire ?!


Pour les bibliothèque je vais les regarder merci bcp !!
++
Si tu veux ensemble on peut trouver la meilleur solution pour le php !

[David.Schris]

Sinon j'ai pas compri pk je charge tout dans la mémoire ?!

Tu fais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$contenu=file_gets_contents($url);

Donc tu charges toute la page dans une variable.
Une variable est stockée en mémoire.
Donc tu charges toute la page en mémoire.
En pratique, ce n'est peut-être pas un problème si tu ne traites qu'une page à la fois et si les pages ne sont pas grosses.
Mais si les pages à traiter ont une taille importante et/ou si tu en traites plusieurs en parallèle, alors tu vas être vite limité (par la taille de la mémoire).

[lapras123]

Je traite une page par execution de la page.
les pages peuvent variées selon le site que j'explore :p
Comment remédier a ce probleme ?