Discussion :

[johnny-57]

Bonjour,

J'ai un petit soucis, j'ai un robot d'indexation que j'ai codé en php/curl. Pour ne pas perdre de temps, et relancer le robot sur la prochaine url dés qu'il a terminé l'actuel j'ai ajouté en fin de code une requête curl qui boucle sur le fichier du robot.

Problème, malgré que j'ai désactivé la récupération du contenu de la page, le premier lancement du script du robot attends le résultat de la requête curl sur lui même et ainsi de suite et on fini sur une erreur 500 ce qui a pour effet de me laisser de plus en plus de connexion mysql ouvertes et ça fini par poser des problèmes.

Deuxième point, moins grave, les logs serveur m'affichent une erreur 401 malgré que la requête aboutie bien.

Le code que j'utilise :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
$http_auth_ident = "login:mdp";
$c = curl_init();
curl_setopt($c, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
curl_setopt($c, CURLOPT_USERPWD, $http_auth_ident); 
curl_setopt($c, CURLOPT_URL, "urlducrawler");
curl_exec($c);                
curl_close($c);

Merci d'avance de votre aide.

[sabotage]

attends le résultat de la requête curl sur lui même

Je n'ai pas compris cette phrase.

En tout cas, je ne sais pas comment tu as fait ton code (puisque tu ne l'as pas dit) mais un script PHP attend forcemment la fin de l'étape précédente pour avancer. Si tu veux lancer plusieurs actions sans attendre, il faut t'interesser soit au multithread soit lancer de nouvelles instances de php dans ton script.

[johnny-57]

Je vais essayer de faire simple.

Disons que mon script s'appelle crawl.php

crawl.php se compose ainsi :

#recherche en BDD de la page à crawler
#crawl de cette page via php/curl
#enregistrement en BDD du resultat du crawl

#lancement d'une requête php/curl (code donné dans le premier message) sur crawl.php pour le relancer afin qu'il crawl la prochaine page

Vu que je ne demande pas à cette dernière requête curl de récupérer le contenu de crawl.php je pensais que php n'attendrait pas le résultat de la requête.

[sabotage]

Il faudrait également que tu regardes quelle est l'erreur PHP derrière ton erreur 500.
Tu peux faire une interface en Ajax, tu pourras voir les resultat au fur et à mesure des réponses.

[johnny-57]

ajax m'obligerait à garder une fenêtre navigateur ouverte alors que je veux que le crawler tourne en automatique sur le serveur 24h/24.

Pour l'erreur php plus en détails, je regarde les logs apache ? Si c'est là que je dois regarder c'est déjà fais, et à heure égale je ne trouve pas d'enregistrement correspondant.

[sabotage]

Non, les logs PHP.

Dans ce que tu fais aussi tu as besoin de garder le navigateur ouvert.
Si c'est un système en backoffice, il faut faire des appels en ligne de commande.