Discussion :

[amal1410]

Bonjour à tous,

j'espère que je vais trouver une solution à mon problème ici

Mon problème et le suivant:

a partir d'un site web existant, j'utilise curl pour récupérer des informations précises tel que Nom, Téléphone... pour un domaine donné (sur lequel on fait la recherche)
exp: si je tape dans mon site 'Telecom' je vais visiter l'autre site (en utilisant curl) et voir le nombre de résultats donnés pour ce domaine recherché puis extraire les informations nécessaire en utilisant le curl plusieurs fois (pour chaque page contenant un résultat)

le script marche très bien si le nombre de résultat (trouvé dans le site existant déjà sur le web) est inférieur à 4000 (sachant que dans chaque page 20 résultats donc, j’exécute le même script nbre_de_resultat/20 fois )
si non le script s'arrete (pb de temps d’exécution )

je suppose que le problème provient de curl.
est ce que ma supposition est juste et quelle est la solution que vous me proposez?

[BakSh0]

Bonjour,

Ton problème est juste une question de 'lenteur' du script, qui fait que le script s'arrête au bout de X secondes d’exécution. C'est le serveur qui stop ton script et non CURL.

Dans ton PHP.ini tu a une variable qui se nomme max_execution_time tu peux la changer, ou alors ajouter un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

set_time_limit(X) // secondes

en haut de ton script

Cependant, un code qui dépasse le max ececution time est peut être un code mal optimisé, personnellement je n'attendrai pas 50 ou 60 secondes pour qu'une recherche s'effectue.

Essaye de voir si tu n'a pas d'autre solution, par exemple regrouper le tout par bloc de 20 résultats comme tu le dit est une solution très pertinente.

[amal1410]

Merci pour votre réponse BakSh0,
pour le temps d'exexution j'ai deja la ligne de code en haut du script

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

set_time_limit(0);

je vais essayer de revoir mon code, mais j'ai une question , utiliser curl plus que 100 fois dans un script (boucle) ne permet pas de crasher la page?

[rawsrc]

Salut,

tu as plusieurs strates de temps limite : PHP d'un côté (le script) et la lib curl de l'autre.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 0); 
curl_setopt($ch, CURLOPT_TIMEOUT, 0);

Un peu de doc ici

[BakSh0]

tu as plusieurs strates de temps limite : PHP d'un côté (le script) et la lib curl de l'autre.

Exactement, mais dans ce cas précis, étant donnée qu'avec un nombre limité d'opérations tout est OK, je n'ai pas imaginé que CURL puisse poser de problème de time out ... une instruction répété de curl faisant ralentir le temps d’exécution du script me paraissait plus plausible Au temps pour moi

[amal1410]

Bonjour et merci bien pour vos réponses

le problème était bien dans l'optimisation de mon code

Merci beaucoup

[BakSh0]

De rien, pense à passer en résolu