Discussion :

[julienroux]

Bonjour à tous,

afin de ne pas vous déranger pour rien cela fait maintenant près de 3 jours que je recherche la solution à mon problème dans presque tout '"l'internet" !!!

Je vous expose mon problème :

Un solution php (médiathèque) avec un très grand nombre d'images à traiter (+ de 10 000), j'arrive à réguler presque toutes les facettes du site sauf une : GD !

peu importe comment je fais, le serveur me bloque sur la conversion des images (création de 2 miniatures + watermark).

Solution envisagés et qui ont échouées (ne rigolez pas j'ai 'presque' tout essayé !) :

• sleep() --> aucun effet
• redirection en par echo 'JS' --> aucun effet
• redirection en par php --> aucun effet
• ...

Je précise que le script fonctionne sans problème pour 10, 20, 50, ... images jusqu'à ce que sa plante ! pas forcément timeout 60 sec d’ailleurs !

avez-vous déjà eu ce problème ? comment l'avez-vous résolu ?

D'avance merci !

[Séb.]

Je précise que le script fonctionne sans problème pour 10, 20, 50, ... images jusqu'à ce que sa plante ! pas forcément timeout 60 sec d’ailleurs !

Quel message d'erreur ?

avez-vous déjà eu ce problème ? comment l'avez-vous résolu

En utilisant PHP en ligne de commandes : http://www.php.net/cli

[julienroux]

Quel message d'erreur ?


En utilisant PHP en ligne de commandes : http://www.php.net/cli

"504 Gateway Time-out" ou dépassement de mémoire

Je précise que je suis en mutu pro chez ovh donc je suis pas sure que je puisse utiliser le php en ligne de commande et de toute façon la charge serveur (%cpu et mémoire) serai grande quand même.

Y a t il une solution pour 'temporiser' mon script sans surcharge cpu (sleep fait tourner le cpu et vide la mémoire) mais provoque quand même un okiller ovh !

[Séb.]

Je précise que je suis en mutu pro chez ovh

Je suppose que c'est un gros traitement initial et qu'ensuite les nouveaux articles seront traités "au fil de l'eau".
Donc travail à faire en local et images traitées à uploader.

Y a t il une solution pour 'temporiser' mon script sans surcharge cpu (sleep fait tourner le cpu et vide la mémoire) mais provoque quand même un okiller ovh !

Traitement par paquets avec un cron toutes les X minutes. Mais fais plutôt comme dit précédemment.

[julienroux]

Traitement en local, bonne idée, il faut juste que j'arrive à le faire admettre au client !
à moi de voir !

Si quelqu'un a une super autre idée je suis preneur sinon je me rabattrai sur ta solution.

Merci

[ABCIWEB]

Oui effectivement comme dit Seb, il faudrait mieux gérer tes erreurs pour connaître la cause du problème.

Un des problème du redimensionnement d'images est qu'il consomme pas mal de mémoire. Faudrait peut-être voir du côté de l'organisation de ton script et faire des bench mémoire pour voir ce qui se passe.

Mais clairement évidemment avec +10000 images à traiter tu seras au minimum confronté à max_execution_time si tu veux les traiter de manière classique sur un serveur distant sans possibilité de configuration.

Dans ces cas là tu pourrais éventuellement penser à un cron qui fasse des traitement par lots.

Sinon dans d'autres topic assez ressemblants, certains on imaginés de faire la redimension de chaque image uniquement la première fois qu'elle est appelée. En somme c'est le premier visiteur qui déclenche la tâche automatique. Suivant les cas cela peut être une solution intéressante.

[Séb.]

Traitement en local, bonne idée, il faut juste que j'arrive à le faire admettre au client !

Pourquoi ? Il y a un traitement récurrent de 10 000 images ?

[julienroux]

Sinon dans d'autres topic assez ressemblants, certains on imaginés de faire la redimension de chaque image uniquement la première fois qu'elle est appelée. En somme c'est le premier visiteur qui déclenche la tâche automatique. Suivant les cas cela peut être une solution intéressante.

Je vais partir sur quelque chose dans ce style pour par charger trop le serveur en une fois.

Merci à tous, pour moi le sujet est résolu

[ABCIWEB]

Et pour les images suivantes si tu n'en upload pas beaucoup en même temps, tu pourrais faire le redimensionnement lors de l'upload.
Si besoin il y a une classe d'upload ici conçue pour cela.

[julienroux]

Merci pour la proposition pour l'upload mais il est fait en ftp car entre 5 000 et 10 000 fichier one shot c'est un peu suicidaire en upload, même bien géré !!!

Je garde tout de meme le principe pour une autre fois, merci encore