Discussion :

[sarah65536]

Bonjour. Dans mon site web, je dois créer une page pour l'administrateur qui va lui permettre d'envoyer des newsletter. Pour cela, j'ai un formulaire dans lequel il va saisir son texte, puis, grâce a des champs de recherche, choisir a qui il va envoyer le message ( par exemple : que ceux qui ont un certain profil, ou que ceux qui sont dans tel département, ou que ce qui ont modifiés leurs coordonnées depuis un certain temps... ou alors tous les utilisateurs)

Si l'administrateur choisit d'envoyer 30 ou 40 mails, cela fonction bien, cependant à partir du moment ou il y a plus de personne, cela ne fonctionne pas. ( il doit pouvoir envoyer jusqu'à 10 000 mails en une seule fois)

J'utilise php5.2.9-1
apache 2.2.11

Pour l'envoi du mail, j'utilise la fonction mail()

Comment puis-je faire ?

On m'a conseillé d'utiliser Swift Mailer, j'ai regardé un peu la doc sur leur site, et j'avoue ne pas trop en comprendre le fonctionnement. Avez vous des infos, ou des liens ( en français ? ) a me donner pour faciliter mes recherches?

[grunk]

C'est simplement qu'avec beaucoup de mail tu dois atteindre le timeout de php.

La solution est sans doute de lancer un script sans timeout qui en plus d'envoyer les mail te donne une indication de l'avancée que tu peux afficher dans ton administration.
Ainsi l'utilisateur n'as pas besoin d'attendre devant une page qui charge indéfiniment

[sarah65536]

Houla ça à l'air compliqué à faire ça...

J'ai oublié de préciser, mais je n'ai pas l'autorisation de mon chef pour utiliser javascript. Donc je ne penses pas que ta solution soit désormais possible ( mais n'ayant que peu d'expérience, je me trompe peut-être)

[grunk]

Pas besoin de javascript.
Ton bouton envoyer mail appellera par exemple un .bat ou sh (fonction exec) selon si tu es sous windows ou unix.
Ce script lance le fichier php , qui tourne en tache de fond et à chaque itération il écris dans un fichier le pourcentage d'avancée (facile puisque tu connaitra le nombre total de mail).
Ne reste plus dans ton interface qu'a venir lire ce fichier et éventuellement bloquer les autres envoi de mail si le premier n'est pas terminé.

Après tu peux aussi rester dans la méthode dégeulasse qui consiste à simplement lancer le script sans timeout et prier pour que l'utilisateur ai la patience d'attendre devant une page blanche

PS : tu peux peux dire à ton chef que le JS bien utilisé c'est quand même vachement bien pour améliorer l'expérience de l'utilisateur

[sarah65536]

A force de lire un peu tout et n'importe quoi, j'ai commencé à me faire mon idée :

Ca consisterai en :
- lorsqu'on appuis sur le bouton, afficher une page (blanche ?) avec un message du genre "veuillez patienter, le traitement peut dure longtemps bla bla bla" et aucun interaction possible( pas de bouton, pas de lien)
- le time out serait réglé à 10 minutes
- envoyer tous mes mails
- lorsque les mails sont tous envoyés, ré afficher la page avec le message : vos emails ont étés envoyés.
- cette partie est destinée seulement à l'administration du site, qui, ne sera pas très sollicitée. Je penses que si l'utilisateur es prévenu que le traitement peut durer 10 minutes, il sera patient vu qu'il saura a quoi s'en tenir !

Cette méthode est la "dégueulasse" mais pour moi elle me parait la plus simple à mettre en place. Néanmoins, je suis prète à faire quelque chose de propre si mon idée n'est vraiment pas bien.

PS : tu peux peux dire à ton chef que le JS bien utilisé c'est quand même vachement bien pour améliorer l'expérience de l'utilisateur

Oui j'ai remarqué sur beaucoup de sites l'avantage du javascript. Néanmoins, je comprends son point de vue. Son but est que rien ne fonctionne côté client, pour que nous pussions tout gérer. ayant plusieurs développeurs sous ses ordres, si il commence a laisser faire un truc par ci pour l'un un truc par la pour l'autre, tout le monde voudra utiliser du js, et finallement, les applications se retrouveront avec du js partout et pourront être instables côté client.
Donc... personne utilise js!

[sarah65536]

Ajouter des pauses dans mon script me permettrait -il de contourner mon problème ?

[grunk]

Ajouter des pauses dans mon script me permettrait -il de contourner mon problème ?

Non une pause ne réinitialise pas le timeout.
Ce que tu peux faire en revanche c'est des envois par paquet. Tu fait une requete pour avoir les 50 premier mail => envoi
Puis redirection vers la même page avec un header mais avec un plus un paramètre te permettant de passer au paquet suivant.
Cette solution est pratique quand on à pas accès au timeout php.

Cette méthode est la "dégueulasse" mais pour moi elle me parait la plus simple à mettre en place. Néanmoins, je suis prète à faire quelque chose de propre si mon idée n'est vraiment pas bien

C'est un choix qui t'appartient. PErso en tant qu'utilisateur je sais simplement que j'aime pas devoir attendre devant une page sans rien faire. A la limite met un sudoku en plus du message d'attente ^_^

[sarah65536]

j'ai eu une nouvelle idée.

La copie cachée

Qu'en pensez vous ? Cela me permettrais d'envoyer un seul mail à plusieurs destinataires. C'est-à-dire que j'appellerai la fonction mail qu'une seule fois, ce qui pourrai me faire gagner du temps non ?

[kabkab]

Bonjour,
Celà ne serait pas préférable de faire en sorte qu'une fois le message saisi et les membres sélectionnés, une table sur ta base de données soit remplie et qu'un cron job soit lancé en arrière-plan pour envoyer tes mails?
Du style, un script sélectionne les 50 premiers, envoi les mails et mets un flag comme quoi le mail a été envoyé à ces membres. De sorte qu'au prochain lancement du cron job, ne seront concernés que les 50 prochains dont le flag n'est pas mis. Le cron job sera lancé disons tous les quart d'heure.
L'avantage étant de ne pas avoir d'attente pour l'administrateur et aussi de ne pas saturer le serveur dans un temps donné.

[sarah65536]

Après avoir énoncé les différentes possibilités s'offrant à moi à mon chef, nous avons choisi cette solution :

- Ouverture de la page blanche
- Un message "veuillez patienter", et un compteur indiquant le nombre de mail restant à envoyer
- En arrière plan, la page cherche un destinataire dans une table temporaire
- elle envoi un mail ( un seul)
- elle efface le destinataire
- la page se rafraichit
et ça recommence.

Quand il n'y a plus de destinataires dans la table, on retourne a une page "normale", avec un message de confirmation.

[grunk]

Je te cite :

il doit pouvoir envoyer jusqu'à 10 000 mails en une seule fois)

Donc dans le cas extrême de 10k mails tu va faire 10 000 requete sql et 10 000 pages vue sur ton serveur.
Niveau optimisation on à vu mieux :/

Pour peux que le mec qui lance la procédure soit épileptique , je pense qu'il y'a moyen de le tuer avec le refresh de la page

[sarah65536]

Donc dans le cas extrême de 10k mails tu va faire 10 000 requete sql et 10 000 pages vue sur ton serveur.
Niveau optimisation on à vu mieux :/

Bon ok l'optimisation c'est pas au top. il faut se dire que c'est une partie du site qui sera très peu utilisée (une fois tout les deux mois environ)

Pour peux que le mec qui lance la procédure soit épileptique , je pense qu'il y'a moyen de le tuer avec le refresh de la page

Comme je vide ma base de donnée temporaire au fur et à mesure que j'envoie les mails, si l'utilisateur rafraichit la page ça continuera le processus.

Néanmoins, deux problèmes se présentent à moi :

1 - lorsque la personne valide son choix et que le site est censé aller vers la nouvelle page, il n'y va pas. Il laisse affiché l'ancienne page, (comme si il chargeait la page) et une fois que tout le traitement est effectué il affiche la nouvelle page. Donc, je ne peux pas voir la progression.

2 - Avec Firefox, il arrète le traitement au bout d'un certain temps, et affiche un message :

Boucle de redirection
Firefox a détecté que le serveur redirige la demande pour cette adresse d'une manière qui n'aboutira pas.
Le navigateur a arrêté d'attendre une réponse du site. Le site crée une redirection de telle sorte que la requête ne peut jamais aboutir.

* Avez-vous désactivé ou bloqué les cookies nécessaires pour ce site ?
* NOTE : Si le problème n'est pas résolu en acceptant les cookies de ce site, il s'agit probablement d'un problème de configuration du serveur et non de votre ordinateur.

Avec IE, je n'ai pas ce problème.

[grunk]

Difficile de juger comme ca.
Comment fait tu ta redirection ? , un peude code à nous présenter ?

Et je persiste à dire que c'est pas la bonen solution

[sarah65536]

je fais ma redirection avec un header location.

Je me demande si le problème ne provient pas du fait que dans mon code, il y a d'abord le code ph, puis l'html avec des echo en php. Donc peut être qu'il n'a pas le temps d'afficher le html...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
    include('_class_CMail.php');
 
    $mail = new CMail;
    $co = new CBdd;
 
    $msg_erreur="";
    $restant="";
    $message="";
    $bouton_retour="";
    $destinataire=Array();
    $num=0;
 
    try
    {
        // recuperre le num
        if (empty($_GET['num'])==false)
        {
            $num=$_GET['num'];
        }
        else
        {
            throw new Exception("<li>maque le num dans l'url</li>");
        }
        //: connexion a la bdd
        $co->connexion();
 
        // recherche destinataire
        $destinataire=$mail->recherche_le_destinataire_du_mail($num);
 
        if ($destinataire==-1)// si il n'y a plus de destinataires dans la table
        {
            $message="<p>Tous les e-mails ont étés envoyés.</p>";
            $bouton_retour="<a class=\"bouton\" href=\"index.php?page=mail\">Retour</a>";
        }
        else
        {
            // calcul le nombre de mails restent à envoyer
            $restant=$mail->calcul_mail_restant($num);
 
            // envois le mail :
            $mail->envoimail($destinataire, $num);
 
            // supprimer l'enregistrement temporaire
            $mail->supprime_mail();
 
            // redirige
            $L_url =("Location: index.php?page=mailing_traitement&num=".$num);
            //header($L_url);
 
            $message="<p>Merci de patienter durant l'envoi des mails.</p><p>Il reste ".$restant." mails à envoyer.</p>";
        }
    }
    catch (Exception $e)
    {
        $msg_erreur="<ul class=\"erreur\">";
        $msg_erreur.=$e->getMessage();
        $msg_erreur.="</ul>";
    }
 
?>
 
 
<div class="bloc_droit">
    <div class="mailing" id="img2"></div>
</div>
<div class="contenu">
    <div class="pied_bloc">
    <div class="mailing" id="img"></div>
        <h1>
            Mailing en cours . . .
        </h1>
        <?php echo $msg_erreur;?>
        <div>
            <?php echo $message.$bouton_retour;?>
        </div>
    </div>
</div>

Je ne copie pas le détail des méthodes appelées, il ne me semble pas indispensable dans la compréhension de mon problème.

Edit : J'ai oublié de préciser que en mettant la redirection en commentaire et en rafraichissant la page manuellement, cela fonctionne parfaitement.

[grunk]

A partir du moment ou tu fait le header ta page est redirigée l'html n'est donc surement pas affiché.
De plus un header se doit d'être exécuté avant toute sortie , du coup si tu as un echo juste avant le header tu va avoir le droit à une jolie erreur du type "Header already sent blablabla..."

Ce que je ne comprend pas c'est pourquoi vouloir faire ca mail par mail.

Au lieu de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$destinataire=$mail->recherche_le_destinataire_du_mail($num);

Tu aurais un truc du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$destinataires=$mail->getNextDests($num); // Retourne les X prochaines adresses

Avec par exemple des paquets de 50 mails. Tu gagnerais du temps et tu pourrais au lieu d'afficher Mailing en cours ... afficher le % d'avancée.

[mic79]

Salut,

Nous ont a développez en interne un outils d'emailing.

on a abonner le fait que cela soit PHP qui envoi les mails. On a développez un script en Python qui se charge de l'envoi.

Le système est que lorsque l'utilisateur clique sur envoyer, on charge les mals dans une table. et on excécute le script Pyhton.

Résultat on a une capacité d'envoi de 600 mails minutes. on a réalisé a la même chose avec l'envoi de SMS en s'appuyant sur l'API d'orange.

Php n'ai pas fait pour l'envoi de mail en masse. il vaut mieux s'orienter vers des scripts en perl ou python pour le faire.

Voila mon retour d'experience sur l'envoi en masse de mail en php.

Mic

[grunk]

Php n'ai pas fait pour l'envoi de mail en masse. il vaut mieux s'orienter vers des scripts en perl ou python pour le faire.

Tu te base sur quoi pour dire cela ? Un script php en CLI doit guère être moins performant qu'un en python nan ?

Parce que perso j'ai deja fait des mailing de plusieurs millier de mail en php sans aucun souçis et sans que ca prène trois plombes.

[sarah65536]

Bon j'ai réglé le problème, c'est ma redirection qui n'était pas bonne. J'ai utilisé plutôt la balise meta et toute les 0.1 secondes je rafraichi.
Ainsi, il n'y a pas trop de risque. C'est vrai que c'est un peu long, mais il n'y a pas trop de risque que ça plante.

Et puis, grâce au compte à rebours l'utilisateur sait qu'il peut aller chercher un café et le boire.

de toute façon, ça m'étonnerais, que l'administrateur ait vraiment envie d'envoyer un mail à tous les inscrits de son site. Donc, normalement il ne devrait pas en envoyer 10 000. Mais si finalement il le fait quand même il aura qu'a lancer la page avant d'aller déjeuner ou de se coucher.

Bien entendu, j'ai entendu vos idées pour optimiser le temps de traitement. Si il me reste du temps, j'essaierai de les mettre en œuvre, et si finalement l'administrateur utilise cettepartie du site très souvens, ça comptera dans les améliorations de la future version.

Merci pour votre aide.

Sarah.

[mic79]

non, le script python se connecte directement à la bdd

On a tester sur des campagnes de 100 000 mails et y a pas photo. le script python est plus rapide et surtout apache ne travaille pas, ce qui permet au utilisateur d'utiliser le logiciel de newsletter sans ralentissement.