[AJAX] AJAX et requête MySQL très volumineuse

Version imprimable

05/02/2014, 11h30
Marmotton76

[AJAX] AJAX et requête MySQL très volumineuse

Bonjour à tous,

Via une requête AJAX, j'appelle un une page PHP qui génère un PDF (via la classe fpdf)
Cet appel est paramétré, à savoir que l'utilisateur peut choisir d'imprimer TOUT, ou bien filtrer par CATEGORIE, ou par SOUS-CATEGORIE. Ma requête comporte donc des regroupements par catégorie/sous-catégorie/sous-sous-catégorie, donc pas mal de boucles While dans le script PHP.
Dès lors qu'un filtre est appliqué, pas de pb, mon PDF est généré en une bonne vingtaine de secondes environ (quand même !), car la requête porte sur 10000 enregistrements au maximum.
Le problème survient lorsque aucun filtre n'est appliqué, dans ce cas le PDF doit intégrer les quelque 60000 enregistrements de ma base MySQL, et avec toutes les boucles de mon script, ça coince au bout d'environ 90 secondes d'attente, et j'obtiens une page vide dans mon navigateur (pas d'erreur, seulement un pb de time out je suppose).
Le site est hébergé chez 1and1, et apparemment on a la main sur pas mal de paramétrages via php.ini. Donc j'ai ajouté dans ce php.ini les paramètres suivants :
memory_limit=-1
max_execution_time=600
mysql.connect_timeout=600

Mais ça coince toujours !
Je pense que je dois regarder du côté AJAX, qui doit sûrement poser des limites à l'exécution de mon script, mais là, ça me dépasse complètement...
Auriez vous des pistes ?
(et je vous le dis tout de suite : OUI, il est impératif que les 60000 enregistrements puissent être édités en PDF, mais si ça vous paraît saugrenu !)
Merci beaucoup beaucoup pour votre aide
@+
05/02/2014, 11h46
thelvin

AJAX ne s'utilise pas pour télécharger des fichiers donc, non, tu ne t'en sers probablement pas pour récupérer tes PDF, et non, ce n'est clairement pas là qu'il faut regarder.

Ceci étant dit, ce n'est pas le genre de problème d'intégration que je connais bien, j'ignore quel timeout intervient et comment le configurer.
05/02/2014, 11h53
Marmotton76

Je ne parle pas de télécharger un PDF en AJAX, mais uniquement le générer à la volée puis afficher le lien de téléchargement dans la page de résultat.
Je précise que TOUT CECI fonctionne à merveille, sauf pb de timeout lorsque c'est l'intégralité de mes enregistrements qui doivent être traités...
05/02/2014, 11h55
thelvin

Comment peux-tu avoir une page vide lorsque ça échoue, dans ce cas ? La seule chose qui devrait possiblement pouvoir arriver est le non-affichage du lien de téléchargement.
05/02/2014, 12h11
Marmotton76

T'as tout compris ;)
C'est précisément ce que j'explique dans mon post initial (une page blanche... donc sans lien de téléchargement, mais uniquement en cas de traitement de tous les 60000 enregistrements. S'ils sont filtrés, ça fonctionne)

Bon, je viens de faire des tests sur une simple page php sans appel AJAX, et j'obtiens également une page blanche si aucun filtre donc si traitement des 60000 enregistrements.
Le pb vient donc directement de ce traitement trop complexe de mes enregistrements. Et là je suis mal car je ne sais pas comment améliorer ce traitement.

Le résultat de mon script donne une liste structurée (avec arborescence sur 3 niveaux : catégories/sous-catégories/sous-sous-catégories) de mes enregistrements que j'explose via des boucles While successives :

-> CatégorieA

-> Sous-catégorie1 (appartenant à CatégorieA)
-> Sous-sous-catégorieA (appartenant à Sous-catégorie1)
-> Enregistrement1 (appartenant à Sous-sous-catégorieA)
-> Enregistrement2 (appartenant à Sous-sous-catégorieA)
-> Enregistrement3 (appartenant à Sous-sous-catégorieA)
...etc.
-> Sous-sous-catégorieB (appartenant à Sous-catégorie1)
-> Enregistrement4 (appartenant à Sous-sous-catégorieB)
-> Enregistrement5 (appartenant à Sous-sous-catégorieB)
-> Enregistrement6 (appartenant à Sous-sous-catégorieB)
...etc.
...etc.
-> Sous-catégorie2 (appartenant à CatégorieA)
-> Sous-sous-catégorieC (appartenant à Sous-catégorie2)
-> Enregistrement7 (appartenant à Sous-sous-catégorieC)
-> Enregistrement8 (appartenant à Sous-sous-catégorieC)
-> Enregistrement9 (appartenant à Sous-sous-catégorieC)
...etc.
-> Sous-sous-catégorieD (appartenant à Sous-catégorie2)
-> Enregistrement10 (appartenant à Sous-sous-catégorieD)
-> Enregistrement11 (appartenant à Sous-sous-catégorieD)
-> Enregistrement12 (appartenant à Sous-sous-catégorieD)
...etc.
...etc.
...etc.
-> CatégorieB

-> Sous-catégorie3 (appartenant à CatégorieB)
-> Sous-sous-catégorieE (appartenant à Sous-catégorie3)
-> Enregistrement13 (appartenant à Sous-sous-catégorieE)
-> Enregistrement14 (appartenant à Sous-sous-catégorieE)
-> Enregistrement15 (appartenant à Sous-sous-catégorieE)
...etc.
-> Sous-sous-catégorieF (appartenant à Sous-catégorie3)
-> Enregistrement16 (appartenant à Sous-sous-catégorieF)
-> Enregistrement17 (appartenant à Sous-sous-catégorieF)
-> Enregistrement18 (appartenant à Sous-sous-catégorieF)
...etc.
...etc.
-> Sous-catégorie4 (appartenant à CatégorieB)
-> Sous-sous-catégorieG (appartenant à Sous-catégorie4)
-> Enregistrement19 (appartenant à Sous-sous-catégorieG)
-> Enregistrement20 (appartenant à Sous-sous-catégorieG)
-> Enregistrement21 (appartenant à Sous-sous-catégorieG)
...etc.
-> Sous-sous-catégorieH (appartenant à Sous-catégorie4)
-> Enregistrement22 (appartenant à Sous-sous-catégorieH)
-> Enregistrement23 (appartenant à Sous-sous-catégorieH)
-> Enregistrement24 (appartenant à Sous-sous-catégorieH)
...etc.
...etc.
...etc.
...etc.

Sachant qu'il y a 7 catégories, comprenant chacune env. 9 sous-catégories, lesquelles comprenant chacune env. 12 sous-sou-catégories, lesquelles comprenant chacune env. 80 enregistrements
On obtient donc mes 7 x 9 x 12 x 80 = env. 60000 enregistrements dans ma BDD.

Ca donne ça, en version simplifiée :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 $req1 = "SELECT id_categorie, numero_categorie, nom_categorie FROM table_categories ORDER BY numero_categorie ASC"; $res1 = mysql_query($req1) or die(mysql_error()); echo '<ul id="niveau1">'; while ($enr1 = mysql_fetch_array($res1)) { $IDCATEG = $enr1['id_categorie']; $CATEG = $enr1['numero_categorie']." - ".$enr1['nom_categorie']; echo '<li>'.$CATEG. '<ul id="niveau2">'; $req2 = "SELECT id_sous_categorie, numero_sous_categorie, nom_sous_categorie FROM table_sous_categories WHERE id_categorie LIKE ".$IDCATEG." ORDER BY numero_sous_categorie ASC"; $res2 = mysql_query($req2) or die(mysql_error()); while ($enr2 = mysql_fetch_array($res2)) { $IDSOUSCATEG = $enr2['id_sous_categorie']; $SOUSCATEG = $enr2['numero_sous_categorie']." - ".$enr2['nom_sous_categorie']; echo '<li>'.$SOUSCATEG. '<ul id="niveau3">'; $req3 = "SELECT id_sous_sous_categorie, numero_sous_sous_categorie, nom_sous_sous_categorie FROM table_sous_sous_categories WHERE id_sous_categorie LIKE ".$IDSOUSCATEG." ORDER BY numero_sous_sous_categorie ASC"; $res3 = mysql_query($req3) or die(mysql_error()); while ($enr3 = mysql_fetch_array($res3)) { $IDSOUSSOUSCATEG = $enr3['id_sous_categorie']; $SOUSSOUSCATEG = $enr3['numero_sous_sous_categorie']." - ".$enr3['nom_sous_sous_categorie']; echo '<li>'.$SOUSSOUSCATEG. '<ul id="listage">'; $req4 = "SELECT champ1, champ2, champ3 FROM ma_table WHERE id_sous_sous_categorie LIKE ".$IDSOUSSOUSCATEG." ORDER BY champ1 ASC"; $res4 = mysql_query($req4) or die(mysql_error()); while ($enr4 = mysql_fetch_array($res4)) { $CHAMP1= $enr4['champ1']; $CHAMP2= $enr4['champ2']; $CHAMP3= $enr4['champ3']; echo '<li>'.$CHAMP1.' - '.$CHAMP2.' - '.$CHAMP3.'</li>'; } mysql_free_result($res4); echo '</ul></li>'; } mysql_free_result($res3); echo '</ul></li>'; } mysql_free_result($res2); echo '</ul></li>'; } mysql_free_result($res1); echo '</ul>';
J'ai donc 4 boucles While imbriquées qui parcourent chacune des milliers d'enregistrements, ça fait lourdingue !
Comme je le disais dans mon post initial, j'ai modifié les paramètres php.ini, j'ai aussi pris soin de mettre des clés primaires sur mes id uniques de champs, et des index sur les clés étrangères dans mes différentes tables.

Je suis perplexe...

Le pire c'est que, il y a qq années, j'avais réalisé la même appli mais sous Access 97 et Visual Basic, avec sensiblement les mêmes structures de requêtes, et ça tournait super bien avec le même volume d'enregistrements, alors je l'ai un peu mauvaise de constater que Access 97/VB serait plus puissant que mon couple préféré PHP/MySQL !!!
Où alors j'ai raté un truc d'optimisation ou de paramétrage...

Merci d'avance si vous avez des idées !

Heu... je fais comment pour déplacer ce post, manifestement il n'a plus sa place dans la rubrique AJAX !

05/02/2014, 14h12
Bovino

Oui, tu es clairement dans un contexte de timeout de la connexion. Tu peux donc essayer de forcer les entêtes HTTP avec setRequestHeaders(), mais à mon avis, tu es surtout dans un cas où AJAX n'est pas adapté...

AJAX est surtout utile pour des traitements légers, typiquement, recharger une partie de la page pour actualiser des données en fonction des choix de l'utilisateur, mais pour ce que tu souhaites, ce n'est pas l'outil idéal...

À la rigueur, tu pourrais utiliser un système de thread côté serveur : ta requête sert à initialiser une tâche de création du PDF qui génère puis stocke le fichier. Et côté appli, tu fais des requêtes régulières (via long polling, sockets ou sse) pour savoir si le fichier est disponible : si c'est le cas, tu renvoies le lien, sinon, tu relances une demande.
05/02/2014, 14h40
Marmotton76

Merci Bovino,

Ce serait bien dommage que je ne puisse pas utiliser l'AJAX dans ce cas, car ça me permettait d'afficher, à l'endroit même où l'utilisateur avait cliqué sur le bouton "Editer", une petite horloge pendant le traitement, puis le lien de téléchargement après exécution de la requête. C'était bien convivial et intuitif !

Mais comme je le disais plus haut, le gros souci c'est le volume des enregistrements traités dans des boucles imbriquées, puisqu'en faisant un test sur un simple script php sans appel AJAX, j'ai rigoureusement le même syndrôme de la page blanche, donc timeout !
05/02/2014, 15h07
Bovino
Désolé de te contredire, mais pour moi, ce qui est convivial, c'est d'une part ce qui fonctionne et d'autre part, ce qui t'indique où en est ta demande.
Autant je veux bien croire qu'un loader affiché 1 à 2 secondes max puis voir un résultat puisse être convivial, autant j'ai du mal à être convaincu qu'attendre devant un loader pendant 1m30 puis voir une page blanche le soit ! :aie:
D'où mon questionnement sur le bien fondé d'AJAX dans ton cas.

Pour autant, je te donne quand même des alternatives et un fonctionnement théorique de ton truc pourrait être :
- prévenir que le traitement risque d'être long et qu'il faut être patient ;
- envoyer ta requête AJAX ;
- lancer une tâche de fond PHP ;
- cette tâche de fond génère un identifiant unique pour la requête reçue (correspondant à un nom de fichier temporaire par exemple) ;
- la tâche de fond récupère le nombre d'enregistrements à traiter ;
- la requête AJAX renvoie cet identifiant unique et enregistre le nombre total d'enregistrements à traiter ;
- après chaque traitement d'un enregistrement, la tâche de fond écrit dans le fichier qui lui est associé le nombre d'enregistrements traités ;
- le serveur fait des requêtes successives pour lire le nombre d'enregistrements traités et le nombre total ;
- ces requêtes affichent au client l'état de la demande ;
- une fois tous les enregistrements traités, la tâche de fond crée le fichier PDF final ;
- la requête AJAX suivante récupère le lien du PDF ;
- l'utilisateur peut récupérer le PDF ;
- suppression des fichiers temporaires.