IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

AJAX Discussion :

[AJAX] AJAX et requête MySQL très volumineuse


Sujet :

AJAX

  1. #1
    Membre du Club
    Profil pro
    Inscrit en
    Mars 2007
    Messages
    82
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mars 2007
    Messages : 82
    Points : 45
    Points
    45
    Par défaut [AJAX] AJAX et requête MySQL très volumineuse
    Bonjour à tous,

    Via une requête AJAX, j'appelle un une page PHP qui génère un PDF (via la classe fpdf)
    Cet appel est paramétré, à savoir que l'utilisateur peut choisir d'imprimer TOUT, ou bien filtrer par CATEGORIE, ou par SOUS-CATEGORIE. Ma requête comporte donc des regroupements par catégorie/sous-catégorie/sous-sous-catégorie, donc pas mal de boucles While dans le script PHP.
    Dès lors qu'un filtre est appliqué, pas de pb, mon PDF est généré en une bonne vingtaine de secondes environ (quand même !), car la requête porte sur 10000 enregistrements au maximum.
    Le problème survient lorsque aucun filtre n'est appliqué, dans ce cas le PDF doit intégrer les quelque 60000 enregistrements de ma base MySQL, et avec toutes les boucles de mon script, ça coince au bout d'environ 90 secondes d'attente, et j'obtiens une page vide dans mon navigateur (pas d'erreur, seulement un pb de time out je suppose).
    Le site est hébergé chez 1and1, et apparemment on a la main sur pas mal de paramétrages via php.ini. Donc j'ai ajouté dans ce php.ini les paramètres suivants :
    memory_limit=-1
    max_execution_time=600
    mysql.connect_timeout=600

    Mais ça coince toujours !
    Je pense que je dois regarder du côté AJAX, qui doit sûrement poser des limites à l'exécution de mon script, mais là, ça me dépasse complètement...
    Auriez vous des pistes ?
    (et je vous le dis tout de suite : OUI, il est impératif que les 60000 enregistrements puissent être édités en PDF, mais si ça vous paraît saugrenu !)
    Merci beaucoup beaucoup pour votre aide
    @+

  2. #2
    Modérateur

    Profil pro
    Inscrit en
    Septembre 2004
    Messages
    12 551
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2004
    Messages : 12 551
    Points : 21 607
    Points
    21 607
    Par défaut
    AJAX ne s'utilise pas pour télécharger des fichiers donc, non, tu ne t'en sers probablement pas pour récupérer tes PDF, et non, ce n'est clairement pas là qu'il faut regarder.

    Ceci étant dit, ce n'est pas le genre de problème d'intégration que je connais bien, j'ignore quel timeout intervient et comment le configurer.
    N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

  3. #3
    Membre du Club
    Profil pro
    Inscrit en
    Mars 2007
    Messages
    82
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mars 2007
    Messages : 82
    Points : 45
    Points
    45
    Par défaut
    Je ne parle pas de télécharger un PDF en AJAX, mais uniquement le générer à la volée puis afficher le lien de téléchargement dans la page de résultat.
    Je précise que TOUT CECI fonctionne à merveille, sauf pb de timeout lorsque c'est l'intégralité de mes enregistrements qui doivent être traités...

  4. #4
    Modérateur

    Profil pro
    Inscrit en
    Septembre 2004
    Messages
    12 551
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2004
    Messages : 12 551
    Points : 21 607
    Points
    21 607
    Par défaut
    Comment peux-tu avoir une page vide lorsque ça échoue, dans ce cas ? La seule chose qui devrait possiblement pouvoir arriver est le non-affichage du lien de téléchargement.
    N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

  5. #5
    Membre du Club
    Profil pro
    Inscrit en
    Mars 2007
    Messages
    82
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mars 2007
    Messages : 82
    Points : 45
    Points
    45
    Par défaut
    T'as tout compris
    C'est précisément ce que j'explique dans mon post initial (une page blanche... donc sans lien de téléchargement, mais uniquement en cas de traitement de tous les 60000 enregistrements. S'ils sont filtrés, ça fonctionne)

  6. #6
    Membre du Club
    Profil pro
    Inscrit en
    Mars 2007
    Messages
    82
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mars 2007
    Messages : 82
    Points : 45
    Points
    45
    Par défaut
    Bon, je viens de faire des tests sur une simple page php sans appel AJAX, et j'obtiens également une page blanche si aucun filtre donc si traitement des 60000 enregistrements.
    Le pb vient donc directement de ce traitement trop complexe de mes enregistrements. Et là je suis mal car je ne sais pas comment améliorer ce traitement.

    Le résultat de mon script donne une liste structurée (avec arborescence sur 3 niveaux : catégories/sous-catégories/sous-sous-catégories) de mes enregistrements que j'explose via des boucles While successives :

    -> CatégorieA
    -> Sous-catégorie1 (appartenant à CatégorieA)
    -> Sous-sous-catégorieA (appartenant à Sous-catégorie1)
    -> Enregistrement1 (appartenant à Sous-sous-catégorieA)
    -> Enregistrement2 (appartenant à Sous-sous-catégorieA)
    -> Enregistrement3 (appartenant à Sous-sous-catégorieA)
    ...etc.
    -> Sous-sous-catégorieB (appartenant à Sous-catégorie1)
    -> Enregistrement4 (appartenant à Sous-sous-catégorieB)
    -> Enregistrement5 (appartenant à Sous-sous-catégorieB)
    -> Enregistrement6 (appartenant à Sous-sous-catégorieB)
    ...etc.
    ...etc.
    -> Sous-catégorie2 (appartenant à CatégorieA)
    -> Sous-sous-catégorieC (appartenant à Sous-catégorie2)
    -> Enregistrement7 (appartenant à Sous-sous-catégorieC)
    -> Enregistrement8 (appartenant à Sous-sous-catégorieC)
    -> Enregistrement9 (appartenant à Sous-sous-catégorieC)
    ...etc.
    -> Sous-sous-catégorieD (appartenant à Sous-catégorie2)
    -> Enregistrement10 (appartenant à Sous-sous-catégorieD)
    -> Enregistrement11 (appartenant à Sous-sous-catégorieD)
    -> Enregistrement12 (appartenant à Sous-sous-catégorieD)
    ...etc.
    ...etc.
    ...etc.
    -> CatégorieB
    -> Sous-catégorie3 (appartenant à CatégorieB)
    -> Sous-sous-catégorieE (appartenant à Sous-catégorie3)
    -> Enregistrement13 (appartenant à Sous-sous-catégorieE)
    -> Enregistrement14 (appartenant à Sous-sous-catégorieE)
    -> Enregistrement15 (appartenant à Sous-sous-catégorieE)
    ...etc.
    -> Sous-sous-catégorieF (appartenant à Sous-catégorie3)
    -> Enregistrement16 (appartenant à Sous-sous-catégorieF)
    -> Enregistrement17 (appartenant à Sous-sous-catégorieF)
    -> Enregistrement18 (appartenant à Sous-sous-catégorieF)
    ...etc.
    ...etc.
    -> Sous-catégorie4 (appartenant à CatégorieB)
    -> Sous-sous-catégorieG (appartenant à Sous-catégorie4)
    -> Enregistrement19 (appartenant à Sous-sous-catégorieG)
    -> Enregistrement20 (appartenant à Sous-sous-catégorieG)
    -> Enregistrement21 (appartenant à Sous-sous-catégorieG)
    ...etc.
    -> Sous-sous-catégorieH (appartenant à Sous-catégorie4)
    -> Enregistrement22 (appartenant à Sous-sous-catégorieH)
    -> Enregistrement23 (appartenant à Sous-sous-catégorieH)
    -> Enregistrement24 (appartenant à Sous-sous-catégorieH)
    ...etc.
    ...etc.
    ...etc.
    ...etc.

    Sachant qu'il y a 7 catégories, comprenant chacune env. 9 sous-catégories, lesquelles comprenant chacune env. 12 sous-sou-catégories, lesquelles comprenant chacune env. 80 enregistrements
    On obtient donc mes 7 x 9 x 12 x 80 = env. 60000 enregistrements dans ma BDD.

    Ca donne ça, en version simplifiée :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
     
    $req1 = "SELECT id_categorie, numero_categorie, nom_categorie FROM table_categories ORDER BY numero_categorie ASC";
    $res1 = mysql_query($req1) or die(mysql_error());
    echo '<ul id="niveau1">';
    while ($enr1 = mysql_fetch_array($res1)) {
        $IDCATEG = $enr1['id_categorie'];
        $CATEG = $enr1['numero_categorie']." - ".$enr1['nom_categorie'];
        echo '<li>'.$CATEG.
                '<ul id="niveau2">';
        $req2 = "SELECT id_sous_categorie, numero_sous_categorie, nom_sous_categorie FROM table_sous_categories WHERE id_categorie LIKE ".$IDCATEG." ORDER BY numero_sous_categorie ASC";
        $res2 = mysql_query($req2) or die(mysql_error());
        while ($enr2 = mysql_fetch_array($res2)) {
            $IDSOUSCATEG = $enr2['id_sous_categorie'];
            $SOUSCATEG = $enr2['numero_sous_categorie']." - ".$enr2['nom_sous_categorie'];
            echo '<li>'.$SOUSCATEG.
                    '<ul id="niveau3">';
            $req3 = "SELECT id_sous_sous_categorie, numero_sous_sous_categorie, nom_sous_sous_categorie FROM table_sous_sous_categories WHERE id_sous_categorie LIKE ".$IDSOUSCATEG." ORDER BY numero_sous_sous_categorie ASC";
            $res3 = mysql_query($req3) or die(mysql_error());
            while ($enr3 = mysql_fetch_array($res3)) {
                $IDSOUSSOUSCATEG = $enr3['id_sous_categorie'];
                $SOUSSOUSCATEG = $enr3['numero_sous_sous_categorie']." - ".$enr3['nom_sous_sous_categorie'];
                echo '<li>'.$SOUSSOUSCATEG.
                    '<ul id="listage">';
                $req4 = "SELECT champ1, champ2, champ3 FROM ma_table WHERE id_sous_sous_categorie LIKE ".$IDSOUSSOUSCATEG." ORDER BY champ1 ASC";
                $res4 = mysql_query($req4) or die(mysql_error());
                while ($enr4 = mysql_fetch_array($res4)) {
                    $CHAMP1= $enr4['champ1'];
                    $CHAMP2= $enr4['champ2'];
                    $CHAMP3= $enr4['champ3'];
                    echo '<li>'.$CHAMP1.' - '.$CHAMP2.' - '.$CHAMP3.'</li>';
                }
                mysql_free_result($res4);
                echo '</ul></li>';
            }
            mysql_free_result($res3);
            echo '</ul></li>';
        }
        mysql_free_result($res2);
        echo '</ul></li>';
    }
    mysql_free_result($res1);
    echo '</ul>';
    J'ai donc 4 boucles While imbriquées qui parcourent chacune des milliers d'enregistrements, ça fait lourdingue !
    Comme je le disais dans mon post initial, j'ai modifié les paramètres php.ini, j'ai aussi pris soin de mettre des clés primaires sur mes id uniques de champs, et des index sur les clés étrangères dans mes différentes tables.

    Je suis perplexe...

    Le pire c'est que, il y a qq années, j'avais réalisé la même appli mais sous Access 97 et Visual Basic, avec sensiblement les mêmes structures de requêtes, et ça tournait super bien avec le même volume d'enregistrements, alors je l'ai un peu mauvaise de constater que Access 97/VB serait plus puissant que mon couple préféré PHP/MySQL !!!
    Où alors j'ai raté un truc d'optimisation ou de paramétrage...

    Merci d'avance si vous avez des idées !

    Heu... je fais comment pour déplacer ce post, manifestement il n'a plus sa place dans la rubrique AJAX !

  7. #7
    Rédacteur

    Avatar de Bovino
    Homme Profil pro
    Développeur Web
    Inscrit en
    Juin 2008
    Messages
    23 647
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 53
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Développeur Web
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2008
    Messages : 23 647
    Points : 91 418
    Points
    91 418
    Billets dans le blog
    20
    Par défaut
    Oui, tu es clairement dans un contexte de timeout de la connexion. Tu peux donc essayer de forcer les entêtes HTTP avec setRequestHeaders(), mais à mon avis, tu es surtout dans un cas où AJAX n'est pas adapté...

    AJAX est surtout utile pour des traitements légers, typiquement, recharger une partie de la page pour actualiser des données en fonction des choix de l'utilisateur, mais pour ce que tu souhaites, ce n'est pas l'outil idéal...

    À la rigueur, tu pourrais utiliser un système de thread côté serveur : ta requête sert à initialiser une tâche de création du PDF qui génère puis stocke le fichier. Et côté appli, tu fais des requêtes régulières (via long polling, sockets ou sse) pour savoir si le fichier est disponible : si c'est le cas, tu renvoies le lien, sinon, tu relances une demande.
    Pas de question technique par MP !
    Tout le monde peut participer à developpez.com, vous avez une idée, contactez-moi !
    Mes formations video2brain : La formation complète sur JavaScriptJavaScript et le DOM par la pratiquePHP 5 et MySQL : les fondamentaux
    Mon livre sur jQuery
    Module Firefox / Chrome d'intégration de JSFiddle et CodePen sur le forum

  8. #8
    Membre du Club
    Profil pro
    Inscrit en
    Mars 2007
    Messages
    82
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mars 2007
    Messages : 82
    Points : 45
    Points
    45
    Par défaut
    Merci Bovino,

    Ce serait bien dommage que je ne puisse pas utiliser l'AJAX dans ce cas, car ça me permettait d'afficher, à l'endroit même où l'utilisateur avait cliqué sur le bouton "Editer", une petite horloge pendant le traitement, puis le lien de téléchargement après exécution de la requête. C'était bien convivial et intuitif !

    Mais comme je le disais plus haut, le gros souci c'est le volume des enregistrements traités dans des boucles imbriquées, puisqu'en faisant un test sur un simple script php sans appel AJAX, j'ai rigoureusement le même syndrôme de la page blanche, donc timeout !

  9. #9
    Rédacteur

    Avatar de Bovino
    Homme Profil pro
    Développeur Web
    Inscrit en
    Juin 2008
    Messages
    23 647
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 53
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Développeur Web
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2008
    Messages : 23 647
    Points : 91 418
    Points
    91 418
    Billets dans le blog
    20
    Par défaut
    Désolé de te contredire, mais pour moi, ce qui est convivial, c'est d'une part ce qui fonctionne et d'autre part, ce qui t'indique où en est ta demande.
    Autant je veux bien croire qu'un loader affiché 1 à 2 secondes max puis voir un résultat puisse être convivial, autant j'ai du mal à être convaincu qu'attendre devant un loader pendant 1m30 puis voir une page blanche le soit !
    D'où mon questionnement sur le bien fondé d'AJAX dans ton cas.

    Pour autant, je te donne quand même des alternatives et un fonctionnement théorique de ton truc pourrait être :
    • prévenir que le traitement risque d'être long et qu'il faut être patient ;
    • envoyer ta requête AJAX ;
    • lancer une tâche de fond PHP ;
    • cette tâche de fond génère un identifiant unique pour la requête reçue (correspondant à un nom de fichier temporaire par exemple) ;
    • la tâche de fond récupère le nombre d'enregistrements à traiter ;
    • la requête AJAX renvoie cet identifiant unique et enregistre le nombre total d'enregistrements à traiter ;
    • après chaque traitement d'un enregistrement, la tâche de fond écrit dans le fichier qui lui est associé le nombre d'enregistrements traités ;
    • le serveur fait des requêtes successives pour lire le nombre d'enregistrements traités et le nombre total ;
    • ces requêtes affichent au client l'état de la demande ;
    • une fois tous les enregistrements traités, la tâche de fond crée le fichier PDF final ;
    • la requête AJAX suivante récupère le lien du PDF ;
    • l'utilisateur peut récupérer le PDF ;
    • suppression des fichiers temporaires.
    Pas de question technique par MP !
    Tout le monde peut participer à developpez.com, vous avez une idée, contactez-moi !
    Mes formations video2brain : La formation complète sur JavaScriptJavaScript et le DOM par la pratiquePHP 5 et MySQL : les fondamentaux
    Mon livre sur jQuery
    Module Firefox / Chrome d'intégration de JSFiddle et CodePen sur le forum

Discussions similaires

  1. [AJAX] Retour d'un json dans Ajax d'une requête Mysql
    Par laplumedoie dans le forum AJAX
    Réponses: 11
    Dernier message: 16/03/2013, 09h15
  2. [AJAX] Requête mysql en ajax
    Par jean christophe dans le forum AJAX
    Réponses: 4
    Dernier message: 21/03/2011, 11h43
  3. [AJAX] faire une requête mysql ajax
    Par affreuxzozo dans le forum AJAX
    Réponses: 1
    Dernier message: 04/05/2009, 13h16
  4. [AJAX] script simple AJAX PHP affichage balise div et requête mysql
    Par Invité dans le forum Général JavaScript
    Réponses: 0
    Dernier message: 08/02/2009, 14h21
  5. [AJAX] Barre de chargement pendant une requête mysql
    Par Gabzor dans le forum Général JavaScript
    Réponses: 3
    Dernier message: 06/02/2009, 11h25

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo