Discussion :

[eddst]

Bonjour à tous,

J'essaye en vain de transformer une page HTML complexe (graphique chart.js avec des données provenant d'un call API) en PDF en utilisant Puppeteer.
J'ai exactement le même problème que le thread ci-joint (Stackoverflow).

Puppeteer est basé sur Chrome, le script JS navigue jusqu'à la page désiré et la transforme en PDF.
Lorsque j'exécute la commande suivante dans mon terminal, le PDF est généré parfaitement, les graphiques apparaissent, bref tout est ok.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

node public/js/htmlToPdf.js cookieName cookieValue

Mon script JS:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
// Je met en place le cookie avec les données venant du server
const cookie = {
    name: process.argv[2],
    value: process.argv[3],
    domain: 'localhost',
    url: 'http://localhost:8888/',
    path: '/',
    expires: -1,
    httpOnly: true,
    secure: false,
    session: true
};
 
const puppeteer = require('puppeteer');
 
(async () => {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.setCookie(cookie);
    await page.setRequestInterception(true);
    page.on("request", request => {
        console.log(request.url());
        request.continue();
    });
    await page.goto('http://localhost:8888/log/project/1', {waitUntil: 'networkidle0'});
    await page.pdf({
        path: '/Users/Web_dev/PERSONAL_PROJECT/tfe-devlop-eat/public/pdf/test.pdf',
        format: 'A4'
    });
 
    await browser.close();
})();

Lorsque j'exécute mon script via la fonction exec() de PHP via la route de mon controlleur, j'ai un message d'erreur avec le timeout.

Mon controlleur:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
    /**
     * @Route("/log/pupet", name="project_pupet")
     */
    public function pupetPdf(Request $request)
    {
        $name = session_name();
        $value = $request->cookies->get($name);
 
        // Appel de la commande avec en paramètre les valeurs du cookie
        exec('/usr/local/bin/node ' . __DIR__ . '/../../public/js/htmlToPdf.js ' . $name . ' ' . $value, $output, $return_var);
    }

L'erreur:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

(node:11982) UnhandledPromiseRejectionWarning: TimeoutError: Navigation Timeout Exceeded: 30000ms exceeded

Ma config :

• Apache (Mamp)
• Symfony 3.4
• PHP 7.2
• Repo Github de mon projet

Je suis très intéressé d'avoir un retour d'expérience si vous avez déjà utilisé Puppeteer dans un projet PHP.

D'avance merci

[MaitrePylos]

Salut Voisin,

Tu as essayé d'augmenter le temps d'exécution de ton PHP, car il est de 30 secondes et exec() ralentit un peu le truc.

[eddst]

Salut Voisin,

Tu as essayé d'augmenter le temps d'exécution de ton PHP, car il est de 30 secondes et exec() ralentit un peu le truc.

Salut, oui j'ai essayé en augmentant le timeout de PHP mais ça n'a pas fonctionné.
J'ai également essayé avec le composant Process de Symfony mais c'était la même histoire.

Il existe un mode headless: false avec Puppeteer qui permet d'ouvrir chromium et du coup on peut voir ce qu'il se passe dans le navigateur.
Apparemment ça bloque vers cette ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

await page.goto('http://localhost:8888/log/project/1', {waitUntil: 'networkidle0'});

Merci pour ta réponse

[eddst]

En parallèle, j'ai essayé de générer le Pdf en utilisant Wkhtmltopdf (basé sur webkit).

Le problème c'est qu’apparemment Chart.js (v 2.x) utilise des animations avec des SVG et ce n'est pas reconnu par webkit.

[grunk]

Si ca marche en ligne de commande , est ce que ca pourrait pas être un problème de droit manquant pour l'utilisateur qui execute PHP (et qui du coup execute la commande node) ?
Essai d’exécuter ta commande qui marche avec l'utilisateur qui execute php histoire de valider ou non cette théorie.

Reste aussi la solution de générer le PDF et les graph en PHP si tu as accès à l'API qui permet de générer la page en question c'est plus élégant amha.

[MaitrePylos]

Je plussoie le coup des droits de www-data.
De même, question con, quand tu as changé le php.ini pour le temps de PHP, tu as bien relancé MAMP?

[eddst]

Je plussoie le coup des droits de www-data.
De même, question con, quand tu as changé le php.ini pour le temps de PHP, tu as bien relancé MAMP?

On a effectivement modifié les droits mais le problème persiste.

Après avoir exclu les hypothèses au fur et à mesure, le problème viendrait du serveur Apache, qui ne gère pas le multi threading.
Du coup lorsque le script PHP (dans le controlleur) appelle le script NodeJS, celui ci n'arrive pas à générer le Pdf car il bloque immédiatement sur l'accès au localhost, ce qui entraine un timeout.
Je vous avoue que ça sort un peu de mes compétences, c'est mon maitre de stage qui pense que le problème viendrait de la.

Qu'est ce que vous en pensez?

Je compte réinstaller un serveur Apache qui gère le multi threading demain pour faire un test.

https://stackoverflow.com/questions/...68120#13968120

[eddst]

Petit Up de la situation :

- J'ai mis tout mon projet dans une machine virtuelle Ubuntu 18.

Je pense que je suis sur la bonne voie car la nature des problèmes a changé.
J'obtiens la même erreur en exécutant le script NodeJS via mon controlleur ou via le terminal.

C'est une erreur lié aux droits je pense, mais je n'ai pas trouvé de réponse, est ce que vous avez des idées?

L'erreur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
(node:16442) UnhandledPromiseRejectionWarning: Error: spawn EACCES
    at _errnoException (util.js:1022:11)
    at ChildProcess.spawn (internal/child_process.js:323:11)
    at Object.exports.spawn (child_process.js:502:9)
    at Launcher.launch (/var/www/tfe-devlop-eat/node_modules/puppeteer/lib/Launcher.js:126:40)
    at <anonymous>

[MaitrePylos]

tu sais faire un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ls -la /var/www/tfe-devlop-eat

[eddst]

tu sais faire un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ls -la /var/www/tfe-devlop-eat

Voila le résultat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
 
drwxrwxr-x 14 dev  dev     4096 mai  2 14:24 .
drwxrwxrwx  4 root root    4096 mai  2 11:24 ..
drwxrwxr-x  2 dev  dev     4096 mai  2 11:24 bin
-rw-rw-r--  1 dev  dev     2463 mai  2 13:54 composer.json
-rw-rw-r--  1 dev  dev   237704 mai  2 11:24 composer.lock
-rw-rw-r--  1 dev  dev  1914314 mai  2 11:24 composer.phar
drwxrwxr-x  4 dev  dev     4096 mai  2 11:24 config
drwxrwxr-x  4 dev  dev     4096 mai  2 11:24 doc
-rw-rw-r--  1 dev  dev     1468 mai  2 11:38 .env
-rw-rw-r--  1 dev  dev      138 mai  2 11:24 .env.test
drwxrwxr-x  8 dev  dev     4096 mai  2 11:24 .git
-rw-rw-r--  1 dev  dev      365 mai  2 11:24 .gitignore
drwxrwxr-x 43 dev  dev     4096 mai  2 14:24 node_modules
-rw-rw-r--  1 dev  dev      657 mai  2 11:24 package.json
-rw-rw-r--  1 dev  dev    11769 mai  2 11:24 package-lock.json
-rw-rw-r--  1 dev  dev      894 mai  2 11:24 phpunit.xml.dist
drwxrwxr-x  7 dev  dev     4096 mai  2 14:13 public
-rw-rw-r--  1 dev  dev      978 mai  2 11:24 Readme.md
drwxrwxr-x  9 dev  dev     4096 mai  2 11:24 src
-rw-rw-r--  1 dev  dev    11404 mai  2 11:24 symfony.lock
drwxrwxr-x 12 dev  dev     4096 mai  2 11:24 templates
drwxrwxr-x  2 dev  dev     4096 mai  2 11:24 tests
drwxrwxr-x  2 dev  dev     4096 mai  2 11:24 translations
drwxrwxrwx  4 dev  dev     4096 mai  2 11:26 var
drwxrwxr-x 24 dev  dev     4096 mai  2 13:54 vendor

[MaitrePylos]

Quand tu travailles en web, les droits devrais être allouée à www-data, car c'est lui qui travaille au travers de Apache.
Comme tu es en test, on peux le faire à l'arrache et tenter un full droit ( c'est bien entendu déconseillé, c'est juste pour vérifier, que c'est bien un problème de droits)

essaye donc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sudo chmod -R 0777 /var/www/tfe-devlop-eat

[eddst]

Quand tu travailles en web, les droits devrais être allouée à www-data, car c'est lui qui travaille au travers de Apache.
Comme tu es en test, on peux le faire à l'arrache et tenter un full droit ( c'est bien entendu déconseillé, c'est juste pour vérifier, que c'est bien un problème de droits)

essaye donc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sudo chmod -R 0777 /var/www/tfe-devlop-eat

Toujours la même erreur, je ne vois pas trop d'où ça pourrait venir.

Peut être du répertoire où NodeJS est installé?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

/usr/bin/node

[MaitrePylos]

Non, sinon le reste fonctionne ?

[eddst]

Non, sinon le reste fonctionne ?

Oui, j'ai fais quelques tests et tout m'a l'air ok.

[eddst]

Problème résolu :

En faite il s'avère que ça n'a rien avoir avec le serveur Apache.

Le problème est lié à PHP et les sessions.

Lorsque j'appelle le script NodeJS via PHP, une session est déjà ouverte et le fichier de session est "locked".
Du coup, lors de l'exécution du script NodeJS, ça bloquait sur la ligne relative au cookie :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

await page.setCookie(cookie);

Ce qui entrainait un Timeout à tous les coups.

Pour résoudre ce problème, j'ai simplement du ajouter cette ligne dans mon controlleur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

session_write_close();

Mon controlleur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
    /**
     * @Route("/log/pupet", name="project_pupet")
     */
    public function pupetPdf(Request $request)
    {
        $name = session_name();
        $value = $request->cookies->get($name);
 
 
        session_write_close();
 
        $process = new Process(['/usr/bin/node',  '/var/www/html/tfe-devlop-eat/public/js/htmlToPdf.js', $name, $value]);
        $process->run(function ($type, $buffer){
            echo $buffer;
        });
        if (!$process->isSuccessful()) {
            throw new ProcessFailedException($process);
        }
 
        echo $process->getOutput();
    }

Merci à tous pour le coup de main

[MaitrePylos]

Cool, tu peux nous expliquer ton process de recherche de cette problématique ?

[eddst]

Cool, tu peux nous expliquer ton process de recherche de cette problématique ?

Avec plaisir:

Tout d'abord, lorsqu'on exécute Puppeteer, il est possible de lui passer toute une série d'arguments.
Ce qui est très utile lorsqu'un veut débuger: headless: false.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

const browser = await puppeteer.launch({headless: false});

Cette option ouvre la fenêtre de Chromium et on peut voir ce qu'il se passe.
C'est grâce à ça que nous avons vus que lorsque que la commande NodeJS était appelé depuis le controlleur le serveur ne répondait pas du tout.

Et de ce fait, nous avons pensé qu'il y avait un problème au niveau du serveur.

Par défaut Apache2 fonctionne avec le module prefork (qui ne permet pas le multithreading), j'ai donc monté une machine virtuel Ubuntu pour tester les autres versions de Apache2 (Worker & Event).

Après de longue galère de configuration (qui m'ont appris pas mal de chose en passant), le problème était le même avec l'une ou l'autre version de Apache2.
J'ai également installé une version de PHP multi threading (PHP-FPM) et mon maitre de stage a fait quelques recherches sur Stackoverflow et il est tombé la dessus:
Simultaneous Requests to PHP Script

On a été voir le fichier log de PHP et il y avait effectivement un problème relatif au session durant l'exécution de la page.
Cet élément a fait sens avec le fait que le script NodeJS bloquait à la ligne sur le cookie.

Et ce post Stackoverflow nous donnait la solution sur un plateau!