Discussion :

[almarean]

Bonjour à toutes et à tous,

Je viens de commencer mon alternance dans une TPE de développement web, et je suis le seul à faire du NodeJS. Je vous explique mon problème, j'ai développé une petite API avec Puppeteer permettant de faire du web scraping sur des sites dynamiques. Mon API me renvoie dans la console ce que j'ai récupéré au format JSON, et je souhaiterais enregistrer ce contenu dans un fichier JSON. J'ai utilisé le paquet 'fs', puis j'ai utilisé la méthode wrietFileSync de ce paquet pour écrire le contenu du site au format JSON dans mon fichier, mais quand je lance mon script, ça me renvoie :


Bien-sûr j'ai cherché de mon côté pour voir si je trouvais quelque chose, mais malheureusement mes recherches ont été infructueuses...
Je joins le code de l'API :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
 
const puppeteer = require('puppeteer')
const fs = require('fs')
 
let bookingUrl = 'https://www.astrazeneca.com/media-centre/press-releases.html';
(async () => {
    const browser = await puppeteer.launch({ headless: true })
    const page = await browser.newPage()
    await page.setViewport({ width: 1920, height: 926 })
    await page.goto(bookingUrl)
 
    // Get page details
    let newsData = await page.evaluate(() => {
        let news = []
        let newsElements = document.querySelectorAll('.filter-items__results-list .filter-items__results-list-item')
        newsElements.forEach((newsElement) => {
            let newsJson = {}
            try {
                newsJson.name = newsElement.querySelector('a div .filter-items__results-item-title').innerText
                newsJson.elmementLink = newsElement.querySelector('.filter-items__results-item').href
                newsJson.created = Date.now()
                newsJson.abstract = ''
            }
            catch (exception) {
 
            }
            news.push(newsJson)
        })
        const newsTrimmed = news.filter(n => n !== undefined)
        fs.writeFileSync('news.json',
            JSON.stringify(newsTrimmed, null, 4),
            (err) => console.log('File successfully written !'))
        return news
    })
    console.dir(newsData)
})()

Merci d'avance !

[tsuji]

C'est une erreur dotée une immense ambiguïté malheureusement, en particulièrement une mention de ReferenceError fs comme si fs n'est pas reconnu dans la portée. Pour résoudre l'erreur Evaluation failed ... on peut mettre un try-catch autour de fs.writeFileSync().

Code node.js :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
        try {
            fs.writeFileSync('news.json',
                JSON.stringify(newsTrimmed, null, 4),
                (err) => console.log('File successfully written !'))
        } catch (exception) {
            //comme on veut
        }
        return news

Dans le futur, comment ça se comporte, je ne sais pas.

[Invité]

slt,

ce qui met la puce à l'oreille c'est le executionContext dans ta stacktrace

en fait le js que tu ecris est interprété non pas par v8 (de nodejs) mais par celui du moteur de puppeteer.
et lui il connait pas fs (et quand bien même, il faudrait que tu ecrives require('fs') au sein de page.evaluate

il y a peut etre moyen de passer des arguments à puppeteer mais sinon tu peux simplement utiliser fs apres:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
    // Get page details
    let newsData = await page.evaluate(() => {
        ...
    })
    //we are now back in nodeJS scope
    fs.writeFileSync('news.json',
        JSON.stringify(newsData, null, 4),
        (err) => console.log('File successfully written !'))

[tsuji]

Je tiens juste à souligner, je pense c'est important, que la référence ou la variable fs est bien reconnue à l'endroit-là, donc, les règles qui dictent la portée de la déclaration d'une variable n'est pas mise en question. La preuve est que le code que j'apporte avec une construction try-catch mène une bonne fin en effet. Le problème proviendrait probablement de l'implémentation de la promesse es6+ - mais je n'en suis pas 100% certain !

[Invité]

ton code ne mènerait il pas une bonne fin parce que justement tu catches l'exception?
le but n'est pas de masquer lexception mais d'écrire dans le fichier. Confirmes tu que le fichier est bien écrit? (parce que quand je vois une stacktrace avec fs not defined... )

[almarean]

Après quelques recherches, j'ai trouvé la solution :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
const puppeteer = require('puppeteer')
const fs = require('fs-extra');
 
(async () => {
    try {
        const browser = await puppeteer.launch({ headless: true })
        const page = await browser.newPage()
        page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36')
        await page.goto('https://www.nasa.gov/news/releases/latest/index.html')
        await page.waitForSelector('.ubernode-listing')
        let news = []
        let json = {}
        const sections = await page.$$('.ubernode')
        for (let section of sections) {
            json.id = await Math.random()
            json.title = await section.$eval('h3 a', el => el.innerText)
            json.url = await section.$eval('h3 a', el => el.href)
            json.date = Date.parse(await section.$eval('p', el => el.innerText))
            json.abstract = await section.$eval('p', el => el.innerText)
            await news.push(json)
        }
        let newsTrimmed = await news.filter(n => n !== undefined)
        await fs.writeFile('news.json',
            JSON.stringify(newsTrimmed, null, 4),
            (err) => console.log('File successfully writen !')
        )
        await browser.close()
        return news
    } catch (exception) {
        console.log('Our error : ' + exception)
    }
})()