Attendre la fin d'une fonction asynchrone

Version imprimable

Bonjour,

Actuellement, j'utilise le programme Phantomjs, afin de récupérer des pages web, et les enregistrer.
Je possède un fichier id.txt qui contient l'id de toutes les pages que je souhaite récupérer et enregistrer.
Les informations dans le fichier id.txt sont de cette forme :

Citation:

nomDeLaPage-id
nomDeLaPage2-id2
nomDeLaPage3-id3
....

L'idée est donc de parcourir le fichier id.txt, et pour chaque ligne :

Récupérer l’identifiant
Ouvrir et enregistrer la page

Voici le code :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 var page = require('webpage').create(); var fs = require('fs'); var file_h = fs.open('id.txt', 'r'); // contains data like : myName-1111 var line = file_h.readLine(); while(line) { data = line.split("-"); line = file_h.readLine(); savePage(data[1]); } function savePage(id){ page.open('http://www.myWebsite.com/'+id, function(){ page.evaluate(); fs.write("page/"+id+'.html', page.content, 'w'); }); } file_h.close(); phantom.exit();
Le problème c'est que l'ouverture et l'écriture de la page se fait dans une fonction asynchrone (si j'ai bien compris).
J'aimerais donc pouvoir arrêter la boucle while tant que la page que je suis en train de récupérer, n'a pas été complètement récupérée et correctement enregistrée.

Merci d'avance pour vos propositions !

15/05/2015, 16h04
Golgotha

Bonjour, Voici une solution que je te propose parmi d'autre :

Il faudrait que tu mette les ids de tes pages dans un tableau par exemple : pagesID ensuite tu déclare un index que tu positionne à zéro.
Après tu fait une fonction qui contiens ton callback, le callback incrémente l'index et ré-appel la fonction qui le contient (c'est récursif).
dans la fonction ton argument sera pageID[index]. j'espère que c'est assez claire... :/

Une solution à base de callbacks:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
var page = require('webpage').create();var fs = require('fs');
var file_h = fs.open('id.txt', 'r'); // contains data like : myName-1111
 
(function saveNextLine(){
    var line = file_h.readLine();
    if(line) {
        var data = line.split("-");
        savePage(data[1], saveNextLine);
    } else {
        console.log(" c'est fini ");
        file_h.close();
        phantom.exit();
    }
})();
 
function savePage(id, callback){
    page.open('http://www.myWebsite.com/'+id, function(){
        page.evaluate();
        fs.write("page/"+id+'.html', page.content, 'w');
        callback();
    });
}

Une solution encore meilleure serait d'utiliser les Promise, mais je ne sais pas si les fonctions de PhantomJS retournent des promesses. A voir avec la doc

Citation:

Envoyé par Golgotha

Bonjour, Voici une solution que je te propose parmi d'autre :

Il faudrait que tu mette les ids de tes pages dans un tableau par exemple : pagesID ensuite tu déclare un index que tu positionne à zéro.
Après tu fait une fonction qui contiens ton callback, le callback incrémente l'index et ré-appel la fonction qui le contient (c'est récursif).
dans la fonction ton argument sera pageID[index]. j'espère que c'est assez claire... :/

Merci pour ta proposition Golgotha. Je pense que je vais utiliser les callback et m'inspirer du code livré par Sylvain du coup.
Citation:
Envoyé par SylvainPV
Une solution à base de callbacks:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 var page = require('webpage').create();var fs = require('fs'); var file_h = fs.open('id.txt', 'r'); // contains data like : myName-1111 (function saveNextLine(){ var line = file_h.readLine(); if(line) { var data = line.split("-"); savePage(data[1], saveNextLine); } else { console.log(" c'est fini "); file_h.close(); phantom.exit(); } })(); function savePage(id, callback){ page.open('http://www.myWebsite.com/'+id, function(){ page.evaluate(); fs.write("page/"+id+'.html', page.content, 'w'); callback(); }); }
Une solution encore meilleure serait d'utiliser les Promise, mais je ne sais pas si les fonctions de PhantomJS retournent des promesses. A voir avec la doc
Bonsoir Slyvain, merci pour ta proposition ainsi que d'avoir pris le temps de me donner un bout de code adapté avec ! :roll:
Je ne peux tester cela pour le moment, néanmoins dès que j'aurais pu voir le résultat, je te tiens au courant.

Pour ce qui est de Promise, je ne connais pas du tout cela !

Encore merci à vous deux !

Citation:
Envoyé par SylvainPV
Une solution à base de callbacks:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 var page = require('webpage').create();var fs = require('fs'); var file_h = fs.open('id.txt', 'r'); // contains data like : myName-1111 (function saveNextLine(){ var line = file_h.readLine(); if(line) { var data = line.split("-"); savePage(data[1], saveNextLine); } else { console.log(" c'est fini "); file_h.close(); phantom.exit(); } })(); function savePage(id, callback){ page.open('http://www.myWebsite.com/'+id, function(){ page.evaluate(); fs.write("page/"+id+'.html', page.content, 'w'); callback(); }); }
Une solution encore meilleure serait d'utiliser les Promise, mais je ne sais pas si les fonctions de PhantomJS retournent des promesses. A voir avec la doc
De retour !
J'ai pu tester ton code Sylvain, malheureusement, il semble bloquer sur le premier callback.

En effet, j'ai rajouté un petit

Code:

console.log("je lis une page");

juste avant l'appel de la fonction savePage().

Le message s'affiche une fois quand je lance le programme mais il ne se réaffiche pas (et le programme ne se termine pas).

J'en conclue donc qu'il a doit tourner en boucle mais pas moyen de savoir à quel niveau !

Merci d'avance pour ton/votre aide !

18/05/2015, 20h00
SylvainPV

Je n'ai pas testé ce code vu que je n'avais pas tous les éléments, donc je ne garantis pas son fonctionnement. Utilise le debugger, les breakpoints et l'avancement pas à pas pour voir d'où vient le problème. C'est bien plus efficace que des console.log par ci par là.

C'est bon j'ai réussi !

Voici le code final

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
 
var page = require('webpage').create();
var fs = require('fs');
var file_h = fs.open('id.txt', 'r');
 
var line = file_h.readLine();
data = line.split("-");
console.log("Reading id : "+data[1]);
savePage(data[1]);
 
function savePage(id){
    console.log("\n#### READING http://www.myWebsite.com/"+ id +" ####")
    page.open('http://www.myWebsite.com/'+id, function(){
        page.evaluate(function(){
 
        });
        console.log("#### WRITING "+ id +".html ####")
        fs.write("page/"+id+'.html', page.content, 'w');
 
        line = file_h.readLine();
        if(line == ""){
            phantom.exit();
        }
        data = line.split("-");
        savePage(data[1]);
    });
}