Discussion :

[troussepoil]

Bonjour,
j'ai fais un morceau de code dans lequel j'utilise la commande système wget (je sais pas trop si c'est connu, wget est utilisé pour aspirer un site, voilà) grâce à exec():

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Runtime.getRuntime().exec("wget http://fr.wikipedia.org/wiki/" + nom + " -O " + nom);

Je récupère donc des pages de wikipédia.

Ensuite, je souhaite utiliser ces pages. Pour cela, j'ouvre et je lis ces pages avec un Scanner.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
...
try {
     reader = new BufferedReader(new FileReader(nomPage));
} catch(FileNotFoundException fnfe) {
     System.out.println("Erreur d'ouverture");
   }
 
Scanner scanner = new Scanner(reader);
 
while (scanner.hasNext()) {
     ...
}

Et voila.
Alors mon souci est que je récupère une gentille NullPointerException

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
Exception in thread "main" java.lang.NullPointerException: source
...

J'ai l'impression que j'utilise les fichier alors qu'ils ne sont pas encore enregistrés sur mon disque. En gros, le programme execute la lecture du fichier avant d'avoir fini le wget et donc je lis un fichier qui n'existe pas.

Déjà, je voudrais savoir si cette hypothèse est valide, si elle convient à quelqu'un et ensuite, si quelqu'un sait comment faire pour contrer ce problème.
Merci.

[let_me_in]

esssaie avec ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Runtime.getRuntime().exec("sh -c \"wget http://fr.wikipedia.org/wiki/" + nom + " -O " + nom+"\"");

[dinobogan]

Le NullPointerException est levé sur quelle ligne ?

[dingoth]

Le problème vient du fait que le Runtime.getRuntime().exec(...) crée un nouveau thread dans lequel la commande est exécutée.

Tu as donc deux threads en cours. L'un exécute le wget (c'est un thread lent, vu qu'il se charge d'IO spécifiques et que WP a un ping important), l'autre continue ton code. Comme le premier thread est (bien) plus rapide, il arrive et voit qu'il n'existe pas de fichier comme tu l'indiques. Donc... NullPointerException.

Tu dois donc attendre la fin de l'exécution du premier thread pour continuer ton code.

Au passage, le wget n'est pas là pour "aspirer" un site, mais pour récupérer des données HTTP et les copier sur le disque. Que ce soit une page, un site complet ou un fichier particulier, ça n'aspire que si tu le demandes

[adiGuba]

Salut,


Est-ce que tu attends la fin du process avant de lire le fichier ?
Est-ce que tu lis bien les flux d'entrée/sortie de wget ?

Bref il y a plusieurs règles à respecter lorsqu'on exécute un programme externe Exécuter une application externe en Java


Mais si c'est pour télécharger un fichier, pourquoi ne pas passer directement par la classe URL ?



Enfin je vois une grossière dans ton code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
try {
     reader = new BufferedReader(new FileReader(nomPage));
} catch(FileNotFoundException fnfe) {
     System.out.println("Erreur d'ouverture");
   }
 
Scanner scanner = new Scanner(reader);

Si le fichier n'existe pas tu attrapes bien l'exception mais tu continues quand même à lire le fichier

Le problème vient du fait que le Runtime.getRuntime().exec(...) crée un nouveau thread dans lequel la commande est exécutée.

Cela crée un nouveau processus à part entière et non pas un thread !


a++

[dingoth]

Certes, mais le fond est bien là : la concurrence fait qu'il y a deux programmes qui tournent ensembles et qu'on n'est même pas certain que wget ait déjà créé le fichier dans lequel il inscrira les données de Wikipédia.

[troussepoil]

esssaie avec ça :
Code :

Runtime.getRuntime().exec("sh -c \"wget http://fr.wikipedia.org/wiki/" + nom + " -O " + nom+"\"");

ça ne marche plus, les page wikipédia ne sont plus enregistrées sur mon disque.

Le NullPointerException est levé sur quelle ligne ?

le NullPointerException est levé sur la déclaration du Scanner. Apparemment, le reader est null.

Pour utiliser une commande avec des paramètres, le mieux est de passer par un tableau de chaînes de caractères, en utilisant la méthode exec(String[]) de Runtime: ça permet dans la plupart des cas de régler proprement les problèmes d'espaces et de quotes.

Juste pour être sur d'avoir bien compris, c'est somme ça que je dois faire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
String[] tabString = {"wget http://fr.wikipedia.org/wiki/", nom, " -O ", nom};
Runtime.getRuntime().exec(tabString);

Si c'est bien comme ça, ça ne fonctionne pas, je ne comprend pas trop pourquoi.

Le problème vient du fait que le Runtime.getRuntime().exec(...) crée un nouveau thread dans lequel la commande est exécutée.

Tu as donc deux threads en cours...

C'est ce qui me faisais peur...

Tu dois donc attendre la fin de l'exécution du premier thread pour continuer ton code.

Puis-je demander comment on fait?

Au passage, le wget n'est pas là pour "aspirer" un site, mais pour récupérer des données HTTP et les copier sur le disque. Que ce soit une page, un site complet ou un fichier particulier, ça n'aspire que si tu le demandes

Ok, merci

Est-ce que tu attends la fin du process avant de lire le fichier ?

Non, je ne sais pas comment on fait...

Est-ce que tu lis bien les flux d'entrée/sortie de wget ?

Euh... non, je lance juste la commande wget et ensuite je lis avec java...je ne sais pas non plus comment on fait...

Bref il y a plusieurs règles à respecter lorsqu'on exécute un programme externe Exécuter une application externe en Java

Faut que je lise ça!

Certes, mais le fond est bien là : la concurrence fait qu'il y a deux programmes qui tournent ensembles et qu'on n'est même pas certain que wget ait déjà créé le fichier dans lequel il inscrira les données de Wikipédia.

Oui, c'est mon problème, et je ne sais pas comment faire.

[adiGuba]

Franchement si c'est pour télécharger une page utilises directement la classe URL :

• C'est 100% portable
• Tu n'as pas à t'embêter avec la gestion des flux des processus

a++

[CyberChouan]

Pour utiliser une commande avec des paramètres, le mieux est de passer par un tableau de chaînes de caractères, en utilisant la méthode exec(String[]) de Runtime: ça permet dans la plupart des cas de régler proprement les problèmes d'espaces et de quotes.