lancer wget et récuperer le fichier dans une variable

Version imprimable

05/05/2006, 11h22
luc-b

[résolu] lancer wget et récuperer le fichier dans une variable

Bonjour,
je bute sur un problème, j'essaye de lancer automatiquement des requêtes wget grâce à python mais je n'arrive pas à récupérer la sortie de wget dans une variable.

Enfin si j'arrive à récupérer la sortie d'erreur mais pas le fichier de sortie.

f=os.popen('wget --user-agent=Mozilla/5.0 --post-data ....','r')
file = open(f,'r')
file.readlines()
pipe.close()

résultat : " file = open(f,'r')
TypeError: coercing to Unicode: need string or buffer, file found"

si quelqu'un a une idée :)

merci d'avance

luc
05/05/2006, 11h44
abigaelle

Coucou ^^
j'ai eu le meme probleme et j'ai pas reussi a le resoudre...ca serait trop chou si quelqu'un avait une idee >_<

Abi
05/05/2006, 12h17
Corpio
Je mis connait pas trop là dedans mais est-ce que ça sa marche ??
Code:

1 2 f=os.popen('wget --user-agent=Mozilla/5.0 --post-data ....','r').readlines() pipe.close()

Chez moi ca fonctionne sans probleme en tout cas ...

Code:

1
2
3
4
5
6
>>> import os
>>> f=os.popen('wget --user-agent=Mozilla/5.0 --post-data ....','r')
>>> f
<open file 'wget --user-agent=Mozilla/5.0 --post-data ....', mode 'r' at 0x40209c60>
>>> f.readlines()
['wget: missing URL\n', 'Usage: wget [OPTION]... [URL]...\n', '\n', "Try `wget --help' for more options.\n"]

09/05/2006, 09h37
luc-b

merci pour vos réponsses, mais
>>> import os
>>> f=os.popen('wget www.developpez.net','r')
>>> f
<open file 'wget www.developpez.net', mode 'r' at 0x40209c60>
>>> f.readlines()
[]

ne retourne pas la page html de www.developpez.net
je pensse que le fichier retourner par défaut est le message d'information de wget, et non sa sortie.

Luc

hello,

Si tu veux lire une page http, utilise les librairies dediees a cette tache :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
#!/usr/bin/python
# _*_ coding: utf-8 _*_
 
import urllib
import urllib2
 
the_url = '<a href="http://www.developpez.net&#39;" target="_blank">http://www.developpez.net'</a>
req = urllib2.Request(the_url)
handle = urllib2.urlopen(req)
html = handle.read()
 
print html

On peut tout faire avec. :D

09/05/2006, 10h26
luc-b

[résolu]

oui merci j'étais entrain de m'y mettre.

je rajoute cette ressource intéressante avec tous les détails pour ceux qui auront le même souci :)

"urllib le manuel manquant"

http://www.voidspace.org.uk/python/a...francais.shtml

Luc
10/05/2006, 08h44
InDaWinD
Salut, pour recuperer la sortie d'une commande dans le terminal je fais comme ça:
Code:

1 2 3 cmd = "wget -nv -E -H -k -nd -p -U 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT5.0; T312461; PC SRP 2.0; .NET CLR 1.1.4322)' "+url output = commands.getstatusoutput(cmd)
Et sinon pour lire une page html t'as pleins de solution, soit tu la lis d'un seul et tu fais ce que t'as a faire => urllib2
Tu peux aussi te balader a l'interieur comme dans un fichier xml => libxml2
Et sinon tu peux aussi faire tout ça en local, après avoir récuperer la page avec wget.

Voila voila avec tout ça, t'as de quoi faire :p
10/05/2006, 10h47
luc-b

Choupi : fait au bon endroit :)
InDaWinD : merci, je m'en suis sortit avec urllib2

Luc