Optimiser plusieurs urllib

Version imprimable

Bonjour,

avec le temps, ma liste de fonctions urllib s'allonge, exemple:
Code:

1 2 3 4 5 6 7 8 9 urllib.urlcleanup() url="http://www.test1.net/fichier.xml" dest=the_location + "test1.xml" monurl = urllib.urlretrieve(url,dest) urllib.urlcleanup() url="http://test2.org/fichier.xml" dest=the_location + "test2.xml" monurl = urllib.urlretrieve(url,dest)
(là c'est qu'un extrait :p )

ce qui fait donc énormément de code répétitif.

j'ai beau chercher à faire des regroupements, je n'arrive pas à trouver comment garder la sauvegarde des fichiers avec leur nom en rapport au site checké :(

quelqu'un peut-il m'aider? je n'arrive pas à trouver des pistes dans les différents manuels

++

Bonjour,
Si tu veux une liaison (url) => (fichier) tu peux utiliser un dictionnaire :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#!/usr/bin/env python
#coding=utf-8
import urllib
import os.path
the_location="c:\\"
 
urls=[
    "http://www.test1.net/fichier.xml"
    ,"http://test2.org/fichier.xml"
    ]
fichiers_url={} # Dico de liaison url / fichier
 
for index,url in enumerate(urls):
    urllib.urlcleanup()    
    dest=os.path.join(the_location ,"test"+str(index)+".xml")
    monurl = urllib.urlretrieve(url,dest)
    #...Traitement de monurl....
    fichiers_url[url]=dest
 
print fichiers_url["http://www.test1.net/fichier.xml"]

21/05/2009, 13h17
csseur22

merci beaucoup :)

ceci dit il se peut que des websites soient en "blabla.org", donc du coup en faisant sans "test":

Code:

dest=os.path.join(the_location ,str(index)+".xml")

ça me met des 1.xml, 2.xml , etc...

serait-il possible de reprendre les noms de sites (sans les .org .com ou .net)?

++
21/05/2009, 15h27
alexdevl

oui...

Il faut que tu récupère le nom du site avec qq chose comme ceci:

Code:

nom_site=url.split("/")[2].split(".")[1]