Discussion :

[ndraptor]

Bonjour,

Tout d'abord je m'excuse si le titre n'est pas très explicite. Je débute en Python et je ne suis vraiment pas habitué aux termes des fonctions, bibliothèques...

J'ai réalisé un script en python qui permet de récupérer le contenu d'une page web (sa source - afin d'être parsé derrière pour récupérer des informations automatiquement)
Concrètement, mon serveur, va exécuter le script toutes les 60 minutes.
La page web ouverte par le Python n'est pas sur mon serveur par contre.

Ma question c'est quel est l'impact pour les deux serveurs (le mien et celui qui héberge la page qui m'intéresse) ?
En gros ce que j'utilise est-il couteux en terme de ressources ? Déconseillé ? etc.
Je souhaiterai avoir vos avis ne connaissant pas Python.

Je vous colle ci-dessous les lignes que j'utilise pour parvenir à mes fins :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
# build opener with HTTPCookieProcessor
cj = cookielib.CookieJar()
o = urllib2.build_opener( urllib2.HTTPCookieProcessor(cj) )
urllib2.install_opener( o )
 
# ...
 
i = 1
while i <= 60 :
	url = 'http://lesiteenquestion.com/et-%d-lurl/1' % (i)
	f = o.open( url )
	data = f.read()
	f.close()
	i = i + 1

Comme vous pouvez le voir, le o.open(url) est réalisé 60 fois. Le script lui-même est exécuté 8 fois de suite (avec un paramètre différent). Soit 480 open. (et toutes les 60 minutes).
C'est pour cela que je me pose la question de savoir si les serveurs vont souffrir de ce script ou non ?

Je vous remercie déjà d'avance pour ceux qui me répondront,
ndraptor.

[o.girardot]

Souffrir est un grand mot, par contre un admin système le verra passer, mais ça ne correspond qu'a à un GET pas une requête "normalement" violente.
Donc je peux te dire pour avoir crawler des sites beaucoup plus violemment que seul un admin sys compétent le verra et potentiellement te blacklistera

Olivier.

[wiztricks]

Salut,

Je vous propose une lecture attentive de l'article Wikipedia.
Il vous propose des règles raisonnables qui n'ont rien à voir avec Python.

Dans tous les cas, si votre code supporte des activités métiers, vous aurez peut être intérêt à discuter avec le Webmestre de votre application afin qu'il ne réagisse pas violemment le jour ou il découvrira la chose.
- W