Discussion :

[kheops17]

Bonjour à tous,

Je vous demande de l'aide SVP pour trouver une solution à mon petit problème qui est le suivant :

- J'ai crée un petit scirpt qui me permet de récupérer des données depuis une URL : http://www.monsite.com/articles/details?id=1 le résultat renvoyé par le serveur est tout simplement un fichier json.
- Dans mon script j'ai remplacé le ?id= par une variable pour récupérer les articles entre 1 et 50.
- Là ou ça bloque c'est que certaines pages sont vide, par exemple l'id=22, affiche une page blanche sur le serveur, du coup mon script plante car il attend une réponse sous format json.
- Ma question est la suivante : comment je peux rajouter une exception dans le script pour dire si ça bloque alors je teste id +1 (page suivante)
Voici mon script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
 
import json
import urllib.request
import sqlite3     
 
 
min_article_id = 1
max_article_id = 50
 
while (min_article_id < max_article_id):
 
    myurl = "http://www.monsite.com/articles/details?id="+str(min_article_id)
 
    print(min_article_id) #juste pour récupérer le numéro de la page qui bloque
 
    response = urllib.request.urlopen(myurl)
    content = response.read()
    data = json.loads(content.decode("utf8"))       #<===================== C'est la où ça bloque si page vide
 
 
    id_article = data["id_articles"]
    article_editeur = data["editeur"]
    article_texte = data["texte"]
    article_date = data["date"]
 
 
 
#SQL : Les informations collectées seront enregistrées dans une base de données Sqllite 
 
    connex = sqlite3.connect("articles.sq3")
    cur = connex.cursor()
    try:
        req ="CREATE TABLE list_articles( Id INTEGER, editeur TEXT, texte TEXT, date TEXT)"
        cur.execute(req)
 
    except:
        pass
 
    req ="INSERT INTO list_articles (Id, editeur, texte, date) VALUES(?, ?, ?, ?)"
    cur.execute(req,(id_article, article_editeur, article_texte, article_date))
 
    connex.commit()
    time.sleep(9)
    min_article_id += 1

Merci pour votre aide.

[Laurent 1973]

Que vaux "content" quand la page est non disponible?
vide?

Alors, est-ce que tu ne peux pas faire de la variable "content" avant de la parser en json:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
....
while (min_article_id < max_article_id):
 
    myurl = "http://www.monsite.com/articles/details?id="+str(min_article_id)
 
    print(min_article_id) #juste pour récupérer le numéro de la page qui bloque
 
    response = urllib.request.urlopen(myurl)
    content = response.read()
    if content!='':
        data = json.loads(content.decode("utf8"))
        id_article = data["id_articles"]
        article_editeur = data["editeur"]
        article_texte = data["texte"]
        article_date = data["date"]
.....

ou sinon, tu peux aussi le gérer par exception:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
....
while (min_article_id < max_article_id):
 
    myurl = "http://www.monsite.com/articles/details?id="+str(min_article_id)
 
    print(min_article_id) #juste pour récupérer le numéro de la page qui bloque
 
    response = urllib.request.urlopen(myurl)
    content = response.read()
    try:
        data = json.loads(content.decode("utf8"))
        id_article = data["id_articles"]
        article_editeur = data["editeur"]
        article_texte = data["texte"]
        article_date = data["date"]
.....
    except:
        print("Bad article #%d" % min_article_id)

[kheops17]

Merci Laurent d'avoir pris le temps pour me réponde.
J'ai rajouté un print(content) dans la page blanche, la résultat est : b' ' et si la page n'est pas vide : b' {"id_articles":"12"................}'

Que vaux "content" quand la page est non disponible?
vide?

Alors, est-ce que tu ne peux pas faire de la variable "content" avant de la parser en json:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
....
while (min_article_id < max_article_id):
 
    myurl = "http://www.monsite.com/articles/details?id="+str(min_article_id)
 
    print(min_article_id) #juste pour récupérer le numéro de la page qui bloque
 
    response = urllib.request.urlopen(myurl)
    content = response.read()
    if content!='':
        data = json.loads(content.decode("utf8"))
        id_article = data["id_articles"]
        article_editeur = data["editeur"]
        article_texte = data["texte"]
        article_date = data["date"]
.....

ou sinon, tu peux aussi le gérer par exception:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
....
while (min_article_id < max_article_id):
 
    myurl = "http://www.monsite.com/articles/details?id="+str(min_article_id)
 
    print(min_article_id) #juste pour récupérer le numéro de la page qui bloque
 
    response = urllib.request.urlopen(myurl)
    content = response.read()
    try:
        data = json.loads(content.decode("utf8"))
        id_article = data["id_articles"]
        article_editeur = data["editeur"]
        article_texte = data["texte"]
        article_date = data["date"]
.....
    except:
        print("Bad article #%d" % min_article_id)

[kheops17]

Est ce qu'il y a une solution pour passer à la page suivante automatiquement et continuer le script si le résultat du content de la page x n'est pas bon, en gros si page x provoque problème alors on passer à la page x+1

Merci pour ton aide.

[Laurent 1973]

Quand un homme a faim, mieux vaut lui apprendre à pêcher que de lui donner un poisson.

Bon, visiblement, tu n'es pas fort en programmation Python.
Je t'invite donc à potasser un petit peu ce langage.
Pour cela, je t'invite à lire le tutoriel: http://python.developpez.com/cours/apprendre-python3/

Pour info: remplace mes "..." par ce qui va bien dans ton code, et tu as déjà la réponse à ta question.

[kheops17]

Bon, visiblement, tu n'es pas fort en programmation Python.
Je t'invite donc à potasser un petit peu ce langage.
Pour cela, je t'invite à lire le tutoriel: http://python.developpez.com/cours/apprendre-python3/

Pour info: remplace mes "..." par ce qui va bien dans ton code, et tu as déjà la réponse à ta question.

Merci pour ta réponse, tout est dit dans la citation