Utilisation de la librairie requests

Version imprimable

21/03/2020, 12h23
Ryuk976

Utilisation de la librairie requests
Bonjour à tous,

J'aimerais utiliser la librairie requests plutôt que le curl dans cette ligne de code si vous voudriez bien m'aider svp
Code:

1 2 os.system("curl -X GET https://fr-en.openfoodfacts.org/category/{}/{}.json --output fichier.json".format( name_category[i_category], str(i)))
J'ai pu en convertir une partie comme ça :

Code:

fichier = requests.get('https://fr-en.openfoodfacts.org/category/{}/{}.json')

ce qui remplace

Code:

os.system("curl -X GET https://fr-en.openfoodfacts.org/category/{}/{}.json --output fichier.json"

mais je ne sis pas comment remplacer

Code:

.format(name_category[i_category], str(i)))

Est-ce que vous pourriez m'aider ?

Merci à tous
21/03/2020, 15h57
wiztricks
Salut,

Citation:

mais je ne sis pas comment remplacer

A priori, c'est à laisser tel que mais vous pouvez le vérifier avec "print" puisque ce n'est que la fabrication d'une chaine de caractères avec paramètres:
Code:

1 2 3 >>> print ('zzz {} {}'.format('AA', 'BB')) zzz AA BB >>>
- W

Merci de votre réponse rapide. J'ai aussi cru que je pouvais laisser cela tel quel mais lorsque je lance mon code je reçois la réponse "AttributeError: 'Response' object has no attribute 'format'" à la ligne 27. Je ne comprends justement pas pourquoi j'ai cette erreur.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
# coding: utf-8
 
# Importation of the different module
import sqlite3
import os
import json
import time
import requests
 
# Variable for time the script
debut = time.time()
 
# Variable for the main boucle
i = 1
i_max = 20
 
# Variable for the category
count = 0
list_category = []
i_category = 0
name_category = ['Boissons', 'Desserts', 'Sauces', 'Biscuits', 'Yaourts']
 
# Main Boucle
while i <= i_max:
 
    # API request
    fichier = requests.get('https://fr-en.openfoodfacts.org/category/{}/{}.json').format(name_category[i_category], str(i))
 
    # Open the file from API
    try:
        json_data = open('fichier.json')
        data = json.load(json_data)
 
    except UnicodeDecodeError:
        try:
            json_data.close()
            os.remove('fichier.json')
        except FileNotFoundError:
            pass
 
    except FileNotFoundError:
        try:
            json_data.close()
            os.remove('fichier.json')
        except FileNotFoundError:
            pass
 
    # Insert the file from API in variable
    try:
        exterieur = data['products']
 
        # Boucle for each page of the product in the JSON file
        k = 0
        try:
            while k <= 19:
 
                bibliotheque = exterieur[k]
 
                # For each product, enter all this caract in differents variables
                product_name = bibliotheque['product_name_fr']
                product_generic_name = name_category[i_category]
                product_nutriscore = bibliotheque['nutrition_grade_fr']
                product_stores = bibliotheque['stores']
                product_link = bibliotheque['ingredients_text_fr']
 
                # Catch the fake data of Open Food Facts
                if product_stores != '' and product_name != '':
 
                    # Modification of wrong caracter for the SQL file
                    h = 0
                    while h < len(product_name):
                        if product_name[h] == "'" or product_name[h] == '"' or product_name[h] == ';':
                            product_name = product_name[:h] + \
                                "," + product_name[h + 1:]
                        h += 1
                    h = 0
                    while h < len(product_stores):
                        if product_stores[h] == "'" or product_stores[h] == '"' or product_stores[h] == ';':
                            product_stores = product_stores[:h] + \
                                "," + product_stores[h + 1:]
                        h += 1
                    h = 0
                    while h < len(product_link):
                        if product_link[h] == "'" or product_link[h] == '"' or product_link[h] == ';':
                            product_link = product_link[:h] + \
                                "," + product_link[h + 1:]
                        h += 1
 
                    # Make or Open the SQL file
                    fichier = open("test.sql", "a")
 
                    number = str(i_category + 1)
 
                    # Creation of new category in the SQL file
                    if product_generic_name not in list_category:
                        fichier.write("INSERT INTO category\nVALUES (" + number + ", '" +
                                      product_generic_name + "');\n\n")
 
                        list_category.append(product_generic_name)
 
                    j = 0
                    while j < len(list_category):
                        if product_generic_name == list_category[j]:
                            product_number_category = j + 1
                        j += 1
 
                    # Insertion of nutriscore with Int()
                    product_nutriscore_number = ''
 
                    if product_nutriscore == 'a':
                        product_nutriscore_number = '1'
                    elif product_nutriscore == 'b':
                        product_nutriscore_number = '2'
                    elif product_nutriscore == 'c':
                        product_nutriscore_number = '3'
                    elif product_nutriscore == 'd':
                        product_nutriscore_number = '4'
                    else:
                        product_nutriscore_number = '5'
 
                    # Census of all item listed in the SQL file
                    count += 1
                    # Creation of new product in the SQL file
                    fichier.write("INSERT INTO product\nVALUES (" + str(count) + ", " +
                                  str(product_number_category) + ", '" +
                                  product_name + "', '" +
                                  product_link + "', '" +
                                  product_stores + "', " +
                                  product_nutriscore_number + ", 'False', NULL);\n\n")
 
                k += 1
 
        except IndexError:
            pass
 
        try:
            fichier.close()
        except NameError:
            pass
 
    except KeyError:
        pass
    except NameError:
        pass
 
    json_data.close()
 
    try:
        os.remove('fichier.json')
    except FileNotFoundError:
        pass
 
    # Modification of the boucle for each category
    if i == i_max:
        i_category += 1
        i = 0
 
    # Break the boucle after each category
    if i_category >= len(name_category):
        break
 
    i += 1
 
# Information at the end of the script
print("Nombre de référence recencée(s) : " + str(count))
print(time.time() - debut)
 
 
connection = sqlite3.connect("OpenFoodFacts.db")
 
cursor = connection.cursor()
 
# Open the file for create the table of database
my_file = open("Database_for_script_python_for_db_file.sql", "r")
all_my_file = my_file.read()
 
count = 0
 
# Decomposite the file in multi-query sql
for i in enumerate(all_my_file):
    if i[1] == ";":
 
        sql_command = all_my_file[count:i[0] + 1]
 
        count = i[0] + 1
 
        print(sql_command)
 
        cursor.execute(sql_command)
 
my_file.close()
 
# Open the file create in the begin of the script
my_file = open("test.sql", "r")
all_my_file = my_file.read()
 
print(type(all_my_file))
count = 0
 
# Decomposite the file in multi-query sql
for i in enumerate(all_my_file):
    if i[1] == ";":
 
        sql_command = all_my_file[count:i[0] + 1]
 
        print(sql_command)
 
        count = i[0] + 1
 
        cursor.execute(sql_command)
 
# Close properly the different file
my_file.close()
 
connection.close()
 
# Delete the useless file
os.remove('test.sql')

21/03/2020, 16h18
wiztricks

Salut,

Citation:

Envoyé par Ryuk976

Je ne comprends justement pas pourquoi j'ai cette erreur.

Ouvrez les yeux et essayez de comprendre où vous avez mis les parenthèses et si vous ne voyez toujours pas, rien ne vous empêche de fabriquer la chaine de caractères, l'assigner à une variable et la passer à requests.get.

- W
21/03/2020, 16h30
Ryuk976

A vrai dire je ne comprends même pas l'erreur, je ne sais pas à quoi fait référence "response" ici.
21/03/2020, 17h37
wiztricks

Citation:

Envoyé par Ryuk976

A vrai dire je ne comprends même pas l'erreur, je ne sais pas à quoi fait référence "response" ici.

Ben, écrivez çà en 2 lignes comme je vous l'ai suggéré.

- W

J'ai pu corriger mon erreur, effectivement c'était juste un problème de parenthèses cependant j'ai encore un problème. Je reçois l'erreur :
Code:

1 2 3 File "C:/Users/Suzette/Downloads/Projet 5/P5_03_codesource/script_python_for_db_file.py", line 32, in <module> json_data = open('fichier') FileNotFoundError: [Errno 2] No such file or directory: 'fichier'
J'ai bien compris que le souci venait du fait que mon code n'arrivait pas à trouver mon fichier 'fichier' mais ce que je voudrais savoir c'est comment faire pour savoir où il se trouve et aussi comment faire indiquer où la trouver ?

Salut,

Tu parles de ceci:
Code:

1 2 3 4 5 6 fichier = requests.get('https://fr-en.openfoodfacts.org/category/{}/{}.json').format(name_category[i_category], str(i)) # Open the file from API try: json_data = open('fichier.json')
?
Le premier fichier est une référence à une instance de requests.Reponse et le deuxième fichier.json est une string, aucun rapport..

Tu dois lire le retour de requests, voir ici: https://requests.readthedocs.io/en/m...make-a-request ... et les pages suivantes aussi.

Oui je parle bien de ceci, je l'ai ensuite modifié
Code:

1 2 3 4 5 6 7 8 # API request fichier = requests.get(('https://fr-en.openfoodfacts.org/category/{}/{}.json'.format( name_category[i_category], str(i)))) # Open the file from API try: json_data = open(fichier) data = json.load(json_data)
comme ça. Cependant ça ne marche toujours pas. Je vais essayer de trouver la réponse avec la documentation que vous m'avez fourni.

22/03/2020, 12h22
Ryuk976

Lorsque je teste avec la version que je viens d'envoyer j'ai une nouvelle erreur

Code:

TypeError: expected str, bytes or os.PathLike object, not Response

Ce qui veut dire j'imagine qu'effectivement c'est un problème d'interprétation. J'ai essayé, d'après la documentation que vous m'avez donné, de rajouter

Code:

fichier.text

pour voir mais toujours pas la bonne réponse, je continue d'essayer d trouver la réponse.
22/03/2020, 12h33
wiztricks

Salut,

Citation:

Envoyé par Ryuk976

mais toujours pas la bonne réponse, je continue d'essayer d trouver la réponse.

Pour ouvrir un fichier avec open, il faut lui passer une chaine de caractères en arguments. Si vous lui passez autre chose, çà ne fonctionnera pas.

Après soyez un peu logique, vous remplacez l'appel à curl qui crée un fichier externe (qu'il fallait lire ensuite pour en récupérer les données) par une requête qui permet d'accéder à ces données sans passer par le fichier...

Il y a pas mal de choses à revoir dans votre code.

- W
22/03/2020, 12h42
Ryuk976

Je comprends mais n'étant plus sous linux je ne peux utiliser la commande curl, que devrais-je modifier dans on code dans ce cas ? Par quoi je pourrais remplacer le open ?
22/03/2020, 14h01
wiztricks

Citation:

Envoyé par Ryuk976

Par quoi je pourrais remplacer le open ?

VinsS vous a déjà indiqué les pages de la documentation de requests à lire pour y répondre.

- W

Bon au final j'ai réinstallé linux c'était plus simple avec cette version du code

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
# coding: utf-8
 
# Importation of the different module
import sqlite3
import os
import json
import time
import requests
 
# Variable for time the script
debut = time.time()
 
# Variable for the main boucle
i = 1
i_max = 20
 
# Variable for the category
count = 0
list_category = []
i_category = 0
name_category = ['Boissons', 'Desserts', 'Sauces', 'Biscuits', 'Yaourts']
 
# Main Boucle
while i <= i_max:
 
    # API request
    os.system("curl -X GET https://fr-en.openfoodfacts.org/category/{}/{}.json --output fichier.json".format(
        name_category[i_category], str(i)))
 
    # Open the file from API
    try:
        json_data = open('fichier.json')
        data = json.load(json_data)
 
    except UnicodeDecodeError:
        try:
            json_data.close()
            os.remove('fichier.json')
        except FileNotFoundError:
            pass
 
    except FileNotFoundError:
        try:
            json_data.close()
            os.remove('fichier.json')
        except FileNotFoundError:
            pass
 
    # Insert the file from API in variable
    try:
        exterieur = data['products']
 
        # Boucle for each page of the product in the JSON file
        k = 0
        try:
            while k <= 19:
 
                bibliotheque = exterieur[k]
 
                # For each product, enter all this caract in differents variables
                product_name = bibliotheque['product_name_fr']
                product_generic_name = name_category[i_category]
                product_nutriscore = bibliotheque['nutrition_grade_fr']
                product_stores = bibliotheque['stores']
                product_link = bibliotheque['ingredients_text_fr']
 
                # Catch the fake data of Open Food Facts
                if product_stores != '' and product_name != '':
 
                    # Modification of wrong caracter for the SQL file
                    h = 0
                    while h < len(product_name):
                        if product_name[h] == "'" or product_name[h] == '"' or product_name[h] == ';':
                            product_name = product_name[:h] + \
                                "," + product_name[h + 1:]
                        h += 1
                    h = 0
                    while h < len(product_stores):
                        if product_stores[h] == "'" or product_stores[h] == '"' or product_stores[h] == ';':
                            product_stores = product_stores[:h] + \
                                "," + product_stores[h + 1:]
                        h += 1
                    h = 0
                    while h < len(product_link):
                        if product_link[h] == "'" or product_link[h] == '"' or product_link[h] == ';':
                            product_link = product_link[:h] + \
                                "," + product_link[h + 1:]
                        h += 1
 
                    # Make or Open the SQL file
                    fichier = open("test.sql", "a")
 
                    number = str(i_category + 1)
 
                    # Creation of new category in the SQL file
                    if product_generic_name not in list_category:
                        fichier.write("INSERT INTO category\nVALUES (" + number + ", '" +
                                      product_generic_name + "');\n\n")
 
                        list_category.append(product_generic_name)
 
                    j = 0
                    while j < len(list_category):
                        if product_generic_name == list_category[j]:
                            product_number_category = j + 1
                        j += 1
 
                    # Insertion of nutriscore with Int()
                    product_nutriscore_number = ''
 
                    if product_nutriscore == 'a':
                        product_nutriscore_number = '1'
                    elif product_nutriscore == 'b':
                        product_nutriscore_number = '2'
                    elif product_nutriscore == 'c':
                        product_nutriscore_number = '3'
                    elif product_nutriscore == 'd':
                        product_nutriscore_number = '4'
                    else:
                        product_nutriscore_number = '5'
 
                    # Census of all item listed in the SQL file
                    count += 1
                    # Creation of new product in the SQL file
                    fichier.write("INSERT INTO product\nVALUES (" + str(count) + ", " +
                                  str(product_number_category) + ", '" +
                                  product_name + "', '" +
                                  product_link + "', '" +
                                  product_stores + "', " +
                                  product_nutriscore_number + ", 'False', NULL);\n\n")
 
                k += 1
 
        except IndexError:
            pass
 
        try:
            fichier.close()
        except NameError:
            pass
 
    except KeyError:
        pass
    except NameError:
        pass
 
    json_data.close()
 
    try:
        os.remove('fichier.json')
    except FileNotFoundError:
        pass
 
    # Modification of the boucle for each category
    if i == i_max:
        i_category += 1
        i = 0
 
    # Break the boucle after each category
    if i_category >= len(name_category):
        break
 
    i += 1
 
# Information at the end of the script
print("Nombre de référence recencée(s) : " + str(count))
print(time.time() - debut)
 
 
connection = sqlite3.connect("OpenFoodFacts.db")
 
cursor = connection.cursor()
 
# Open the file for create the table of database
my_file = open("Database_for_script_python_for_db_file.sql", "r")
all_my_file = my_file.read()
 
count = 0
 
# Decomposite the file in multi-query sql
for i in enumerate(all_my_file):
    if i[1] == ";":
 
        sql_command = all_my_file[count:i[0] + 1]
 
        count = i[0] + 1
 
        print(sql_command)
 
        cursor.execute(sql_command)
 
my_file.close()
 
# Open the file create in the begin of the script
my_file = open("test.sql", "r")
all_my_file = my_file.read()
 
print(type(all_my_file))
count = 0
 
# Decomposite the file in multi-query sql
for i in enumerate(all_my_file):
    if i[1] == ";":
 
        sql_command = all_my_file[count:i[0] + 1]
 
        print(sql_command)
 
        count = i[0] + 1
 
        cursor.execute(sql_command)
 
# Close properly the different file
my_file.close()
 
connection.close()
 
# Delete the useless file
os.remove('test.sql')

Mais j'ai encore un souci, j'ai une nouvelle erreur que je ne comprends pas

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   321  100   321    0     0    321      0  0:00:01 --:--:--  0:00:01  4115
Traceback (most recent call last):
  File "C:/Users/Suzette/Downloads/Projet 5/P5_03_codesource/script_python_for_db_file.py", line 33, in <module>
    data = json.load(json_data)
  File "C:\Users\Suzette\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 293, in load
    return loads(fp.read(),
  File "C:\Users\Suzette\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 357, in loads
    return _default_decoder.decode(s)
  File "C:\Users\Suzette\AppData\Local\Programs\Python\Python38-32\lib\json\decoder.py", line 337, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Users\Suzette\AppData\Local\Programs\Python\Python38-32\lib\json\decoder.py", line 355, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

Qu'est-ce que cela veut dire svp ?

22/03/2020, 19h14
wiztricks

Salut,

Citation:

Envoyé par Ryuk976

Qu'est-ce que cela veut dire svp ?

A priori, çà dit juste que les données du fichier ne sont pas du JSON...

- W
22/03/2020, 19h19
Ryuk976
Mais comment ça se fait ? J'ai bien précisé
Code:

1 2 os.system("curl -X GET https://fr-en.openfoodfacts.org/category/{}/{}.json --output fichier.json".format( name_category[i_category], str(i)))
L'url est bien au format json et le fichier que je crée est bien au format json lui aussi.
22/03/2020, 19h45
wiztricks

Salut,

Citation:

Envoyé par Ryuk976

L'url est bien au format json et le fichier que je crée est bien au format json lui aussi.

C'est vous qui dites que c'est au format JSON. La bibliothèque JSON n'en veut pas.
Et le site raconte que l'API JSON est expérimentale.
Alors si vous ne regardez pas ce que contient le fichier pour voir s'il contient bien du JSON, on ne va pas le faire à votre place.

- W