Scrapy : TypeError: argument of type 'NoneType' is not iterable

Version imprimable

Bonjour,

J'ai un code qui s’exécute parfaitement dans la console python, mais lorsque je lance ma spider, j'ai une erreur en retour : TypeError: argument of type 'NoneType' is not iterable

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
    def parse(self, response):
 
        # TABLEAU ARRIVEE ==============================================================
 
        tab_arrivee_th = response.css('.arrivees th::text').extract()
 
        #ci dessous la réponse que me retourne 'scrapy shell' avec response.css('.arrivees th::text').extract()
        # tab_arrivee_th =  ['Cl.', 'N°', 'Cheval', 'S/A', 'Œill.', 'Poids', 'Corde', 'Ecart', 'Jockey', 'Entraîneur']
 
        if 'Jockey' in tab_arrivee_th:
            col_jockey = tab_arrivee_th.index('Jockey') + 1
        elif 'Driver' in tab_arrivee_th:
            col_jockey = tab_arrivee_th.index('Driver') + 1
        else:
            col_jockey = 0
 
        jockey  = response.css('td:nth-child(' + str(col_jockey) + ') > a::text').extract()
 
 
# erreur obtenue :  if 'Jockey' in tab_arrivee_th:
TypeError: argument of type 'NoneType' is not iterable

Je ne comprends pas, car cela fonctionne parfaitement en test.
il doit y avoir un souci avec "tab_arrivee_th = response.css('.arrivees th::text').extract()" , mais j'ai un bien un retour, et la liste n'est pas vide.

Merci pour votre aide

22/07/2019, 13h44
wiztricks

Salut,

Python vous dit que tab_arrivee_th est None.
Comme tab_arrivee_th est construit avec le contenu de response qu'on ne peut pas regarder pour vous pour vérifier que...

- W
22/07/2019, 13h54
Pearate

Citation:

Envoyé par wiztricks

Salut,

Python vous dit que tab_arrivee_th est None.
Comme tab_arrivee_th est construit avec le contenu de response qu'on ne peut pas regarder pour vous pour vérifier que...

- W

Merci pour la réponse.

response donne bien une liste, je viens de vérifier, j'ai commenté mon code jockey, et enregistré la variable tab_arrivee_th dans un csv en lançant la spider. Et j'ai bien un réponse avec une liste : ['Cl.', 'N°', 'Cheval', 'S/A', 'Œill.', 'Poids', 'Corde', 'Ecart', 'Jockey', 'Entraîneur']
Ce que j'avais d'ailleurs déjà vérifié dans scrapy shell.

Quand pensez-vous ?

EDIT : Je viens de trouver, la ligne response était certainement construite en js, et était vide au lancement de la spider, j'ai ajouté un code scrapy-splash pour avoir 0.5 seconde de délais et ainsi avoir une réponse