Discussion :

[Pearate]

Bonjour,

J'ai un code qui s’exécute parfaitement dans la console python, mais lorsque je lance ma spider, j'ai une erreur en retour : TypeError: argument of type 'NoneType' is not iterable

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
    def parse(self, response):
 
        # TABLEAU ARRIVEE ==============================================================
 
        tab_arrivee_th = response.css('.arrivees th::text').extract()
 
        #ci dessous la réponse que me retourne 'scrapy shell' avec response.css('.arrivees th::text').extract()
        # tab_arrivee_th =  ['Cl.', 'N°', 'Cheval', 'S/A', 'Œill.', 'Poids', 'Corde', 'Ecart', 'Jockey', 'Entraîneur']
 
        if 'Jockey' in tab_arrivee_th:
            col_jockey = tab_arrivee_th.index('Jockey') + 1
        elif 'Driver' in tab_arrivee_th:
            col_jockey = tab_arrivee_th.index('Driver') + 1
        else:
            col_jockey = 0
 
        jockey  = response.css('td:nth-child(' + str(col_jockey) + ') > a::text').extract()
 
 
# erreur obtenue :  if 'Jockey' in tab_arrivee_th:
TypeError: argument of type 'NoneType' is not iterable

Je ne comprends pas, car cela fonctionne parfaitement en test.
il doit y avoir un souci avec "tab_arrivee_th = response.css('.arrivees th::text').extract()" , mais j'ai un bien un retour, et la liste n'est pas vide.

Merci pour votre aide

[wiztricks]

Salut,

Python vous dit que tab_arrivee_th est None.
Comme tab_arrivee_th est construit avec le contenu de response qu'on ne peut pas regarder pour vous pour vérifier que...

- W

[Pearate]

Salut,

Python vous dit que tab_arrivee_th est None.
Comme tab_arrivee_th est construit avec le contenu de response qu'on ne peut pas regarder pour vous pour vérifier que...

- W

Merci pour la réponse.

response donne bien une liste, je viens de vérifier, j'ai commenté mon code jockey, et enregistré la variable tab_arrivee_th dans un csv en lançant la spider. Et j'ai bien un réponse avec une liste : ['Cl.', 'N°', 'Cheval', 'S/A', 'Œill.', 'Poids', 'Corde', 'Ecart', 'Jockey', 'Entraîneur']
Ce que j'avais d'ailleurs déjà vérifié dans scrapy shell.

Quand pensez-vous ?


EDIT : Je viens de trouver, la ligne response était certainement construite en js, et était vide au lancement de la spider, j'ai ajouté un code scrapy-splash pour avoir 0.5 seconde de délais et ainsi avoir une réponse