Discussion :

[Larlekain]

Bonjour,

J'essaye de m'initier au langage python et donc je suis quelque petit tutoriel sur le net. J'ai parmi un de celui-ci été confronter a utilisation d'un scraper afin de récolter des information sur une page web mais il semble que j'ai problème de syntaxe quand j'essaye de lancer la commande de scrape dans la console spyder.

Le site de scrapy indique cette commande : "scrapy runspider myspider.py", bien sur je remplace myspider.py par le nom de mon programme :
=> scrapy runspider characters_scraper.py
A ce moment la j'ai la console ne reconnais pas le commande et m'affiche :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
scrapy runspider characters_scraper.py
  File "<ipython-input-8-2c3db17e8517>", line 1
    scrapy runspider characters_scraper.py
                        ^
SyntaxError: invalid syntax

J'ai pourtant suivi les directive du site scrapy, et instaler la librairi scrapy avec cette commande "conda install -c conda-forge scrapy"
Quand je tape import scrapy pour importer la librairi, ça fonctionne, puis quand je tape scrapy.runspider voici la réponse :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
scrapy.runspider
Traceback (most recent call last):
 
  File "<ipython-input-27-751bf7ab5038>", line 1, in <module>
    scrapy.runspider
 
AttributeError: module 'scrapy' has no attribute 'runspider'

Voici mon code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
# -*- coding: utf-8 -*-
import scrapy
 
class BlogSpider(scrapy.Spider):
    name = 'characterspider'
    start_urls = ['https://fr.wikipedia.org/wiki/Cat%C3%A9gorie:Personnage_d\'animation']
 
    def parse(self, response):
        for link in response.css('div#mw-pages div.mw-content-ltr li'):
            yield {'character': link.css('a ::text').extract_first()}

Le but est d'extraire le nom de personnage ayant pour balise 'div#mw-pages div.mw-content-ltr li'.

Cordialement,

LarleKain

[wiztricks]

Salut,

Le site de scrapy indique cette commande : "scrapy runspider myspider.py"

Lorsqu'on vous parle de commande, il s'agit en général de choses à entrer sur un terminal où vous tapez des commandes bash sous linux ou des commandes DOS sous Windows.
IPython est un interpréteur Python qui ne connaît que le langage Python (et d'autres commandes à préfixer pour qu'il ne mélange pas les deux).

- W

[Larlekain]

Un grand merci, donc interpréteur n'est pas console. J'ai réussi a utiliser mon programme, il faut que je fasse attention a mes répertoires, et aussi bien installer les module complémentaire avec une ligne de commande dans la console et non dans l'interpréteur.

Cordialement,

LarleKaiN.

[Le Flemmard]

Bonjour à tous,

je fais exactement le même exercice, mais par contre je n'ai pas bien compris la réponse. Personnellement, j'ai installé scrappy avec la commande pip install scrapy, et j'ai même essayé de l'installer dans le répertoire que j'utilise (mais la console m'as indiqué que j'avais déjà les pré-requis), j'ai tenté de lancer la commande scrapy runspider character_spider.py mais rien à faire j'ai l'erreur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
>>> scrapy runspider character_spider.py
  File "<stdin>", line 1
    scrapy runspider character_spider.py
           ^
SyntaxError: invalid syntax

Pourriez-vous me détailler la procédure à réaliser s'il vous plaît ?

Cordialement
Le Flemmard (même si là j'ai envie de me bouger)

[wiztricks]

Pourriez-vous me détailler la procédure à réaliser s'il vous plaît ?

A priori c'est tout le sujet de la discussion... on va pas juste répéter sans que vous donniez d'informations supplémentaires.

- W