Python使用Scrapy框架进行抓取

示例

首先，您必须建立一个新的Scrapy项目。输入要存储代码并运行的目录：

scrapy startproject projectName

要刮擦，我们需要一只蜘蛛。蜘蛛定义了如何刮除某个站点。以下是蜘蛛的代码，该代码遵循指向StackOverflow上投票最高的问题的链接，并从每个页面中抓取一些数据（源）：

import scrapy

class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'  # 每个蜘蛛都有一个唯一的名字
    start_urls = ['http://stackoverflow.com/questions?sort=votes']  # 解析从一组特定的URL开始

    def parse(self, response):  # 对于此生成器产生的每个请求，其响应都发送到parse_question
        for href in response.css('.question-summary h3 a::attr(href)'):  # 使用CSS选择器来查找问题网址以进行一些抓取工作 
            full_url = response.urljoin(href.extract())
            yield scrapy.Request(full_url, callback=self.parse_question)

    def parse_question(self, response): 
        yield {
            'title': response.css('h1 a::text').extract_first(),
            'votes': response.css('.question .vote-count-post::text').extract_first(),
            'body': response.css('.question .post-text').extract_first(),
            'tags': response.css('.question .post-tag::text').extract(),
            'link': response.url,
        }

将您的Spider类保存在projectName\spiders目录中。在这种情况下- projectName\spiders\stackoverflow_spider.py。

现在，您可以使用蜘蛛了。例如，尝试运行（在项目目录中）：

scrapy crawl stackoverflow