scrapy框架

英文文档
中文文档

Scrapy框架的具体使用：

步骤一：创建一个工程和spider模板

#在一个目录里执行代码，创建工程名为zimuku
scrapy startproject zimuku

目录结构
├── zimuku #外层目录
│ ├── init.py #初始化脚本
│ ├── pycache #Python缓存文件。暂时无视
│ ├── items.py #Items代码模板，继承类自scrapy.Item
│ ├── middlewares.py #Middlewares代码模板(继承类)
│ ├── pipelines.py #Pipelines代码模板(继承类)
│ ├── settings.py #Scrapy爬虫的配置文件
│ └── spiders #Spiders代码模板目录 我们写爬虫的地方
│ ├── init.py
│ └── pycache
└── scrapy.cfg #部署爬虫的配置文件

进入到工程文件
cd zimuku
用命令行创建第一个Spider：
scrapy genspider demo http://zimuku.net

战术总结
1.scrapy startproject zimuku
2.scrapy genspider demo http://zimuku.net

步骤二：编写Spider

import scrapy

# 将我们需要爬的项目引入进来
from zimuku.items import ZimukuItem

class DemoSpider(scrapy.Spider):

    #该爬虫的名字
    name = "demo"

    #规定爬虫爬取网页的域名
    allowed_domains = ["zimuku.net"]

    #开始爬取的url链接
    start_urls = ['http://zimuku.net/']

    def parse(self, response):
        '''
        parse()函数接收Response参数，就是网页爬取后返回的数据
        用于处理响应，他负责解析爬取的内容
        生成解析结果的字典，并返回新的需要爬取的请求
        '''

        #由于是demo 我们不做完全的功能，
        #只要求爬取出第一个字幕的名字
        #xpath规则可以通过查看网页源文件得出
        name = response.xpath('//b/text()').extract()[1]

        #建立一个items字典，用于保存我们爬到的结果，并返回给pipline处理
        items = {}
        items['第一个']= name

        return items

步骤三： 编写Item、Pipeline

itmes.py定义这个爬虫框架需要爬哪些内容：

import scrapy
class ZimukuItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    subname = scrapy.Field() #字幕的名字

piplines.py来处理spider爬到的内容：

class ZimukuPipeline(object):
    def process_item(self, item, spider):

        # 只要求简单的话，
        # 我们把爬到的结果打印一下吧
        print(item)

        return item

步骤四： 优化配置Settings.py

BOT_NAME = 'zimuku'

SPIDER_MODULES = ['zimuku.spiders']
NEWSPIDER_MODULE = 'zimuku.spiders'
ROBOTSTXT_OBEY = True
#只增加了这一行，通过配置告诉Scrapy明白是谁来处理结果
ITEM_PIPELINES={'zimuku.pipelines.ZimukuPipeline':300,}

获得结果

scrapy crawl demo