| 编辑推荐: |
| 本文来自于segmentfault.com,主要从3个方面介绍，从环境搭建、如何从页面抓取数据以及图片处理，系统的带大家入门。 |
|
基于 Python 的 Scrapy 爬虫入门：环境搭建
作为一个全栈工程师（:-) HoHo），前端后台都懂点是必须的，但是Python 很菜，Scrapy 更菜，没错，这就是
Full Stack Developer 的特点，什么都懂点，什么都不精，我们的特点就是上手快，忘得也很快，不过配合强大的搜索引擎，写些小东西出来是不成问题的！
言归正传，最近想用爬虫抓取一些内容来充实自己的博客，以前用过 phpspider，基本能满足要求，但是不够强大，所以选用
Scrapy，顺便回忆一下快忘光的 Python，谁让它这么火呢。
一、基础环境
由于不是职业的Web开发者，因此环境是基于Windows的。
1. Python 安装
到 python.org 下载最新版 Python 安装包，我使用的是3.6.3 32位版本，注意如果安装了64位版本，以后所使用的包也都需要64位。安装程序默认安装pip包管理工具，并设置了相关环境变量：添加
%Python% 及 %Python%\Scripts 到 PATH 中（%Python%是你的安装目录），你运行的
Python 程序或脚本都在 Scripts 中，包都安装在 Lib\site-packages 中。
2. 配置 pip 国内镜像源
Python之所以强大正是因为各种功能齐全的开发包，由于众所周知的原因 pip下载模块速度很慢，因此为了保证pip下载顺利，建议替换成国内的安装源镜像：
创建文件 %HOMEPATH%\pip\pip.ini，内容如下：
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple |
上面这个是清华大学的镜像，另外附上其他几个好用的，据说每30分钟同步官网
阿里云：http://mirrors.aliyun.com/pypi/simple/
豆瓣网：http://pypi.doubanio.com/simple/
科技大学：http://mirrors.ustc.edu.cn/pypi/web/simple/ |
如果不嫌麻烦的话也可以每次安装时指定：
| pip -i http://pypi.douban.com/simple
install Flask |
3. 换一个趁手的命令行
由于Python中经常要用到命令行工具，但Windows自带的cmd或PowerShell逼格太低，换个字体还得折腾大半天，因此有必要换一个好用的，推荐cmder
mini版：https://github.com/cmderdev/c...，Python输出的调试信息可以根据颜色区分，不用像cmd那样找半天了。
4. 安装基础包
virtualenv
基本上Python每个项目都会用到大量的模块，比如本文中的Scrapy爬虫，pip install
scrapy后除了Scrapy本身外，还会下载数十个依赖包，如果经常用Python做各种开发，site-packages会越来越庞大，可能有些包只在一个项目中用到，或者删除包后依赖包并没有被删除，总之不太好管理，作为强迫症患者是决不能忍受的。
好在有一个工具 virtualenv 可以方便管理 Python 的环境，它可以创建一个隔离的Python虚拟开发环境，使用它你可以同时安装多个Python版本，方便同时多个项目的开发，每个项目之间的包安装与使用都是独立的，互不干扰，通过命令可以随时切换各个虚拟环境，如果不再使用，把整个虚拟环境删除即可同时删除其中所有的模块包，保持全局环境的干净。
为了便于使用，我选择安装virtualenvwrapper-win模块，它依赖于virtualenv，包含Windows下面易于使用的批处理脚本，其实只是调用了
virtualenv 功能而已：
pip install virtualenvwrapper-win
virtualenvwrapper 常用命令：
workon: 列出虚拟环境列表
lsvirtualenv: 同上
mkvirtualenv: 新建虚拟环境
workon [虚拟环境名称]: 切换虚拟环境
rmvirtualenv: 删除虚拟环境
deactivate: 离开虚拟环境
wheel
wheel 是python中的解包和打包工具，因此有必要安装到全局环境中，有些模块使用pip安装总是失败，可以尝试先下载whl文件，再使用wheel本地安装的方式安装。
pip install wheel
pypiwin32
既然在Windows下开发，win32api也是必不可少的包，因此也装到全局环境中，下次新建虚拟项目环境用到时就不必每次再下载一次了。
当然，以上2，3，4其实都不是必须的，但是建好基本环境有利于以后的开发少兜圈子。
二、Scrapy 安装
打开cmder命令行工具
创建Scrapy虚拟环境： mkvirtualenv Scrapy，默认情况下会创建%HOMEPATH%\Envs目录，所有的虚拟环境都会产生一个子目录保存在此，里面包含Python基本程序文件以及pip,wheel,setuptools库文件。如果想修改Envs默认路径，在Windows中可添加一个
%WORKON_HOME% 环境变量指定新的目录。
切换到Scrapy环境：workon scrapy ，执行后在命令行提示符前面会多出 (Scrapy)
字符，表示当前处于Scrapy虚拟环境中，同时添加了当前环境中的相关路径在系统 %PATH% 搜索路径中。
安装Scrapy包：pip install scrapy，自己好几次都遇到Twisted模块安装失败的问题，貌似是编译失败，缺少Microsoft
Visual C++ 14.0导致：
我没有按要求安装Microsoft Visual C++ 14.0编译工具，而是下载whl文件本地安装完成对，此时wheel便派上了用场，到
https://www.lfd.uci.edu/~gohl... 下载twisted的whl文件（注意对应Python版本）
再使用 pip install Twisted?17.9.0?cp36?cp36m?win32.whl
来进行安装，本地安装twisted成功，由于之前被错误中断，建议再执行一次 pip install
scrapy 防止有依赖包没有安装到。
注意：Windows平台需要额外安装 pypiwin32 模块，否则在Scrapy执行爬虫时会报错：
ModuleNotFoundError: No module named 'win32api'
至此 Scrapy 环境搭建完成，所有的模块存放在 %HOMEPATH%\Envs\Scrapy 中，如果不再使用，只需要命令行执行
rmvirtualenv scrapy，整个目录都会被删除，所有依赖模块都会被清理干净。
基于 Python 的 Scrapy 爬虫入门：页面提取
一、内容分析
打开 图虫网，顶部菜单“发现” “标签”里面是对各种图片的分类，点击一个标签，比如“美女”，网页的链接为：https://tuchong.com/tags/美女/，我们以此作为爬虫入口，分析一下该页面：
打开页面后出现一个个的图集，点击图集可全屏浏览图片，向下滚动页面会出现更多的图集，没有页码翻页的设置。Chrome右键“检查元素”打开开发者工具，检查页面源码，内容部分如下：
<div class="content">
<div class="widget-gallery">
<ul class="pagelist-wrapper">
<li class="gallery-item... |
可以判断每一个li.gallery-item是一个图集的入口，存放在ul.pagelist-wrapper下，div.widget-gallery是一个容器，如果使用
xpath 选取应该是：//div[@class="widget-gallery"]/ul/li，按照一般页面的逻辑，在li.gallery-item下面找到对应的链接地址，再往下深入一层页面抓取图片。
但是如果用类似 Postman 的HTTP调试工具请求该页面，得到的内容是：
<div class="content">
<div class="widget-gallery"></div>
</div> |
也就是并没有实际的图集内容，因此可以断定页面使用了Ajax请求，只有在浏览器载入页面时才会请求图集内容并加入div.widget-gallery中，通过开发者工具查看XHR请求地址为：
| https://tuchong.com/rest/tags/美女/posts?page=1&count=20&order=weekly&before_timestamp= |
参数很简单，page是页码，count是每页图集数量，order是排序，before_timestamp为空，图虫因为是推送内容式的网站，因此before_timestamp应该是一个时间值，不同的时间会显示不同的内容，这里我们把它丢弃，不考虑时间直接从最新的页面向前抓取。
请求结果为JSON格式内容，降低了抓取难度，结果如下：
{
"postList":
[
{
"post_id": "15624611",
"type": "multi-photo",
"url": "https://weishexi.tuchong.com/15624611/",
"site_id": "443122",
"author_id":
"443122",
"published_at":
"2017-10-28 18:01:03",
"excerpt":
"10月18日",
"favorites":
4052,
"comments": 353,
"rewardable":
true,
"parent_comments": "165",
"rewards": "2",
"views":
52709,
"title": "微风不燥 秋意正好",
"image_count": 15,
"images":
[
{
"img_id": 11585752,
"user_id":
443122,
"title": "",
"excerpt": "",
"width":
5016,
"height": 3840
},
{
"img_id": 11585737,
"user_id":
443122,
"title": "",
"excerpt": "",
"width":
3840,
"height": 5760
},
...
],
"title_image": null,
"tags":
[
{
"tag_id": 131,
"type":
"subject",
"tag_name":
"人像",
"event_type": "",
"vote": ""
},
{
"tag_id": 564,
"type":
"subject",
"tag_name":
"美女",
"event_type": "",
"vote": ""
}
],
"favorite_list_prefix": [],
"reward_list_prefix": [],
"comment_list_prefix":
[],
"cover_image_src": "https://photo.tuchong.com/443122/g/11585752.webp",
"is_favorite": false
}
],
"siteList": {...},
"following":
false,
"coverUrl": "https://photo.tuchong.com/443122/ft640/11585752.webp",
"tag_name": "美女",
"tag_id":
"564",
"url": "https://tuchong.com/tags/%E7%BE%8E%E5%A5%B3/",
"more": true,
"result":
"SUCCESS"
} |
根据属性名称很容易知道对应的内容含义，这里我们只需关心 postlist 这个属性，它对应的一个数组元素便是一个图集，图集元素中有几项属性我们需要用到：
url：单个图集浏览的页面地址
post_id：图集编号，在网站中应该是唯一的，可以用来判断是否已经抓取过该内容
site_id：作者站点编号 ，构建图片来源链接要用到
title：标题
excerpt：摘要文字
type：图集类型，目前发现两种，一种multi-photo是纯照片，一种text是文字与图片混合的文章式页面，两种内容结构不同，需要不同的抓取方式，本例中只抓取纯照片类型，text类型直接丢弃
tags：图集标签，有多个
image_count：图片数量
images：图片列表，它是一个对象数组，每个对象中包含一个img_id属性需要用到
根据图片浏览页面分析，基本上图片的地址都是这种格式： https://photo.tuchong.com/{site_id}/f/{img_id}.jpg
，很容易通过上面的信息合成。
二、创建项目
进入cmder命令行工具，输入workon scrapy 进入之前建立的虚拟环境，此时命令行提示符前会出现(Scrapy)
标识，标识处于该虚拟环境中，相关的路径都会添加到PATH环境变量中便于开发及使用。
输入 scrapy startproject tuchong 创建项目 tuchong
进入项目主目录，输入 scrapy genspider photo tuchong.com 创建一个爬虫名称叫
photo (不能与项目同名)，爬取 tuchong.com 域名（这个需要修改，此处先输个大概地址），的一个项目内可以包含多个爬虫
经过以上步骤，项目自动建立了一些文件及设置，目录结构如下：
(PROJECT)
│ scrapy.cfg
│
└─tuchong
│ items.py
│ middlewares.py
│ pipelines.py
│ settings.py
│ __init__.py
│
├─spiders
│ │ photo.py
│ │ __init__.py
│ │
│ └─__pycache__
│ __init__.cpython-36.pyc
│
└─__pycache__
settings.cpython-36.pyc
__init__.cpython-36.pyc |
scrapy.cfg：基础设置
items.py：抓取条目的结构定义
middlewares.py：中间件定义，此例中无需改动
pipelines.py：管道定义，用于抓取数据后的处理
settings.py：全局设置
spiders\photo.py：爬虫主体，定义如何抓取需要的数据
三、主要代码
items.py 中创建一个TuchongItem类并定义需要的属性，属性继承自 scrapy.Field
值可以是字符、数字或者列表或字典等等：
| import scrapy
class TuchongItem(scrapy.Item):
post_id = scrapy.Field()
site_id = scrapy.Field()
title = scrapy.Field()
type = scrapy.Field()
url = scrapy.Field()
image_count = scrapy.Field()
images = scrapy.Field()
tags = scrapy.Field()
excerpt = scrapy.Field()
... |
这些属性的值将在爬虫主体中赋予。
spiders\photo.py 这个文件是通过命令 scrapy genspider photo
tuchong.com 自动创建的，里面的初始内容如下：
| import scrapy
class PhotoSpider(scrapy.Spider):
name = 'photo'
allowed_domains = ['tuchong.com']
start_urls = ['http://tuchong.com/']
def parse(self, response):
pass |
爬虫名 name，允许的域名 allowed_domains（如果链接不属于此域名将丢弃，允许多个）
，起始地址 start_urls 将从这里定义的地址抓取（允许多个）
函数 parse 是处理请求内容的默认回调函数，参数 response 为请求内容，页面内容文本保存在
response.body 中，我们需要对默认代码稍加修改，让其满足多页面循环发送请求，这需要重载
start_requests 函数，通过循环语句构建多页的链接请求，修改后代码如下：
import scrapy,
json
from ..items import TuchongItem
class PhotoSpider(scrapy.Spider):
name = 'photo'
# allowed_domains = ['tuchong.com']
# start_urls = ['http://tuchong.com/']
def start_requests(self):
url = 'https://tuchong.com/rest/tags/%s/posts?page=%d&count=20&order=weekly';
# 抓取10个页面，每页20个图集
# 指定 parse 作为回调函数并返回 Requests 请求对象
for page in range(1, 11):
yield scrapy.Request(url=url % ('美女', page),
callback=self.parse)
# 回调函数，处理抓取内容填充 TuchongItem 属性
def parse(self, response):
body = json.loads(response.body_as_unicode())
items = []
for post in body['postList']:
item = TuchongItem()
item['type'] = post['type']
item['post_id'] = post['post_id']
item['site_id'] = post['site_id']
item['title'] = post['title']
item['url'] = post['url']
item['excerpt'] = post['excerpt']
item['image_count'] = int(post['image_count'])
item['images'] = {}
# 将 images 处理成 {img_id: img_url} 对象数组
for img in post.get('images', ''):
img_id = img['img_id']
url = 'https://photo.tuchong.com/%s/f/%s.jpg'
% (item['site_id'], img_id)
item['images'][img_id] = url
item['tags'] = []
# 将 tags 处理成 tag_name 数组
for tag in post.get('tags', ''):
item['tags'].append(tag['tag_name'])
items.append(item)
return items |
经过这些步骤，抓取的数据将被保存在 TuchongItem 类中，作为结构化的数据便于处理及保存。
前面说过，并不是所有抓取的条目都需要，例如本例中我们只需要 type="multi_photo
类型的图集，并且图片太少的也不需要，这些抓取条目的筛选操作以及如何保存需要在pipelines.py中处理，该文件中默认已创建类
TuchongPipeline 并重载了 process_item 函数，通过修改该函数只返回那些符合条件的
item，代码如下：
...
def process_item(self, item, spider):
# 不符合条件触发 scrapy.exceptions.DropItem 异常，符合条件的输出地址
if int(item['image_count']) < 3:
raise DropItem("美女太少: " + item['url'])
elif item['type'] != 'multi-photo':
raise DropItem("格式不对: " + + item['url'])
else:
print(item['url'])
return item
... |
当然如果不用管道直接在 parse 中处理也是一样的，只不过这样结构更清晰一些，而且还有功能更多的FilePipelines和ImagePipelines可供使用，process_item将在每一个条目抓取后触发，同时还有
open_spider 及 close_spider 函数可以重载，用于处理爬虫打开及关闭时的动作。
注意：管道需要在项目中注册才能使用，在 settings.py 中添加：
ITEM_PIPELINES = {
'tuchong.pipelines.TuchongPipeline': 300, # 管道名称:
运行优先级(数字小优先)
}
另外，大多数网站都有反爬虫的 Robots.txt 排除协议，设置 ROBOTSTXT_OBEY =
True 可以忽略这些协议，是的，这好像只是个君子协定。如果网站设置了浏览器User Agent或者IP地址检测来反爬虫，那就需要更高级的Scrapy功能，本文不做讲解。
四、运行
返回 cmder 命令行进入项目目录，输入命令：
终端会输出所有的爬行结果及调试信息，并在最后列出爬虫运行的统计信息，例如：
[scrapy.statscollectors]
INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 491,
'downloader/request_count': 2,
'downloader/request_method_count/GET': 2,
'downloader/response_bytes': 10224,
'downloader/response_count': 2,
'downloader/response_status_count/200': 2,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2017, 11, 27,
7, 20, 24, 414201),
'item_dropped_count': 5,
'item_dropped_reasons_count/DropItem': 5,
'item_scraped_count': 15,
'log_count/DEBUG': 18,
'log_count/INFO': 8,
'log_count/WARNING': 5,
'response_received_count': 2,
'scheduler/dequeued': 1,
'scheduler/dequeued/memory': 1,
'scheduler/enqueued': 1,
'scheduler/enqueued/memory': 1,
'start_time': datetime.datetime(2017, 11, 27,
7, 20, 23, 867300)} |
主要关注ERROR及WARNING两项，这里的 Warning 其实是不符合条件而触发的 DropItem
异常。
五、保存结果
大多数情况下都需要对抓取的结果进行保存，默认情况下 item.py 中定义的属性可以保存到文件中，只需要命令行加参数
-o {filename} 即可：
scrapy crawl
photo -o output.json # 输出为JSON文件
scrapy crawl photo -o output.csv # 输出为CSV文件 |
注意：输出至文件中的项目是未经过 TuchongPipeline 筛选的项目，只要在 parse 函数中返回的
Item 都会输出，因此也可以在 parse 中过滤只返回需要的项目
如果需要保存至数据库，则需要添加额外代码处理，比如可以在 pipelines.py 中 process_item
后添加:
...
def process_item(self, item, spider):
...
else:
print(item['url'])
self.myblog.add_post(item) # myblog 是一个数据库类，用于处理数据库操作
return item
... |
为了在插入数据库操作中排除重复的内容，可以使用 item['post_id'] 进行判断，如果存在则跳过。
本项目中的抓取内容只涉及了文本及图片链接，并未下载图片文件，如需下载图片，可以通过两种方式：
安装 Requests 模块，在 process_item 函数中下载图片内容，同时在保存数据库时替换为本地图片路径。
使用 ImagePipelines 管道下载图片，具体使用方法下回讲解。
基于 Python 的 Scrapy 爬虫入门：图片处理
上文中讲解了如何从网站页面抓取所需要的数据，很幸运范例中所需的数据是通过 Ajax 请求返回的
JSON 结构化数据，处理起来很简单，图片内容也只取了一个链接，对于我最初的目标“把这些图集添加到自己的博客站点中”这已经够了，说白了就是“盗链”嘛，如果有一天网站做了防盗链措施，那这些抄来的图集就都作废了，保险的方法就是把图片也下载到本地，再把图片链接替换为本地图片。
下载图片
下载图片有两种方式，一种是通过 Requests 模块发送 get 请求下载，另一种是使用 Scrapy
的 ImagesPipeline 图片管道类，这里主要讲后者。
安装 Scrapy 时并没有安装图像处理依赖包 Pillow，需手动安装否则运行爬虫出错。
首先在 settings.py 中设置图片的存储路径：
图片处理相关的选项还有：
# 图片最小高度和宽度设置，可以过滤太小的图片
IMAGES_MIN_HEIGHT = 110
IMAGES_MIN_WIDTH = 110
# 生成缩略图选项
IMAGES_THUMBS = {
'small': (50, 50),
'big': (270, 270),
} |
更多选项请参考：https://doc.scrapy.org/en/lat...
之前已经存在提取内容的 TuchongPipeline 类，如果使用 ImagePipeline 可以将提取内容的操作都合并过来，但是为了更好的说明图片管道的作用，我们再单独创建一个
ImagePipeline 类，加到 pipelines.py 文件中，同时重载函数 get_media_requests：
class PhotoGalleryPipeline(object):
...
class PhotoPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for (id, url) in item['images'].items():
yield scrapy.Request(url) |
上篇文章中我们把图片的URL保存在了 item['images'] 中，它是一个字典类型的数组，形如：[{img_id:
img_url}, ...]，此函数中需要把 img_url 取出并构建为 scrapy.Request
请求对象并返回，每一个请求都将触发一次下载图片的操作。
到 settings.py 中注册 PhotoPipeline，并把优先级设的比提取内容的管道要高一些，保证图片下载优先于内容处理，目的是如果有图片下载未成功，通过触发
DropItem 异常可以中断这一个 Item 的处理，防止不完整的数据进入下一管道：
ITEM_PIPELINES
= {
'Toutiao.pipelines.PhotoGalleryPipeline': 300,
'Toutiao.pipelines.PhotoPipeline': 200,
} |
执行爬虫 scrapy crawl photo ，如无错误，在设定的存储目录中会出现一个 full
目录，里面是下载后的图片。
文件名处理
下载的文件名是以图片URL通过 sha1 编码得到的字符，类似 0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg
不是太友好，可以通过重载 file_path 函数自定义文件名，比如可以这样保留原文件名：
...
def file_path(self, request, response=None, info=None):
file_name = request.url.split('/')[-1]
return 'full/%s' % (file_name)
... |
上面这样处理难免会有重名的文件被覆盖，但参数 request 中没有过多的信息，不便于对图片分类，因此可以改为重载
item_completed 函数，在下载完成后对图片进行分类操作。
函数 item_completed 的定义：
| def item_completed(self,
results, item, info) |
参数中包含 item ，有我们抓取的所有信息，参数 results 为下载图片的结果数组，包含下载后的路径以及是否成功下载，内容如下：
[(True,
{'checksum': '2b00042f7481c7b056c4b410d28f33cf',
'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
'url': 'http://www.example.com/files/product1.pdf'}),
(False,
Failure(...))] |
重载该函数将下载图片转移到分类目录中，同时关联文件路径到 item 中，保持内容与图片为一个整体：
def item_completed(self,
results, item, info):
image_paths = {x['url'].split('/')[-1]: x['path']
for ok, x in results if ok}
if not image_paths:
# 下载失败忽略该 Item 的后续处理
raise DropItem("Item contains no files")
else:
# 将图片转移至以 post_id 为名的子目录中
for (dest, src) in image_paths.items():
dir = settings.IMAGES_STORE
newdir = dir + os.path.dirname(src) + '/' + item['post_id']
+ '/'
if not os.path.exists(newdir):
os.makedirs(newdir)
os.rename(dir + src, newdir + dest)
# 将保存路径保存于 item 中（image_paths 需要在 items.py 中定义）
item['image_paths'] = image_paths
return item |
接下来在原 TuchongPipeline 类中写入数据库的操作中，通过 item['image_paths']
路径信息写入本地图片链接。
除了 ImagesPipeline 处理图片外，还有 FilesPipeline 可以处理文件，使用方法与图片类似，事实上
ImagesPipeline 是 FilesPipeline 的子类，因为图片也是文件的一种。 |
