您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 订阅
  捐助
基于 Python 的 Scrapy 爬虫入门
 
   次浏览      
 2017-12-8  
 
编辑推荐:
本文来自于segmentfault.com,主要从3个方面介绍,从环境搭建、如何从页面抓取数据以及图片处理,系统的带大家入门。

基于 Python 的 Scrapy 爬虫入门:环境搭建

作为一个全栈工程师(:-) HoHo),前端后台都懂点是必须的,但是Python 很菜,Scrapy 更菜,没错,这就是 Full Stack Developer 的特点,什么都懂点,什么都不精,我们的特点就是上手快,忘得也很快,不过配合强大的搜索引擎,写些小东西出来是不成问题的!

言归正传,最近想用爬虫抓取一些内容来充实自己的博客,以前用过 phpspider,基本能满足要求,但是不够强大,所以选用 Scrapy,顺便回忆一下快忘光的 Python,谁让它这么火呢。

一、基础环境

由于不是职业的Web开发者,因此环境是基于Windows的。

1. Python 安装

到 python.org 下载最新版 Python 安装包,我使用的是3.6.3 32位版本,注意如果安装了64位版本,以后所使用的包也都需要64位。安装程序默认安装pip包管理工具,并设置了相关环境变量:添加 %Python% 及 %Python%\Scripts 到 PATH 中(%Python%是你的安装目录),你运行的 Python 程序或脚本都在 Scripts 中,包都安装在 Lib\site-packages 中。

2. 配置 pip 国内镜像源

Python之所以强大正是因为各种功能齐全的开发包,由于众所周知的原因 pip下载模块速度很慢,因此为了保证pip下载顺利,建议替换成国内的安装源镜像:

创建文件 %HOMEPATH%\pip\pip.ini,内容如下:

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

上面这个是清华大学的镜像,另外附上其他几个好用的,据说每30分钟同步官网

阿里云:http://mirrors.aliyun.com/pypi/simple/
豆瓣网:http://pypi.doubanio.com/simple/
科技大学:http://mirrors.ustc.edu.cn/pypi/web/simple/

如果不嫌麻烦的话也可以每次安装时指定:

pip -i http://pypi.douban.com/simple install Flask

3. 换一个趁手的命令行

由于Python中经常要用到命令行工具,但Windows自带的cmd或PowerShell逼格太低,换个字体还得折腾大半天,因此有必要换一个好用的,推荐cmder mini版:https://github.com/cmderdev/c...,Python输出的调试信息可以根据颜色区分,不用像cmd那样找半天了。

4. 安装基础包

virtualenv

基本上Python每个项目都会用到大量的模块,比如本文中的Scrapy爬虫,pip install scrapy后除了Scrapy本身外,还会下载数十个依赖包,如果经常用Python做各种开发,site-packages会越来越庞大,可能有些包只在一个项目中用到,或者删除包后依赖包并没有被删除,总之不太好管理,作为强迫症患者是决不能忍受的。

好在有一个工具 virtualenv 可以方便管理 Python 的环境,它可以创建一个隔离的Python虚拟开发环境,使用它你可以同时安装多个Python版本,方便同时多个项目的开发,每个项目之间的包安装与使用都是独立的,互不干扰,通过命令可以随时切换各个虚拟环境,如果不再使用,把整个虚拟环境删除即可同时删除其中所有的模块包,保持全局环境的干净。

为了便于使用,我选择安装virtualenvwrapper-win模块,它依赖于virtualenv,包含Windows下面易于使用的批处理脚本,其实只是调用了 virtualenv 功能而已:

pip install virtualenvwrapper-win

virtualenvwrapper 常用命令:

workon: 列出虚拟环境列表

lsvirtualenv: 同上

mkvirtualenv: 新建虚拟环境

workon [虚拟环境名称]: 切换虚拟环境

rmvirtualenv: 删除虚拟环境

deactivate: 离开虚拟环境

wheel

wheel 是python中的解包和打包工具,因此有必要安装到全局环境中,有些模块使用pip安装总是失败,可以尝试先下载whl文件,再使用wheel本地安装的方式安装。

pip install wheel

pypiwin32

既然在Windows下开发,win32api也是必不可少的包,因此也装到全局环境中,下次新建虚拟项目环境用到时就不必每次再下载一次了。

当然,以上2,3,4其实都不是必须的,但是建好基本环境有利于以后的开发少兜圈子。

二、Scrapy 安装

打开cmder命令行工具

创建Scrapy虚拟环境: mkvirtualenv Scrapy,默认情况下会创建%HOMEPATH%\Envs目录,所有的虚拟环境都会产生一个子目录保存在此,里面包含Python基本程序文件以及pip,wheel,setuptools库文件。如果想修改Envs默认路径,在Windows中可添加一个 %WORKON_HOME% 环境变量指定新的目录。

切换到Scrapy环境:workon scrapy ,执行后在命令行提示符前面会多出 (Scrapy) 字符,表示当前处于Scrapy虚拟环境中,同时添加了当前环境中的相关路径在系统 %PATH% 搜索路径中。

安装Scrapy包:pip install scrapy,自己好几次都遇到Twisted模块安装失败的问题,貌似是编译失败,缺少Microsoft Visual C++ 14.0导致:

我没有按要求安装Microsoft Visual C++ 14.0编译工具,而是下载whl文件本地安装完成对,此时wheel便派上了用场,到 https://www.lfd.uci.edu/~gohl... 下载twisted的whl文件(注意对应Python版本)

再使用 pip install Twisted?17.9.0?cp36?cp36m?win32.whl 来进行安装,本地安装twisted成功,由于之前被错误中断,建议再执行一次 pip install scrapy 防止有依赖包没有安装到。

注意:Windows平台需要额外安装 pypiwin32 模块,否则在Scrapy执行爬虫时会报错:

ModuleNotFoundError: No module named 'win32api'

至此 Scrapy 环境搭建完成,所有的模块存放在 %HOMEPATH%\Envs\Scrapy 中,如果不再使用,只需要命令行执行 rmvirtualenv scrapy,整个目录都会被删除,所有依赖模块都会被清理干净。

基于 Python 的 Scrapy 爬虫入门:页面提取

一、内容分析

打开 图虫网,顶部菜单“发现” “标签”里面是对各种图片的分类,点击一个标签,比如“美女”,网页的链接为:https://tuchong.com/tags/美女/,我们以此作为爬虫入口,分析一下该页面:

打开页面后出现一个个的图集,点击图集可全屏浏览图片,向下滚动页面会出现更多的图集,没有页码翻页的设置。Chrome右键“检查元素”打开开发者工具,检查页面源码,内容部分如下:

<div class="content">
<div class="widget-gallery">
<ul class="pagelist-wrapper">
<li class="gallery-item...

可以判断每一个li.gallery-item是一个图集的入口,存放在ul.pagelist-wrapper下,div.widget-gallery是一个容器,如果使用 xpath 选取应该是://div[@class="widget-gallery"]/ul/li,按照一般页面的逻辑,在li.gallery-item下面找到对应的链接地址,再往下深入一层页面抓取图片。

但是如果用类似 Postman 的HTTP调试工具请求该页面,得到的内容是:

<div class="content">
<div class="widget-gallery"></div>
</div>

也就是并没有实际的图集内容,因此可以断定页面使用了Ajax请求,只有在浏览器载入页面时才会请求图集内容并加入div.widget-gallery中,通过开发者工具查看XHR请求地址为:

https://tuchong.com/rest/tags/美女/posts?page=1&count=20&order=weekly&before_timestamp=

参数很简单,page是页码,count是每页图集数量,order是排序,before_timestamp为空,图虫因为是推送内容式的网站,因此before_timestamp应该是一个时间值,不同的时间会显示不同的内容,这里我们把它丢弃,不考虑时间直接从最新的页面向前抓取。

请求结果为JSON格式内容,降低了抓取难度,结果如下:

{
"postList": [
{
"post_id": "15624611",
"type": "multi-photo",
"url": "https://weishexi.tuchong.com/15624611/",
"site_id": "443122",
"author_id": "443122",
"published_at": "2017-10-28 18:01:03",
"excerpt": "10月18日",
"favorites": 4052,
"comments": 353,
"rewardable": true,
"parent_comments": "165",
"rewards": "2",
"views": 52709,
"title": "微风不燥 秋意正好",
"image_count": 15,
"images": [
{
"img_id": 11585752,
"user_id": 443122,
"title": "",
"excerpt": "",
"width": 5016,
"height": 3840
},
{
"img_id": 11585737,
"user_id": 443122,
"title": "",
"excerpt": "",
"width": 3840,
"height": 5760
},
...
],
"title_image": null,
"tags": [
{
"tag_id": 131,
"type": "subject",
"tag_name": "人像",
"event_type": "",
"vote": ""
},
{
"tag_id": 564,
"type": "subject",
"tag_name": "美女",
"event_type": "",
"vote": ""
}
],
"favorite_list_prefix": [],
"reward_list_prefix": [],
"comment_list_prefix": [],
"cover_image_src": "https://photo.tuchong.com/443122/g/11585752.webp",
"is_favorite": false
}
],
"siteList": {...},
"following": false,
"coverUrl": "https://photo.tuchong.com/443122/ft640/11585752.webp",
"tag_name": "美女",
"tag_id": "564",
"url": "https://tuchong.com/tags/%E7%BE%8E%E5%A5%B3/",
"more": true,
"result": "SUCCESS"
}

根据属性名称很容易知道对应的内容含义,这里我们只需关心 postlist 这个属性,它对应的一个数组元素便是一个图集,图集元素中有几项属性我们需要用到:

url:单个图集浏览的页面地址

post_id:图集编号,在网站中应该是唯一的,可以用来判断是否已经抓取过该内容

site_id:作者站点编号 ,构建图片来源链接要用到

title:标题

excerpt:摘要文字

type:图集类型,目前发现两种,一种multi-photo是纯照片,一种text是文字与图片混合的文章式页面,两种内容结构不同,需要不同的抓取方式,本例中只抓取纯照片类型,text类型直接丢弃

tags:图集标签,有多个

image_count:图片数量

images:图片列表,它是一个对象数组,每个对象中包含一个img_id属性需要用到

根据图片浏览页面分析,基本上图片的地址都是这种格式: https://photo.tuchong.com/{site_id}/f/{img_id}.jpg ,很容易通过上面的信息合成。

二、创建项目

进入cmder命令行工具,输入workon scrapy 进入之前建立的虚拟环境,此时命令行提示符前会出现(Scrapy) 标识,标识处于该虚拟环境中,相关的路径都会添加到PATH环境变量中便于开发及使用。

输入 scrapy startproject tuchong 创建项目 tuchong

进入项目主目录,输入 scrapy genspider photo tuchong.com 创建一个爬虫名称叫 photo (不能与项目同名),爬取 tuchong.com 域名(这个需要修改,此处先输个大概地址),的一个项目内可以包含多个爬虫

经过以上步骤,项目自动建立了一些文件及设置,目录结构如下:

(PROJECT)
│ scrapy.cfg

└─tuchong
│ items.py
│ middlewares.py
│ pipelines.py
│ settings.py
│ __init__.py

├─spiders
│ │ photo.py
│ │ __init__.py
│ │
│ └─__pycache__
│ __init__.cpython-36.pyc

└─__pycache__
settings.cpython-36.pyc
__init__.cpython-36.pyc

scrapy.cfg:基础设置

items.py:抓取条目的结构定义

middlewares.py:中间件定义,此例中无需改动

pipelines.py:管道定义,用于抓取数据后的处理

settings.py:全局设置

spiders\photo.py:爬虫主体,定义如何抓取需要的数据

三、主要代码

items.py 中创建一个TuchongItem类并定义需要的属性,属性继承自 scrapy.Field 值可以是字符、数字或者列表或字典等等:

import scrapy

class TuchongItem(scrapy.Item):
post_id = scrapy.Field()
site_id = scrapy.Field()
title = scrapy.Field()
type = scrapy.Field()
url = scrapy.Field()
image_count = scrapy.Field()
images = scrapy.Field()
tags = scrapy.Field()
excerpt = scrapy.Field()
...

这些属性的值将在爬虫主体中赋予。

spiders\photo.py 这个文件是通过命令 scrapy genspider photo tuchong.com 自动创建的,里面的初始内容如下:

import scrapy

class PhotoSpider(scrapy.Spider):
name = 'photo'
allowed_domains = ['tuchong.com']
start_urls = ['http://tuchong.com/']

def parse(self, response):
pass

爬虫名 name,允许的域名 allowed_domains(如果链接不属于此域名将丢弃,允许多个) ,起始地址 start_urls 将从这里定义的地址抓取(允许多个)

函数 parse 是处理请求内容的默认回调函数,参数 response 为请求内容,页面内容文本保存在 response.body 中,我们需要对默认代码稍加修改,让其满足多页面循环发送请求,这需要重载 start_requests 函数,通过循环语句构建多页的链接请求,修改后代码如下:

import scrapy, json
from ..items import TuchongItem

class PhotoSpider(scrapy.Spider):
name = 'photo'
# allowed_domains = ['tuchong.com']
# start_urls = ['http://tuchong.com/']

def start_requests(self):
url = 'https://tuchong.com/rest/tags/%s/posts?page=%d&count=20&order=weekly';
# 抓取10个页面,每页20个图集
# 指定 parse 作为回调函数并返回 Requests 请求对象
for page in range(1, 11):
yield scrapy.Request(url=url % ('美女', page), callback=self.parse)

# 回调函数,处理抓取内容填充 TuchongItem 属性
def parse(self, response):
body = json.loads(response.body_as_unicode())
items = []
for post in body['postList']:
item = TuchongItem()
item['type'] = post['type']
item['post_id'] = post['post_id']
item['site_id'] = post['site_id']
item['title'] = post['title']
item['url'] = post['url']
item['excerpt'] = post['excerpt']
item['image_count'] = int(post['image_count'])
item['images'] = {}
# 将 images 处理成 {img_id: img_url} 对象数组
for img in post.get('images', ''):
img_id = img['img_id']
url = 'https://photo.tuchong.com/%s/f/%s.jpg' % (item['site_id'], img_id)
item['images'][img_id] = url

item['tags'] = []
# 将 tags 处理成 tag_name 数组
for tag in post.get('tags', ''):
item['tags'].append(tag['tag_name'])
items.append(item)
return items

经过这些步骤,抓取的数据将被保存在 TuchongItem 类中,作为结构化的数据便于处理及保存。

前面说过,并不是所有抓取的条目都需要,例如本例中我们只需要 type="multi_photo 类型的图集,并且图片太少的也不需要,这些抓取条目的筛选操作以及如何保存需要在pipelines.py中处理,该文件中默认已创建类 TuchongPipeline 并重载了 process_item 函数,通过修改该函数只返回那些符合条件的 item,代码如下:

...
def process_item(self, item, spider):
# 不符合条件触发 scrapy.exceptions.DropItem 异常,符合条件的输出地址
if int(item['image_count']) < 3:
raise DropItem("美女太少: " + item['url'])
elif item['type'] != 'multi-photo':
raise DropItem("格式不对: " + + item['url'])
else:
print(item['url'])
return item
...

当然如果不用管道直接在 parse 中处理也是一样的,只不过这样结构更清晰一些,而且还有功能更多的FilePipelines和ImagePipelines可供使用,process_item将在每一个条目抓取后触发,同时还有 open_spider 及 close_spider 函数可以重载,用于处理爬虫打开及关闭时的动作。

注意:管道需要在项目中注册才能使用,在 settings.py 中添加:

ITEM_PIPELINES = {

'tuchong.pipelines.TuchongPipeline': 300, # 管道名称: 运行优先级(数字小优先)

}

另外,大多数网站都有反爬虫的 Robots.txt 排除协议,设置 ROBOTSTXT_OBEY = True 可以忽略这些协议,是的,这好像只是个君子协定。如果网站设置了浏览器User Agent或者IP地址检测来反爬虫,那就需要更高级的Scrapy功能,本文不做讲解。

四、运行

返回 cmder 命令行进入项目目录,输入命令:

scrapy crawl photo

终端会输出所有的爬行结果及调试信息,并在最后列出爬虫运行的统计信息,例如:

[scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 491,
'downloader/request_count': 2,
'downloader/request_method_count/GET': 2,
'downloader/response_bytes': 10224,
'downloader/response_count': 2,
'downloader/response_status_count/200': 2,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2017, 11, 27, 7, 20, 24, 414201),
'item_dropped_count': 5,
'item_dropped_reasons_count/DropItem': 5,
'item_scraped_count': 15,
'log_count/DEBUG': 18,
'log_count/INFO': 8,
'log_count/WARNING': 5,
'response_received_count': 2,
'scheduler/dequeued': 1,
'scheduler/dequeued/memory': 1,
'scheduler/enqueued': 1,
'scheduler/enqueued/memory': 1,
'start_time': datetime.datetime(2017, 11, 27, 7, 20, 23, 867300)}

主要关注ERROR及WARNING两项,这里的 Warning 其实是不符合条件而触发的 DropItem 异常。

五、保存结果

大多数情况下都需要对抓取的结果进行保存,默认情况下 item.py 中定义的属性可以保存到文件中,只需要命令行加参数 -o {filename} 即可:

scrapy crawl photo -o output.json # 输出为JSON文件
scrapy crawl photo -o output.csv # 输出为CSV文件

注意:输出至文件中的项目是未经过 TuchongPipeline 筛选的项目,只要在 parse 函数中返回的 Item 都会输出,因此也可以在 parse 中过滤只返回需要的项目

如果需要保存至数据库,则需要添加额外代码处理,比如可以在 pipelines.py 中 process_item 后添加:

...
def process_item(self, item, spider):
...
else:
print(item['url'])
self.myblog.add_post(item) # myblog 是一个数据库类,用于处理数据库操作
return item
...

为了在插入数据库操作中排除重复的内容,可以使用 item['post_id'] 进行判断,如果存在则跳过。

本项目中的抓取内容只涉及了文本及图片链接,并未下载图片文件,如需下载图片,可以通过两种方式:

安装 Requests 模块,在 process_item 函数中下载图片内容,同时在保存数据库时替换为本地图片路径。

使用 ImagePipelines 管道下载图片,具体使用方法下回讲解。

基于 Python 的 Scrapy 爬虫入门:图片处理

上文中讲解了如何从网站页面抓取所需要的数据,很幸运范例中所需的数据是通过 Ajax 请求返回的 JSON 结构化数据,处理起来很简单,图片内容也只取了一个链接,对于我最初的目标“把这些图集添加到自己的博客站点中”这已经够了,说白了就是“盗链”嘛,如果有一天网站做了防盗链措施,那这些抄来的图集就都作废了,保险的方法就是把图片也下载到本地,再把图片链接替换为本地图片。

下载图片

下载图片有两种方式,一种是通过 Requests 模块发送 get 请求下载,另一种是使用 Scrapy 的 ImagesPipeline 图片管道类,这里主要讲后者。

安装 Scrapy 时并没有安装图像处理依赖包 Pillow,需手动安装否则运行爬虫出错。

首先在 settings.py 中设置图片的存储路径:

IMAGES_STORE = 'D:/'

图片处理相关的选项还有:

# 图片最小高度和宽度设置,可以过滤太小的图片
IMAGES_MIN_HEIGHT = 110
IMAGES_MIN_WIDTH = 110

# 生成缩略图选项
IMAGES_THUMBS = {
'small': (50, 50),
'big': (270, 270),
}

更多选项请参考:https://doc.scrapy.org/en/lat...

之前已经存在提取内容的 TuchongPipeline 类,如果使用 ImagePipeline 可以将提取内容的操作都合并过来,但是为了更好的说明图片管道的作用,我们再单独创建一个 ImagePipeline 类,加到 pipelines.py 文件中,同时重载函数 get_media_requests:

class PhotoGalleryPipeline(object):
...

class PhotoPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for (id, url) in item['images'].items():
yield scrapy.Request(url)

上篇文章中我们把图片的URL保存在了 item['images'] 中,它是一个字典类型的数组,形如:[{img_id: img_url}, ...],此函数中需要把 img_url 取出并构建为 scrapy.Request 请求对象并返回,每一个请求都将触发一次下载图片的操作。

到 settings.py 中注册 PhotoPipeline,并把优先级设的比提取内容的管道要高一些,保证图片下载优先于内容处理,目的是如果有图片下载未成功,通过触发 DropItem 异常可以中断这一个 Item 的处理,防止不完整的数据进入下一管道:

ITEM_PIPELINES = {
'Toutiao.pipelines.PhotoGalleryPipeline': 300,
'Toutiao.pipelines.PhotoPipeline': 200,
}

执行爬虫 scrapy crawl photo ,如无错误,在设定的存储目录中会出现一个 full 目录,里面是下载后的图片。

文件名处理

下载的文件名是以图片URL通过 sha1 编码得到的字符,类似 0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg 不是太友好,可以通过重载 file_path 函数自定义文件名,比如可以这样保留原文件名:

...
def file_path(self, request, response=None, info=None):
file_name = request.url.split('/')[-1]
return 'full/%s' % (file_name)
...

上面这样处理难免会有重名的文件被覆盖,但参数 request 中没有过多的信息,不便于对图片分类,因此可以改为重载 item_completed 函数,在下载完成后对图片进行分类操作。

函数 item_completed 的定义:

def item_completed(self, results, item, info)

参数中包含 item ,有我们抓取的所有信息,参数 results 为下载图片的结果数组,包含下载后的路径以及是否成功下载,内容如下:

[(True,
{'checksum': '2b00042f7481c7b056c4b410d28f33cf',
'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
'url': 'http://www.example.com/files/product1.pdf'}),
(False,
Failure(...))]

重载该函数将下载图片转移到分类目录中,同时关联文件路径到 item 中,保持内容与图片为一个整体:

def item_completed(self, results, item, info):
image_paths = {x['url'].split('/')[-1]: x['path'] for ok, x in results if ok}
if not image_paths:
# 下载失败忽略该 Item 的后续处理
raise DropItem("Item contains no files")
else:
# 将图片转移至以 post_id 为名的子目录中
for (dest, src) in image_paths.items():
dir = settings.IMAGES_STORE
newdir = dir + os.path.dirname(src) + '/' + item['post_id'] + '/'
if not os.path.exists(newdir):
os.makedirs(newdir)
os.rename(dir + src, newdir + dest)
# 将保存路径保存于 item 中(image_paths 需要在 items.py 中定义)
item['image_paths'] = image_paths
return item

接下来在原 TuchongPipeline 类中写入数据库的操作中,通过 item['image_paths'] 路径信息写入本地图片链接。

除了 ImagesPipeline 处理图片外,还有 FilesPipeline 可以处理文件,使用方法与图片类似,事实上 ImagesPipeline 是 FilesPipeline 的子类,因为图片也是文件的一种。

   
次浏览       
相关文章

手机软件测试用例设计实践
手机客户端UI测试分析
iPhone消息推送机制实现与探讨
Android手机开发(一)
相关文档

Android_UI官方设计教程
手机开发平台介绍
android拍照及上传功能
Android讲义智能手机开发
相关课程

Android高级移动应用程序
Android系统开发
Android应用开发
手机软件测试