爬虫系列3：scrapy技术进阶（xpath、rules、shell等）

关注

原创最新推荐文章于 2026-07-18 16:19:20 发布 1.3w 阅读 AI 写同款· GEO 优化 ›

Python爬虫基础教程（19）Python Scrapy爬虫框架选择器之XPath选择器：不会XPath还敢说会Scrapy？这篇让爬虫效率翻倍的秘籍请收好！ “为什么我又抓不到数据？！”深夜12点，程序员小张对着屏幕发出了一声哀嚎。这已经是他今晚第17次尝试从糗事百科抓取段子了，但每次返回的都是空列表。他盯着那个层层嵌套的DIV结构，几乎要绝望了。如果你也像小张一样，在Scrapy爬虫的数据提取环节卡住，那么今天我要介绍的XPath选择器，就是你一直在找的利器。阅读详情

本文主要介绍与scrapy应用紧密相关的关键技术，不求很深入，但求能够提取要点。内容包括：

1、xpath选择器：选择页面中想要的内容

2、rules规则：定义爬虫要爬取的域

3、scrapy shell调试：辅助调试工具

4、去重设置：内置的防止重复爬取的工具

5、防屏蔽：通过设置爬取时间间隔防屏蔽

1、xpath选择器

先介绍Selector的概念：它帮助我们从页面中提取想要的内容，比如提取每一页的新闻标题等。scrapy支持的页面内容选择器Selector有如下两种：（1）xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表；（2）css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表。两者都可以达到选择内容的目标，这里我们重点关注xpath的使用方法。

xpath选择器基本语法规则在http://www.w3school.com.cn/xpath/xpath_syntax.asp已经讲得很详细了，这里不再赘述。直接举例：

<titlelang=’test’>abc</title>

<titlelang=’eng’>def</title>

//title[@lang] 选取所有拥有名为 lang 的属性的 title 元素。

//title[@lang='eng'] 选取所有 title 元素，且这些元素拥有值为eng 的 lang 属性。

xpath选择到的内容，还可以通过以下两个函数做进一步的处理：

extract(): 序列化该节点为unicode字符串并返回list。

re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。

tem['id'] =response.xpath('//td[@id="item_id"]/text()').re(r'ID: (\d+)') #提取ID号
item['name'] =response.xpath('//td[@id="item_name"]/text()').extract() #提取文本内容

2、rules规则

在scrapy中，通过定义规则rules就可以实现自动的迭代爬取，甚至爬取全站内容。写rules要特别注意，其中allow是指要导出的url必须符合allow所规定的正则表达式，而不是指从allow的网址中导出url。

# follow = True表示会在返回的url中继续寻找符合条件的url
Rule(LinkExtractor(allow='^https://movie\.douban\.com/subject/\d+/reviews$',restrict_xpaths=('//div[@class="review-more"]/a')),follow = True),
# callback='parse_content'表示导出的页面由parse_content()函数进行处理。
Rule(LinkExtractor(allow='^https://movie\.douban\.com/subject/\d+/reviews.*',restrict_xpaths=('//div[@id="paginator"]/a')),callback='parse_content', follow = True))

3、scrapy shell调试

有个好的调试工具对于提升开发效率是非常必要的，Scrapy shell就是很不错的调试工具。常用的情景是：不确定某些xpath、xcss的写法是否正确，程序运行出现问题时等。命令如下：

#在cmd中输入如下命令：

scrapy shell<url>
scrapy shellhttp://douban.movie.com

4、去重设置

应用爬虫进行多页面爬取时，从两个不同页面可能爬取到同一个页面的url，从而导致重复爬取的情况。Scrapy提供去重过滤器，内置过滤器名为RFPDupeFilter，默认是开启状态。对于过滤器而言，网页请求的指纹（request fingerprint）是一个hash值，唯一指向网页对应的url。例如：

http://www.example.com/query?id=111&cat=222

http://www.example.com/query?cat=222&id=111

这两个url指向的资源是相同的，它们具有相同的response，会被视为重复的url。