百度发布《移动搜索建站优化白皮书》：网站优化篇

在上一篇内容中，百度白皮主要(yao)阐述了移动站点建设的发布大致流程，包括：域名选择、移动优化服务器选择、搜索书网网站安全等方面。建站本文主要是站优《百度移动搜索建站优化白皮书》中“网站优化”方面的相关(guan)内容。

以下为内(nei)容详情：

3 网站优化

3.1 抓取友好性

关于抓取的化篇优先级，在此重点强(qiang)调：

√ 网站更新频率：经常更新高价值的百(bai)度白皮站点，优先(xian)抓取

√ 受欢迎程度：用户体验好的发布站点，优先抓取

√ 优质入口：优质站点内(nei)链接，移动优化优先抓取

√ 历史(shi)的搜索书网抓取效果越好，越优先抓取

√ 服务器稳定，建(jian)站优先抓取

√ 安全记录优质的站优网站，优先抓取

顺畅稳定的化篇抓取是网站获得搜索用户、搜索流量的百度白皮重要(yao)前提，影(ying)响(xiang)抓取的关键因素，站长可以通过本章节了解。

网站的(de)URL如何设置，可参考2.3. 1 中(zhong)的URL设置规范

3.1.1.1 参数

URL中的参数放置，需遵循两个要(yao)点：

√ 参数不能太复杂

√ 不要用(yong)无效参数，无效参数会导致页面识别问题，页面(mian)内容最(zui)终无法在搜索展示

另外，很多站长利用(yong)参数(对搜索引擎和页面内容而言参数无效)统计站点访问行为，这里强(qiang)调下(xia)，尽量不要出现这种形式(shi)资源，例如：

或(huo)者(zhe)：

3.1.2.1 百度蜘蛛

很(hen)多站长会咨询如何判断百度移动(dong)蜘蛛，这(zhe)里推荐一种方法：只需(xu)两(liang)步，正确识别百度蜘蛛

查看UA

如果UA都不对，可以直接判断非百度搜索的蜘蛛，目前对外公布过的UA是：

移动UA 1：

移动UA 2：

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1

(compatible; Baiduspider-render/2.0; +)

Mozilla/5.0 (compatible; Baiduspider/2.0;+)

Mozilla/5.0(compatible;Baiduspider-render/2.0;+ spider.html)

反查IP

站长可(ke)以通过DNS反查IP的方式判断某只蜘蛛是否来自百度搜索引擎。根据平台不同验证方法不同，如(ru)Linux/Windows/OS三种平台下的验(yan)证方法分别(bie)如下：

在Linux平台下，可以使用hostip命令反解IP来判断是否来自百(bai)度蜘蛛的抓取。百度蜘蛛的hostname以*.baidu.com格式命名，非*.baidu.com即为冒充。

这里需要在提出一点，建议使用DNS更换为8.8.8. 8 后(hou)进行nslookup反向解析，否则很容易出现无返回或返回错误的问题。

在Windows平(ping)台下，可以使(shi)用nslookup ip命令反解IP来判断是否来自百度蜘蛛的抓取(qu)。打开命令处理器输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP，来判断是否来自百度蜘蛛的抓取，百度蜘蛛的hostname以*.baidu.com格式命名，非*.baidu.com即为(wei)冒充。

在Mac OS平台下，网站可以使用dig命令反解IP来判断是(shi)否来自(zi)百度蜘蛛的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx(IP地址)就能解析IP，来判断是否来自百度蜘蛛的抓取，百度蜘蛛的hostname以*.baidu.com的格式命名(ming)，非*.baidu.com即为(wei)冒充。

3.1.2.2 链接提交

链接提交工具是网站主动向百度搜索推送数据的工具，网站使用链接提交可(ke)缩短爬虫发现网站链接时(shi)间，目前链接提交工具支持四种方式(shi)提交：

√ 主动推送：是最为快速的提交方式，建(jian)议将站点(dian)当天新(xin)产出(chu)链接立即通(tong)过此方式推送给(gei)百度，以保证新链接可以及(ji)时被百度抓取。

√ Sitemap：网站可定期将网站链接放到Sitemap中，然后将Sitemap提交给百(bai)度。百度会周期性的抓取检查提(ti)交的(de)Sitemap，对其中的链接进行处理，但抓取速度慢于主动推送。

√ 手工提交：如果不想通过程(cheng)序提交(jiao)，那么(me)可以采用此种方式，手动将链接提交给百度。

√ 自动推送：是轻量(liang)级链接(jie)提交组件(jian)，将自动推送的JS代码放(fang)置在站点每一个页面源代码中，当页面被(bei)访问时，页面链接会自动推送给百度，有利于新页面更快被百(bai)度发现。

关于移动页面的访问速度，百度搜索资源平台已于 2017 年 10 月推出过闪电算(suan)法，针对页面首页的打(da)开速度给予策略支持。闪电算法中指出(chu)，移动搜索页面首屏加载时(shi)间将影响搜索排名。移动网页首屏加载时(shi)间(jian)在 2 秒之内(nei)的，在移动搜索下将获得提升页面评价优待，获得流量倾斜;同时，在移动搜索页面首屏加载非常慢( 3 秒及以上)的网页将会被打压。

对于页面访问(wen)速度的提速，这(zhe)里也给到几点建议：

资源加载：

√ 将同类型资源在服务器端压缩合并，减少网络请求次数和资源体积。

√ 引用通用资源，充分利用浏览器缓存。

√ 非首屏图片类加载，将网络带宽留给首屏请求。

页面渲染：

√ 将JavaScript放(fang)到文档末尾，或使用异步方式加载，避免JS执行阻塞渲染。

√ 对非文字元素(如图片，视频)指(zhi)定宽高，避免浏览器重排重绘。

了解MIP-移动网页加速器可参考：《如何用MIP快速搭建体验友好的移动页面(mian)》

3.1.3.2 返回码

HTTP状(zhuang)态码是用以表示网页服务器HTTP响应状态的(de) 3 位数字代码。各位站长在平时维护网站过程中(zhong)，可能会在站长(chang)工具后台抓取异常里面或者服务器日(ri)志里看到各种各样的响应状态码，有些甚至会影(ying)响网站的SEO效果，例如(ru)重点强调网页 404 设置，百(bai)度搜索资源平台(原百度站长平(ping)台)中(zhong)部分工具如死链提交(jiao)，需要网站把内容死链后进(jin)行提交，这里要(yao)求设置必须是404。

下面为大家整理了一些(xie)常(chang)见的HTTP状态码：

301：(永久移动)请求的网页已被永久移动到新位置。服务器返回此响应(作为对GET或HEAD请求的响应)时，会自动将请求者(zhe)转到新位(wei)置。

这里强调 301 与(yu) 302 的区别：

301/ 302 的关键区别在于：这个资源是否存在/有效

301 指资(zi)源还在，只是换了一个位置，返回的是(shi)新位置的内容。

302 指资源暂时失效，返回的是一个临时的代替页(例如镜像资源、首页、 404 页面)上。注意(yi)如果永久失效应当使用404。

有时站长(chang)认为百度对 302 不友好，可能是误用了(le) 302 处理仍然有效的资源。

400：(错误请求)服务器不理解请求的语法。

403：(已(yi)禁止)服务器已经理解请求，但是拒绝执行它。

404：(未找到)服务(wu)器找不到请求的网页。

这里(li)不得不(bu)提的一点，很多站长想自定义 404 页面，需要做到确保蜘蛛访问时返回状态码为404，若因为(wei) 404 页面跳转时设置不当(dang)，返回了 200 状态码，则容易被搜索引擎认为网站上(shang)出现(xian)了大量重复(fu)页面，从而对网站评价造(zao)成影响。

500：(服务器(qi)内部错误)服务器遇到错误，无法完(wan)成请求。

503：(服务不可用)目前无法使用(yong)服务器(由于超载或进行停机维护)。通常，这(zhe)只是一种暂时的状态。

504：(网关超时)服务器作为网关或代理，未及时从上(shang)游服务器接收请求。

3.1.3.3 robots

robots工具的详细工具使用说明，细节参考4.3.4robots工具(ju)章节，关于robots的使用，仅强调以下两(liang)点：

√ 百度蜘蛛目前在(zai)robots里(li)是不支持中文的，故网站robots文件编写不建议使用中文字符

√ robots文件支持UrlEncode编码这种写法，如

什么(me)是死链及死链的标准

√ 协议死链：页面的TCP协议状态/HTTP协议状(zhuang)态明确表示的死链，常见(jian)的如404、403、 503 状态等。

√ 内容死链：服务器返回状态是正(zheng)常的，但内容已经变(bian)更为(wei)不存在、已删除或需要权限等与(yu)原内容无关的信息页面。

√ 跳转死链：指页面内容已经失效，跳转到报错页，首页等行为。

3.1.4 访问(wen)稳定性

访问稳定性主要有以下几个注意(yi)点：

DNS解析

DNS是域名解析服务器，关于DNS，这里建议中文(wen)网站尽可能使用国内大型服务商提(ti)供的DNS服务，以保证站点的稳定(ding)解(jie)析。

分享一个DNS稳定(ding)性(xing)的示例：

搜索资源平(ping)台曾收到多个站长反馈，称网站从百度网页搜索消失，site发现网站数据为(wei)0。

经追查发现这些网站都使(shi)用国外某品牌的DNS服务器(qi) *.DOMAINCONTROL.COM，此系列DNS服务器存在(zai)稳定性问(wen)题，百度蜘蛛经常解析不到IP，在百度蜘蛛看来，网站是死站点。此前(qian)也(ye)发现(xian)过多起小DNS服务(wu)商屏蔽百度蜘蛛解(jie)析请求或者国外DNS服务器不稳定的案例。因此这里建议网站，谨慎选择DNS服务。

蜘蛛封禁

针对爬虫的封禁会导致爬虫认为网站不可正常访问，进而采取对应的措施。爬虫封禁其实分(fen)两种，一种就是传(chuan)统的robots封禁，另一种是需要技术人员配合的IP封禁和UA封禁;而绝大多数(shu)情况下的封禁都是一些操作不当导致的误封禁，然后在搜索引擎上的反应就(jiu)是爬虫不能正常(chang)访问。所(suo)以针对爬虫封禁的操作一定要慎重，即使(shi)因为访问压力问题要临时(shi)封禁，也要尽快做恢复处理。

服务器负载

抛开(kai)服务器硬件问题(不可避免)，绝大多数引起服务器负载过高的情况是软件(jian)程序引起的，如程序有内存泄露，程序出(chu)core，不合理混布服务(其(qi)中一个服务消耗服务器资源过大引起服务器负载增大，影响了服务(wu)器对爬虫访问(wen)请求的响应。)对于(yu)提供服务的机器一定要注意服务器的负载(zai)，留足够的buffer保证服务器具有一定的抗压能力。

其他人为因素

人为操作不当引起访问异常的情况是经常(chang)见到的，针对这种情况需要严格的(de)制度约束，不同站点情况不一样(yang)。需要保证每一次的升级或者操作要准确无误。

3.1.5 可访问链接总量

3.1.5.1 资源可穷尽

一般来说网站的内容页面是可穷尽的(de)，万级别，百万级别甚至(zhi)亿级别，但一定是可穷尽的。而现实中确实存在这样一些网站，爬虫针对这些网站进行抓取提链时会陷入"链接黑洞";通俗的讲就是网站给爬虫呈现(xian)的链接不可穷尽;典型的是部分网站的搜索结果页，不(bu)同的query在(zai)不同anchor下的(de)a标签链接不一样就(jiu)导致了"链接(jie)黑洞"的产生，所以严禁URL的生成跟用户的访问(wen)行为或者搜索词等因素绑定。

页面解析，主要指网站页面被蜘蛛抓取，会对(dui)页面进行分析识别(bie)，称之为页面解析。页面解析对网站至关重要，网站内容被抓取是网站被发现的第一步，而页面解析，则是网站内容被识别出来的重要一环，页面解析效果直(zhi)接影响搜索引擎对网站的评价。

3.2.1.1 页面标题

关于网页标题，百度搜索于 2017 年 9 月推出(chu)清风算(suan)法，重点打击网站标(biao)题作弊，引导用户点击，损害用(yong)户体验的行为;清风算法重点打击的标题作弊情况(kuang)有以下两种：

√ 文不对(dui)题，网站标(biao)题与正文有(you)明显不符合，误导搜索用户点(dian)击，对搜索用户造(zao)成伤害

√ 大量(liang)堆砌，网站标题中出现大量堆砌关键词的情况也十分不提(ti)倡

关于网站标题作弊的详细解读，参(can)考搜索学院发(fa)布官方文档《百度搜索内容质(zhi)量白皮书——网页标题作弊详解》

关于网站TDK，有以下(xia)几种情况需(xu)要注意：("T"代表页头中的title元素，"D"代(dai)表页头中的description元素，"K"代(dai)表页头(tou)中的keywords元素，简单指网站的标(biao)题、描述和摘要)

√ 站长会发现同一条链接的摘要在不同关键词下是变化的，可能不会完全符合站长预期，尤其(qi)是站长在检索框进行site语法操作时(shi)，可能(neng)会感觉摘要都(dou)比较差。但请不(bu)要担心，毕竟绝大多数普通网民不会这样操作。在此情况下出现不符合预期(qi)的(de)摘要并不(bu)代表站点被惩罚。

√ 还有一种情(qing)况，是网页中的HTML代码有误，导致百度无法解析出摘要，所以(yi)有时大家会(hui)看(kan)到某些结果的(de)摘要是乱码(当然这(zhe)种(zhong)情(qing)况很(hen)少见)，所以也请站长注意代码规范。

3.2.1.2 主体内容

以下分析两个示例：

关于主体内容过长的示例分析：

页面质量很好(hao)，还特意针对爬虫做了优化，为什么内(nei)容反(fan)而无法出现在百度搜索中

这样的情况(kuang)给到以下建议：

关于内容(rong)空短的(de)示(shi)例分析：

而(er)且当蜘蛛对一个网站抓取(qu)后发现大面积都是低值的空短页面时，爬虫会认为这个站点的整体价值比较(jiao)低，那么在后面的抓取流量分布上会降低，导致针对该站点的页面更新会比(bi)较(jiao)慢，进而(er)抓取(qu)甚至(zhi)建(jian)索引库也会比较慢。

这里再次强调，不要让爬虫给站点画上不(bu)优质的标(biao)签，对网站将产生很(hen)不好的影响(xiang)。另外，移动端的(de)H5 页面(mian)，很(hen)多都是(shi)采用JS方式加载(zai)，其实是更容易产生空短，请各位站长注意。

3.2.1.3 网页发布时间

√ 网页内容(rong)尽可能加上产出(chu)时间，严格说是内(nei)容发布时间(jian);且时间尽量(liang)全，时间格式为年-月-日(ri) 时:分:秒

例：2017-08-12 10:23:06

√ 网页上切忌乱加时间，这(zhe)样容易造成页面(mian)时间提取问题，或搜索引擎判断提取时间(jian)不(bu)可信，从而降低对网页的展现

3.2.1.4 canonical标签

canonical标签的目的

在PC互联网时代，canonical标签的作用主要是用来解决由于网址形式不同内容相同而造成的内(nei)容重复问题。而在移动时代，canonical标(biao)签被百度搜索赋予了更多的意义，在原来的作用基础上(shang)，又起到了相(xiang)同内容的移动页和PC页之间的关联作(zuo)用;让移动资源更容易继承PC资源的各种特征，从而快速生效移动网页数据。

canonical标签如何设置

在HTML代码的head里添加rel="canonical",不能添加多(duo)个，否则搜索引擎会认(ren)为(wei)是无效的canonical标签。另外需要注意href里的地址不能是死链，错误页或者被(bei)robots封禁的页面。

具体示例如下：

3.2.2 落地页体验

为提升移动搜索整体用户体验，提升搜索满意度，百度搜索在 2017 年推出《百度移动搜索落地页体验白皮书——广(guang)告篇2.0》(以下简称广告白皮书)。广告白皮书对网站移动落地页页面广告内容、广告位置、大(da)小等做了明确要求，从而(er)充分保证搜索用户的浏览体验(yan)。

白皮书详情，请参考《百度移动(dong)搜索落地页体(ti)验白皮书——广告篇2.0》

3.3 页面价值

3.3.1 内容价值

原创文章，要(yao)求是独立完成的创作，且没有歪曲、篡改他人创作或者抄袭、剽窃他人创作而产生的作品，对于改编、注释、整(zheng)理他人已(yi)有创作而产生的作品要(yao)求有充分的点(dian)评、补充等增益信息。

建议原创文章在(zai)标题(ti)下方明确注明“来源：xxxx(本站站点名)”或“本站原创”之类(lei)字样，转载文章明确(que)注明“来源：xxxx(转载来源站点名(ming))”之类(lei)字样，不建议使用“admin”、“webmaster”、“佚名”等模糊的说法。

3.3.2 外链建设

通常认为，外链是本站点对第三方站点页面的链接指向，是本站点对第三方站点页面内容的一种认可和推荐。

站点进行外链建设时，建议是有真实推荐意图，并且指向那些熟悉的、被认可(ke)的、内容相(xiang)关(guan)的外部页面;不建议推荐与本站点页面内容无关(guan)的外链内容。也不建(jian)议乱推荐外链、交换外链互联、指向作弊站的行为(这些很可(ke)能被超链策略反向识别成垃圾作弊站点进行打压)。

最后，站长要及时发现和处理站点被(bei)黑的页面。页面被(bei)黑掉后，一般会被人为放入大量(liang)无关(guan)的，甚至作弊的外链在该页面上，其目的是要瓜分站点自身权重，并以此来提高外链目标站点(dian)影响力。建议站长发现(xian)后，及时向搜索资源平台(原站长平台)提交死链进(jin)行删除和屏蔽，不及时处理(li)一定程度上会影响站点本身的权重。最好从技术上优化，提高站点安全(quan)壁垒，防范于未然。

3.3.3 内链建设

内链，描述了站点的结构，一般起到页面内容组织(zhi)和站内引导的作(zuo)用;内(nei)链的重要意思是通过链接指向，告诉搜索引擎哪个页面最为重要。

内链组织的(de)时候，建议结构清晰，不要过于冗杂，另外内链组织(zhi)的版式(shi)建议保持一致，这样(yang)对搜索引擎超链分析比较友好。

3.3.4 anchor

anchor描述：尽可能使(shi)用典型的，有真实意义的anchor。anchor描述要(yao)与超链接的页面内容大致相符，避免高频无意义anchor的使用，另外同一个URL的anchor描述种类不宜过(guo)多，anchor分布(bu)越稀疏会(hui)影(ying)响搜索排名。

3.1.3.4 死链

当网站死链数据累积过(guo)多，并且被展示到搜索结果页中，对网站本身的访问体验和用户转化都起到了负面影响。另一方面，百度检查死链的流程也会为网站带来额外负担，影响网站其他正常页面的抓取和索引。

百度搜索资源平台推出死链提交工具，帮助网站提交死链数据。