SEO搜索引擎工作原理（搜索引擎工作原理分为哪四步）

2.3 搜索引擎工作原理

搜索引擎优化的(de)搜索引索引一个(ge)主要任务(wu)就是提(ti)高网站的搜索引擎友好性(xing)，因此，擎工擎工(gong)搜索引擎优化(hua)的作原作原每个环节都会与搜索引擎工(gong)作流程(cheng)存在必然的(de)联系，研究搜索引擎优化实际上就是理搜理分对搜索引擎工(gong)作过程进行逆向推理。因此，为步学习搜索引擎优化应该从了解搜索引擎的搜索引索引工作原理开始。

搜索引擎的擎工擎工主要工作(zuo)包括：页面抓取、页面分(fen)析、作原作原页面排序及关键字查询。理搜理分

页面抓取：就是为步指搜索引擎通过蜘蛛程序在互联网上抓取页面并进行存储的过程，为搜索引擎开展各项工作提供了数据支持。搜索引索引

页面分析：主要是擎工擎工指对抓取回(hui)来的(de)网页进行信息提取处理，包括提取页面的作原作(zuo)原正文信息，并(bing)对正文(wen)信息进行分词等(deng)，理搜理分(fen)为(wei)后续建立关键字索引及关键字倒排索引提供基础数据。为步

页面排序

：搜索引擎结合页面的内外部因素计(ji)算出页面与某个关键字的相(xiang)关程度，从而得到与该关键(jian)字相关的页面(mian)排序列表。

关键字查询：搜索引擎接收来自用户的查询请求，并对查询信息进行切词及匹配，再向用户返回相应的页面排序列表。

本章接下来将向读者介绍搜索引擎各个主要(yao)工(gong)作的流程、原理及作用，以及(ji)在(zai)对网站进行优化时应(ying)该如何应对。

2.3.1 搜索引擎抓取策略

搜索引擎对网页的抓取实际上就是在互联网上进行数据(ju)采集¹，这是搜索引擎最基础的工作。搜索引擎的数据采集(ji)能力直接决定了(le)搜索引擎可提供的信息量及对(dui)互联网覆盖的范围，从而影响搜索引擎查询结果的质量。因此，搜索引擎总(zong)是想方设法地提高它的数据采集能力。

^{1 搜索引擎利用数据采集程序在互联网上(shang)抓取(qu)数据，我们称这个数据采集程序为(wei)蜘蛛程序或者机器人程序。}

本节首先会介绍搜索引擎抓取页面的流程及(ji)方(fang)式，再介绍搜索引擎对已抓取页面的存储及维护方式。

1.页面抓取流(liu)程

在(zai)互联网中，URL 是每个页面的入口地址，搜索引擎蜘蛛程序就(jiu)是通过 URL 抓取到页面的。搜索引擎蜘蛛程序从原始 URL 列表出发，通过 URL 抓取并(bing)存储原始页面；同时，提取原始页面中的 URL 资源并加入到 URL 列表(biao)中。如此不断地循环，就可以从互联网中获取到足够多的页面，如图 2-1 所示。

图 2-1 搜索引擎抓取页面简单流程

URL 是页面的入口，而域名则是一个网站的入口。搜索引擎蜘蛛程序通(tong)过域名进入网站，从而展开对网站页面的抓取。换言之，搜索引擎要在互联网上抓取到页面(mian)的首要任务就是建立一个足够大的原始域名列表，再通过域名进入相应的网站，从而抓取这个网站中(zhong)的(de)页面。

而对于网站来说，如果想要被搜索引擎收录，首要的条件就是加入搜索引擎的域名列表。下面向大家介绍两种常(chang)用的加入搜索引擎域名列表的方法。

第(di)一，利用搜索引擎提供的网站登录入口，向搜索引擎提交网站的域名。例如，Google 的网站登录地址是(shi)http://www.google.com/addurl/²。对于提(ti)交的域名列表，搜索引擎只会定(ding)期进行更新(xin)。因此，这种做(zuo)法比较被(bei)动，从(cong)域名提交到网站被收录花费的时间也比较(jiao)长。以下是主流中文搜索引擎的网站提交入口。

^{2 在实际中，我们只需要提交网站的首页地址或者(zhe)网站的域名，搜索引擎就会跟踪首页中的链接去抓取其他页面(mian)。}

360：http://info.so.360.cn/site_submit.html。

搜狗：http://www.sogou.com/feedback/urlfeedback.php。

Google：http://www.google.com/addurl/（需要注册使开通站长工具才能(neng)提交）。

第二，通过与外部网站建立链接关系，使(shi)搜索引擎可以通过(guo)外部网站发现我们的网站，从而实现对网站的收录。这种做法(fa)主动权掌握在我们自己的手里（只要我们拥有足够多高质量的链接即可），而且收录速度也比向搜索引擎主动提交要快得多。视乎外部链接的数量、质量及(ji)相关(guan)性，一般情况下，2～7 天左右就(jiu)会被搜索引擎收录。

2.页面(mian)抓取(qu)

通过上面的介绍，相信读者已经掌握了加快网站被搜索引擎收录的(de)方法(fa)。然而，怎样才能提高网站中页面被收录的数量(liang)呢？这就要从了解搜索引擎收录页面的工作原理开始。

如果把网站页面组成的集合看作(zuo)是一个有向图，从指定(ding)的页面出(chu)发，沿着页面中的链接(jie)，按照某种特定的策略对网站中的页面进行(xing)遍历。不停地从 URL 列表中移出已经访问过的 URL，并(bing)存储原始页面，同时提取原始页面中的 URL 信息；再将 URL 分为域名及内部 URL 两大类，同时判断 URL 是否被访问过，将未被访问过的 URL 加入 URL 列表中。递归地扫描 URL 列表，直至耗尽所有 URL 资源为止。经过这些工作，搜索引擎就可以建立庞大的域名列表、页面 URL 列表及存储足够多的原始页面。

3.页面抓取方式

通过以上内容，大家已经(jing)了(le)解了搜索引擎抓取页面的流程及原理。然(ran)而，在(zai)互联网数以亿计(ji)的页面中，搜索引擎怎样才能从(cong)中抓取到更多相对重要的页面呢？这就涉及搜索引擎的页面抓取方式问题。

页面抓取(qu)方式是指搜索引擎抓取页面时(shi)所使用的策(ce)略，目的是为了(le)能在互联网中(zhong)筛选出更多相(xiang)对重要的信息。页面抓取方(fang)式的制定取(qu)决于搜索引擎对网站结(jie)构的理解。如果使用相同的抓取策略，搜索引擎在同样的时间内可以在某一网站中抓取(qu)到更多的页面资源，则会在该网站上停留更长的时间，抓取的页面数自然也就更多。因此，加深对搜索引擎页面(mian)抓取(qu)方(fang)式的(de)认识，有利于为网站建立(li)友好的结构，增(zeng)加页面被抓取的数(shu)量。

常见的搜索引擎抓取页面(mian)的方式主要(yao)有广度优先、深度优先、大站优先、高权重优先、暗网抓取及用户提交等，接(jie)下来将详细介绍这几种页面抓取方式及其优缺点。

广度优先

如果把整个网站看作是一棵树，首页就是(shi)根，每个页面就是叶子。广度优先是一种横向的页面抓取方式(shi)，先从树的较浅层开始抓取页面，直至抓取完同一层次上的所有页面后才进入下一层。因此，在对网站进行优化的时候，我(wo)们应该把网站中相对重要的信息展示在层次较浅的页面上（例如，在首页上推荐一些热门产品或者内容）。因(yin)此，通(tong)过广度优先的抓取(qu)方式，搜索引擎就可以优先抓取到网站中相(xiang)对重要的页面(mian)。

我(wo)们来看(kan)一下广度优先的抓取(qu)流程。首先，搜索引擎从网站的(de)首页出发，抓取首页上所有链接指向的页面，形成页面集合(he)（A），并解析出集合(he)（A）中所有页面的链接；再跟踪这些(xie)链接抓取下一层的页面，形成(cheng)页面集合（B）。就这样递归地从浅层页面中解析出链接，从而抓取深层页面，直(zhi)至(zhi)满足了某个设定(ding)的条件后才停止抓取(qu)进程，如图(tu) 2-2 所(suo)示(shi)。

图 2-2 广度优先抓取流程

深度优先

与广度优先的抓取(qu)方式恰恰相反，深度优先是一种纵向的页面抓取方式，首先跟踪的是浅层页面中的某一个链接，从而逐步抓取深层次页面，直至抓取完最深层次的页面后才返回浅层页面继续向深层页面抓取。使用深度优先的抓取方式，搜索引擎可以抓取到网站中比较隐蔽、冷门的页面，这样才能满足更多用户的需求。

我们来看一下(xia)深度优先的抓取流(liu)程。首先，搜索引擎会(hui)抓取(qu)网站的首页，并提取首页中的链接；再沿着其中的一个链接(jie)抓取到页面 1-1，同时提取其(qi)中的链接；接着(zhe)，沿着(zhe)页面 1-1 中的一个链接 A-1 抓取到页面 2-1，同时提(ti)取其中的链接；再沿着页面 2-1 中的一个链接 B-1 继续抓取更深一层的(de)页面。这样递归地执行，直至(zhi)抓取到网站最深层的页面或者满足了某个设定的条件才转回到首页继续抓取，如图 2-3 所示。

图 2-3 深度优先抓取流程

大站优先(xian)

由于大(da)型(xing)网站比小型(xing)网站更有(you)可能提供更(geng)多更有价值的内容，因此，如果搜索引擎优先抓取大型网站中的网页，那么(me)就可以在更短的时(shi)间内为用户提(ti)供更有价值(zhi)的信息。大站优先，顾名思义就是对互联网中大型网站的页面进行优先抓取，是(shi)搜索引擎中的一种信息抓取策略。

怎样识别所谓的大型网站呢？一是前期人工整理大站种子资源，通过大站发现其他(ta)的大站；二是对已经索引的(de)网站进行系统的(de)分析，从而识别(bie)那些内容丰富、规模较大、信息更新频繁的网站。

在完成大站识别后，搜索引擎就会对 URL 资源列表中大站的页面(mian)进行优先抓取。这也是为什么大型网站往往会比小站内容(rong)抓取更及时的原因之一。

高权重优先(xian)

权重，简单地说就是搜索引擎对网页重要性的一种评定。所谓的重(zhong)要性归根到底就是网站或者网页的信息价值。

高权重优先是对 URL 资源列表中的高权重网页进行优先抓取的网页抓取策略。网页权重(zhong)（如Google PageRank值）高低往往是由诸多因素决定的(de)，例如(ru)，网页的外(wai)部链接(jie)数量及质量。如果下(xia)载一个 URL 就重新计算所有已下载 URL 资源的(de)权重值，这样的效率是(shi)极其低下的，显然(ran)是不现实的。所以，搜索引擎会倾向于每下载若干 URL 资源后就对已下(xia)载的 URL 进行权重计算（即不完全的权重计算），以此来确定这(zhe)些(xie) URL 资(zi)源所对应页面的权重值，从(cong)而对较高权重值的网页进行优先抓取。

由于权重计算是基于部分数据(ju)而得出的结果，可能会与真(zhen)实权重有较大出入（即失真）。因此，这种高权重优先的抓取策略也有可能(neng)会对次要页面(mian)进行优先抓取(qu)。

暗网抓取

暗网（又(you)称作深网、不可见网、隐藏网）是(shi)指那些存储在网络数据库里、不能通过超链接访问而需要通(tong)过动态网页技术或者人工(gong)发起查询访问的资源集合(he)，不属于那些可以被标准搜索引擎索引的信息。

1.查询组合

暗网数据普遍存在于大型网站中，最常见的表现形式就是网站的(de)搜索功能（包括组合条件查询及文本检索）。例如，旅游网站的机票数据，由于数据量极其巨大，通过链接的方式显示所有的机票信息是不现实的。因此(ci)，该类(lei)网站通常(chang)会提供相应的搜索功能(neng)供用户使用，以便用户能够快速检索个人化的需求信息。图 2-4 是某旅游垂直网站的机票搜索功能，用户可以通过航程类型、出发城市、到达城市、出发时间及返回时间等多条件(jian)组合来检索机票信息。

图 2-4 机票搜索工具

在互联网上，暗网数(shu)据量是极其巨大的，但不是所有的暗网数据都是有价值(zhi)的，这就(jiu)要求搜索引擎需(xu)要有特殊的蜘蛛程序对这些暗网数据进行挖掘及识别。

例如(ru)，图 2-5 所(suo)示是某人才网的高级搜索功能(neng)，至少包含了 8 个查询条件，如果搜索引擎将(jiang)每一个条件组(zu)成(cheng)不同的查询组合提交给网站，这样不但会给网站的服务器带来极大的压力，而且对(dui)于蜘蛛程序来说也是一个灾难（暂且不论每种条件(jian)组合的查询条件得到的查询结果(guo)能得到有价值的信息）。

图 2-5 职位搜索工具 1

因此，搜索引擎通常只会对有可能返回有价值信息的查询条件进行组合(he)。如图(tu) 2-6 所示，对于一些主要的条(tiao)件如(ru)行(xing)业分类(lei)、职位分类、工作地点进行组合查询即可找到该站的有价值(zhi)信息。

图 2-6 职位搜索工具 2

2.文本检索

对于大多数网站而言，文本检索（即站内搜索）是最(zui)常见的搜索功能。因此，文本检索也(ye)是最常见(jian)的暗网数据获取方式之一。图(tu) 2-7 所示为当当网的站内搜索功能，搜索引擎通过人工整理一些种子关(guan)键(jian)字，向目标网站提交进行查询，除了抓取查询结果(guo)页面外，还会从已抓取回来的页面(mian)中提取出新的关键字，进而形成新的待查询关键字列表。

图 2-7 当当网搜索栏

用户提交

为(wei)了抓取更多的网页，搜索引擎还允许网站管理员主动提交页面(mian)（如(ru) Sitemap 方式提交）。网站管理员只需把(ba)网站中页面的 URL 按照指定(ding)的格式制作成文件，提交给搜索引擎，搜索引擎就可以通过(guo)该文件对网站中的页面进行(xing)抓取及更新。

这种由(you)网站管理员主动提交页面的方(fang)式大大提高了搜索引擎抓取页面的效率，也大大增加(jia)了网站页面被抓取的数量（目前主流的搜索引擎都支持这种页面抓取方式，如 Google、百度及搜狗等）。

说明为了提(ti)高抓取(qu)页面的效率及质量，搜索引擎会结合多种策略去(qu)抓取(qu)页面。例如(ru)，先使用广度优先的方式，把抓取范围铺得尽可能宽，获取尽可能多的重要(yao)页面；再使(shi)用深度优先的方式，抓取更多隐蔽的页面；最后，结合暗网抓取、用户提交等方式(shi)抓取(qu)那些被遗漏的页面。

4.如何避免重复性抓取

在(zai)互联网中，信息重复(fu)是在所难免的。然而，搜索引擎是怎样识别(bie)重复信息的(de)呢？怎样判断哪些网页的(de)信息是原创的，哪些是复制的？又会认为哪些重复的信息是有价值的，哪些(xie)是可以舍弃的？本节将(jiang)会给出这些问(wen)题的答案。

网站中的重(zhong)复信息主要包括转载内容及镜像内容两(liang)大类。搜索引擎在对页面进行(xing)分析的时候(hou)，必须具备识别(bie)重复信息的能力。因为大量的重复信息不但占用(yong)巨大的服务器硬盘空间，而且还会增加用户寻找信息的时间(jian)，降低用户体验。但这并不意味着所有(you)重复信息都(dou)是没价值的，搜索引擎认(ren)为转载内容不如原创内容重要，赋予原创内(nei)容页面(mian)更高的权重(zhong)，而镜像内容则几乎忽略。

转载页面

转载页面是指那些与原创页面正(zheng)文内容³相同或相近的页面。然而，搜索引擎如何识别转载页面呢？首先，它(ta)把网页正文内容(rong)分成N个区域并进行比较，如果其中有M个区域（M是搜索引擎指定的一个阈值）是相同或者相似的，则(ze)认为这些页面(mian)互为转载页面(mian)。

如图(tu) 2-8 所示，页面 1 与页面 2 是不同网站上的两个页面。其中，框中的 A、B 分别是两个不同页面上的正文内容。为了识别(bie)这两个(ge)页面是否互为转载页面，搜索引擎先把这两个页面的正文内容(rong)分成(cheng) 4 个区域进行比较。假设这 4 个区(qu)域中有 3 个是完全(quan)相同或者相似的，那么就认为这两个页面是(shi)互为转载的。

图 2-8 页面正文内容对比

在确定页面的互为转载关系后，接下来，搜索引擎再结合页面的最后修改时间（搜索引擎在抓取页面时(shi)已(yi)经存储的(de)附加信息，详见后面“页面存储”的内容）、页面权重等因素判断原创页面与转载页面。

镜像页面

内(nei)容完全相同的页面互为

镜像页面

。要判断页面是否互为镜像页面，搜索引擎首先把这些页面分成N个区域进行比较(jiao)，如(ru)果这N个区域(yu)的内容完(wan)全(quan)一样，则(ze)认为这些页面互为镜像页面。然后，再综合多项因素（例如页面权重值、页面最后修改时间等）来识别哪个是源页面，哪个是镜像页面。

如(ru)图 2-9 所示(shi)，页面 1 及页面 2 是不同网站上的两(liang)个页面。把这两个页面分(fen)成(cheng)三个区域（即 A-1、A-2、A-3 与 B-1、B-2、B-3）进行比较，如果这三个区域内容完全一样，则认为这两个网页互为镜像页面。

图 2-9 页面(mian)对比

镜像网站

狭义上的(de)镜像网站是指(zhi)内容完全相同的网站，形成镜像网站主要有两种情况：第一种是多个域名或 IP 指向同一服务器的同一个(ge)物理目录；另外一种是整个网站内(nei)容被复制到使用不同域名或者不同 IP 的(de)服务器上(shang)。

为了识(shi)别站点间是否互为镜像网站，搜索引擎首先判断这些网站的首页以及与首页直接链接的页面是否互为镜像(xiang)页面。如果是，则(ze)互为镜像网站。然后，再综合多项因素（例如网站权重值、建立时间等(deng)）来识(shi)别哪个是源网站，哪个(ge)是镜像(xiang)网站。这样，以后抓取(qu)页面的时候就集中在源网站中进行，这也是为什(shen)么搜索引擎对于镜像网站只抓取极少页面甚至是(shi)不抓取的原因(yin)。

^{3 搜索引擎通过算法消除页面中的辅助信息（如导航栏、图片等）后，就得到页面的正文内容。}

5.网页更新策略

由于(yu)搜索引擎不可能一次性抓取到网站中所有的页面，而且网站中页面的数量也会不断地变化，内容也在不断地更新，因此，搜索引擎还需要对已经抓取的页面进(jin)行维护、更新(xin)，以便能及时获取页面中最新(xin)的信息，抓取更多的新页面。常见页面维护方式包括：定期抓取、增量抓取、分类定位抓取、历史更新策略及用户体验策略。

定期抓取

定期抓取也称为周期性抓取(qu)，即搜索引擎周期性地对网站中已(yi)经抓取的页面进行全面(mian)更新。更新的时候，把抓取到的新(xin)页面替换原有的旧页面，删除不存在的页面，并存储新(xin)发现的页面。周期性更新针对的是全部已抓取的(de)页面，因此更新周期会比(bi)较(jiao)长。例如，Google 一般是 30～60 天才会对已(yi)抓取的页面进行更新。

定期抓取算法的实现相对简单。由于每次更新涉及到网站中所有已经抓取的页面，因(yin)此页面(mian)权重的再分配也是同步进行的。这适用(yong)于维护页面比(bi)较少、内容更新缓慢的网站，例如普通的企业网站。但是，由于更新周期十分漫长(chang)，就不能及时向用户反映更新期间页面的变化(hua)情况。例如(ru)，某个(ge)页面的内(nei)容更新以后(hou)，至(zhi)少需要(yao) 30~60 天才能在(zai)搜索引擎上有所体现。

增量抓取

增量抓取是通过对已抓取的页面进行定时(shi)监控，实现对页面的更新及维护。但是，对(dui)网站中的每个页面(mian)都进(jin)行(xing)定时监控是不现实的(de)。基于重要页面携带重(zhong)要内容的思想以及 80/20 法则⁴，搜索引擎只需对网站中部分重要页面进行定时的(de)监控，即可获取网站中相对重要的信息。

因此，增量抓取只针对网站中某些重要的(de)页面，而非所有已经抓取的(de)页面，这也是为什(shen)么搜索引擎对重要页面的更(geng)新周期会更短的(de)原因。例如，内(nei)容经常(chang)更新的页面，搜索引擎也会经常对其进行(xing)更新，从而可(ke)以及时发现新(xin)内(nei)容、新链接，并删除不存在的信息。

由于增量抓取是在原有页面的基础上进行的，因此会(hui)大大缩减搜索引擎的抓取时间，还可以(yi)及时向用户展示页面中最新的(de)内容。

分类定位抓取

与增量(liang)抓取由页面重要性决定不同，分类定位抓取是指根据页面的类别或性质而制定相(xiang)应更新周期的页面监控方式(shi)。例如，新闻资讯类页面的更新周期(qi)可以精确到每分钟，而(er)下载类页面(mian)的更新周期就可以定为一天或更长。

分类定位抓取对不同类别的页面进(jin)行分开处理(li)，这样就(jiu)可以节省大量的抓取时间(jian)，并大大提高页面内容的实(shi)时性(xing)，增强页面抓取的灵活性。但是，按照类别制定页面更新周期的方式比较笼统，很(hen)难跟踪页面(mian)的更新情况(kuang)。因为即使(shi)是相同类别的页面，在不同的网站上内容的更新(xin)周期(qi)也会存在很大的差别。例如新闻类(lei)页面(mian)，在(zai)大型门户网站中内容的更新(xin)速度就会比其他小型网站快得多。所以，还需要结合其他的方式（例如增量抓取等）对页面进行监控和更新。

实际(ji)上，搜索引擎对网站中(zhong)页面的(de)维护也是结(jie)合多种方式进行的，相当于间接为每一个页面选择最合适的(de)维护方式。这样，既可以减少搜索引擎的负担，又可以为用户提供及时的信息。

例如(ru)，一个网站中会存在多种不同性质的页面，常见(jian)的(de)包括：首页、论坛页面、内容页面等。对于更新比较频繁的页面（例如首页），可以使用增(zeng)量抓取方式对其进行监控，这样就可以对网站中相对重要的页面进行及时更新；而对于实时性非常高的论(lun)坛页面，则可以采用分类定(ding)位的抓取方式；为了防止遗漏网站中的某些页面，还需要采用定期抓取的方式。

历史更新频率策略

历史更新频率策略

基于(yu)这样一种思想：某个网页在过去某段时间内频繁更(geng)新，那么在将来的某个时间里也可能会频繁更新。例如，对于某网站的首页，通过对它进行的监控可以分析出它的(de)内容更新规律，搜索引擎就可(ke)以据(ju)此调整对它的抓取频率及时间(jian)点，从而及时获得网页中(zhong)的最(zui)新内容(rong)。

用户体验策略

所谓的用户体验(yan)策(ce)略是指为了提高搜索引擎用户体验而制定的针对性的网页更新策略。衡量搜索引擎用户体验(yan)有众多指标，而网页更新的及时性是其中一项重要因素。

对于搜索引擎中的关键(jian)字搜索结果，用户通常只会点击排名前 30 的网页。因此，只(zhi)要及时更新排名前 30 的网页，即可节省搜索引擎的资源，提高重要网页的更新(xin)频率，也可满足绝大部分用户获取信息的需求。

^{4 80/20 法则是意大利著名经济学家维尔弗雷德·帕累托发现(xian)的，其核心思想是 20%的(de)活动能产生满足 80%需求的物质。例如，20%的产品或者服务创造了 80%的利润，20%的内(nei)容满足 80%用户的需求。}

6.页面(mian)存储

通过(guo)以上内容，我们已经知道了搜索引擎对页面的抓取及维护方式，接着，我们还(hai)要了(le)解一下(xia)搜索引擎在抓取页面(mian)后，需要存储哪些信息才能满足接下来的工作(zuo)对数据的需求。

页面是搜索引擎对网站进行信息处理的基础，搜索引擎大部分工作都是在页面上开(kai)展的。但是，仅仅依靠页面中的内容并不能满足搜索引擎对数据处理的需求。搜索引擎能否在抓取页面(mian)的过程中获取到更多、更有价值的信息会(hui)直接影响搜索引擎的工作效率及(ji)排序结(jie)果的质量。所以，搜索引擎在(zai)抓取页面时，除了存储原始页面外，还会附加一系列的信息（例如(ru)，文件类型、文件大小、最后修改时间、URL、IP 地址、抓取时间等），再把这些信息作为开展某项工作的依据。例如，如果某个文件过大，就可能会被搜索引擎放弃索引；而最后修改时间则暗示了页面更新的(de)日期等。

2.3.2 页面分析

页面抓取只是搜索引擎工作的一个(ge)基础环节，页面抓取(qu)回来后并不代表搜索引擎马上就可以向终端用户提供查询服务。因为用户在使用搜索引擎进(jin)行查询的时候，使用的是一个词或者短语，而到目前为止，搜索引擎仅能提供整(zheng)个原始页面，不能返回与用户查询条件相匹配的信息。因此(ci)，搜索引擎还需要对原始页面进行一系列的分析和处(chu)理，以迎合用户信息查询的习惯。

如图 2-10 所示，搜索引擎首先对存储的(de)原始页面(mian)建立索引，再过滤原始网页的标签信息，从中提取出网页中的(de)正文信息；然后，对(dui)正文信息进行切词，并建立关键字索引，得到页面与关键字间的对应关系；最后，对所(suo)有关(guan)键(jian)字进行重组，从而建(jian)立关键字与页面之间的(de)对应关系。

图 2-10 网页分析、处理流程

1.网页索引

为了提高页面(mian)检索的效率，搜索引擎需要对抓取回来的(de)原始页面建(jian)立索引，由(you)于 URL 就(jiu)是页面的入口地址，为(wei)原始页面建立索引实际上(shang)就是为页面的 URL 建立索引，这样就(jiu)可(ke)以实现根据 URL 快速定(ding)位到对应的(de)页面。

2.网页分析

网页分析是整个网页处理中最重要的环节，包括网页正文信息的提取（即标签信息过滤）、切词、建立关键字索引列(lie)表及关键字重组这几个(ge)重(zhong)要的步骤。结果形成了一个关键字对应(ying)多个原始页面的关系，即形成了(le)与用户查询习(xi)惯相符合的信息雏形。

正文(wen)信息提取

网页正(zheng)文信息的提取(qu)实际上就是对网页中非正文信息的(de)过滤。其(qi)中，最为重要的就是对网页中(zhong)标签信息（例如(ru)，HTML 标签、JavaScript标签、PHP 标签）的过滤。经过标签过滤以后，搜索引擎就可以得到网页的正文信息。

切词/分词

经过对原始页面(mian)提取正文信息后，搜索引擎就可以得到页面的实质内容。而为了得到与用户查询相关的数据，搜索引擎还(hai)需要对页面(mian)中的内容进行切(qie)分（也就(jiu)是我们常说的切词或者分词），从(cong)而形成与用户查询条件相匹配的以关键字为单位的信息列表。

每个搜索引擎的切词系统都会存在或多或少的(de)差别，切词系统(tong)的优劣主要取决于开发者对语言的理解能力。特别(bie)是在中文语言环境里，切词算法直接影响网页内容经过切词处理后会产生什么样(yang)的关键字，这些关键字是否与用户的搜索习惯一致。因而，切词的结果直接决定(ding)搜索引擎能否提供与用(yong)户查询条件(jian)相匹配的信息。

在中文环境里，常见的分词方法(fa)包括字符串匹配分(fen)词及统计分词两种，下面简单介绍一下这两种中文(wen)分词算法(fa)。

字符串匹配分(fen)词是基于一个足够大、足够权威的“词典”上(shang)进行的。如果页面上的词与“词典”中的词匹配，则为命中。这样就可以得(de)到一个词或(huo)者短语。

统计分词是根据相邻的两个（或者多个）字出现的概率判断这两个（或者多个）字组(zu)合后是否会形成一个(ge)词。统计分(fen)词也常常会结合“词典”进行匹配，常用于识别一些新词汇。例如，“微博”等一些在(zai)传统中文语言中不存在的词汇。

关键字索引

网页正文(wen)信息在经过切词系统处理后，形成了关键字列表(biao)。关键字列表中的每条(tiao)记录都包括了该关键字所在的关键(jian)字编号、网页编号、关键字出现次数以及关键字在文档中的位置等信息，如(ru)表 2-1 所示。

表 2-1 关键字列表

例如，记录 1 中的关键字 K1 在页面中(zhong)出(chu)现(xian)了 3 次，对应页面中的 A1、A5、A7 区域，如图 2-11 所示。

图 2-11 关键字 K1 在页面中的分布示意图

为了(le)提高对(dui)关键字的检索效率，搜索引擎还会为关键字列表(biao)建立索引。这样，经过对网页及关键字列表都建立(li)索引后，就可以实现从一个网页快速定位(wei)到某一关键字。

例如，网页 0 经过信息过滤后得到的内容是(shi)“中国广东省深圳市”；然后，对(dui)内容(rong)进行(xing)切词后产生关键字“中国”“广(guang)东省”“深圳市”，并对关键字建立索引。这样，根据网页 0，搜索引擎就可以快速定位到关键字“中国”“广东省”或(huo)“深圳市”上，如图 2-12 所示。

图 2-12 页面与关键(jian)字间的对应关(guan)系

然而，用户是通过关键字去寻找那些承载相应信息的页面的，所以，搜索引擎还需要对已有信息进行相应的处理，建立(li)关键字与页面 URL 间的对应关系表，从而实现根据关键(jian)字快速定(ding)位到多个页面的功能，这就是(shi)下面所说的关(guan)键字重组问题。

关键字重组

为了迎合用户寻找信息的习惯，即以关键字为条件寻找与关键字相关的页面。因此，搜索引擎需要建立以关键字为主索引的(de)一个关键字对应多个页面的关系表，即关(guan)键字反向索引表。而建立关键字反向索引表(biao)最重要的任务(wu)就是对所(suo)有页面中的(de)关(guan)键字列表进行重组。

之前对关键字建(jian)立索引后，已经产生了网页与关键字的一对多的对应关系。接下来，搜索引擎把所有页面中的关键字进行重组(zu)⁵，并建立关键字索引，从而形成一个不重复的关(guan)键(jian)字列表集合，即在关(guan)键字列表中，每个关键字都是(shi)唯一的。这样，通过某一个特定(ding)的关键字就可以找到一个或者多个网页，从而实现根据关键字返回相应页面的功能，如图(tu) 2-13 所示。

图 2-13 关键字与页面间的对应关系(xi)

^{5 关键字重组即把(ba)所有页面中的关(guan)键字组成(cheng)一个集合。}

经过对原(yuan)始页面进行(xing)分析、处理后，搜索引擎已经可以根据用户的查询条件返回相(xiang)应(ying)的页面列表。但是(shi)，简单地向用户返回这个(ge)页面列表，往往不能满足用户的需要，所以，搜索引擎还会根据页面与用户查询条件相关性的高低再对这个列表进行(xing)重新排列，然后把处理后的(de)列表返回给用户。这就是下面将要向大家介绍的(de)搜索引擎对页面排序的问题。

2.3.3 页面排序

用(yong)户向(xiang)搜索引擎提交关键字查询信息以后，搜索引擎就在搜索结果页面返回与(yu)该关键字相关的页面列(lie)表，这些页面按照与关键字的接近程度由上至下进行排列(lie)。决定页面排列次序的因(yin)素非常多，本书将介绍几种最常见也是最重要的因素，包括页面相关性、链接权重及用户行为。

1.页面相关性

页面相关性是指页面内容与用户所查询的关键字在意(yi)义上的接近程(cheng)度，主要由关键字匹配度、关键字密度、关键字分布及关键字的权重标签等决定(ding)。

关键字匹配度是(shi)指页面 P 中的内容与(yu)用户所查询的关键字 K 之间的匹配程度，主要由以(yi)下两个因素决定。

页面 P 中(zhong)是否存在与查询条件(jian)关键(jian)字 K 相匹配的内容，即页面内容中是否包含关键(jian)字 K。

关键(jian)字 K 在页面 P 中出现(xian)了多少次，即页面 P 中有多(duo)少个关键字 K。

为了计算关键字匹配度，搜索引擎为每个页面分配一个关键字匹配值，该值由(you)关(guan)键字在(zai)页面中出现的次数决定。假设某个关键字在页面中出现一次，关键字匹配值为 10，那么，若该关键字在页面中出现 10 次，则关(guan)键(jian)字匹配值 =10*10。

如果这种假设成立，则(ze)某关键字在(zai)页面中出现的次数(shu)越(yue)多（即词频越高），页面的相关性就越高，这样搜索结果就极容易被网站所有者操控。例如，一个(ge)网站想要提高页面的相关性，只需在页面中添加足够多的关键字即可。

因此，关(guan)键字词频决定页面(mian)相关性的做法是极不合理的(de)，还需要结合关键字密度、关键字分布(bu)及关键字的权重标签等多方面(mian)来制约。

关键字密度

为了有效防止网站所有者恶意操控搜索结果，搜索引擎根据关(guan)键字词频与网页总词汇量的比(bi)例（即关键字密度值）来衡量页面(mian)中某关键字的词频是否合理。

假设页面中某关键字的密度为 50%时，这个(ge)页面的关键字密度值为 20。例如，在内容是camcorder battery的页面中，camcorder的关键(jian)字密度是 50%，则(ze)针对关键字camcorder，这个页面的关键字密度值为 20。

关键字分布

关键字分布(bu)，即关(guan)键字在页面中出现(xian)的位置。关键字在页面中(zhong)不同的位置上出现会对页面的相关性带来一定的影响。搜索引擎通过记录关(guan)键字在页面中出现的位置来计算页面的关键字分布值，从而(er)得到关键字分布与页面相关(guan)性之间的(de)关系。

假设关键字在页面的顶部出现时，关键字分布值为 50；而在底部出现时，关键字分布值为 10；则(ze)关键字 K1 同时出现在页面 A 的顶部与底部时，该页面的关键字分布值就是 60。

标(biao)签影响(xiang)

在网页中(zhong)，网页制作者(zhe)利用不同的 HTML 标签使页面中相关的内容实现不同的视觉效果（例如字体的样式(shi)、字号、颜色等），灵活地运用各种 HTML 标签还有助于提高页面相关性。

我们在阅读文章的时(shi)候，经常会遇到文(wen)章中某些内容的表现形式与周围的内容是存在明显区别的，例如，某些内容(rong)的(de)字体颜色与周围的内(nei)容会形成强烈的反差，或(huo)者字号大小不一致等。

这就说明了文章的作者是刻意要(yao)突出这部分内(nei)容，这部分内容比较(jiao)重要。同样(yang)，在对网站进行优化的时候(hou)，我们也可以使用同样的(de)方法来突出页面中(zhong)重要的内容，例如(ru)，利用不(bu)同的 HTML 标签去标注页面中需要突出的内容。这样，搜索引擎在分析页面的(de)时候就会根据 HTML 标签识别页面中内容的样式，从而判断页面(mian)中哪些内容更加(jia)重(zhong)要。

在页面权重分配里，按照标签的作用，可以把 HTML 标签分为权重标签与非权重标(biao)签两(liang)大类(lei)。权重标签是指(zhi)会影响页面权重的标签，常见的权重标签包括 <b>、<h1> 等；而非权重(zhong)标签常见的有 <img>、<br> 等。

假设表 2-2 中是搜索引擎对某些(xie)标签权重值的定义，则对于一个(ge)内容是 <h1><b> 搜索引擎优化 </b></h1> 的(de)页面，针对“搜索引擎优化”这个关键字，标签权重值等于 <b> 标签权重值加上 <h1> 标签权重(zhong)值，即 60。

表 2-2 样式标签与权重值的(de)对应关(guan)系(xi)

通过对关键(jian)字匹配度、关键字密度、关键字分布及权重标签进行(xing)说明(ming)后，我们推算出页面相关性的计算公式如下(xia)：

W(relevance)=W(match)+W(density)+W(position)+W(tag)

式中，W(relevance)是页面相关性，W(match) 是关(guan)键字匹配值，W(density)是关(guan)键字密度值，W(position)是关键字分布值，W(tag) 是标签权重值。

例如，某页面的内容如下：<html><body><b> 搜索引擎优化 </b><h1> 搜索引擎 </h1>……</body></html>，则针对“搜索引擎优化”这个关键字来说，由于只出现一次，则关键字匹配值W(match)=10；关键字密度是(shi) 50%，则关键(jian)字密度值W(density)=20；关键字出现在页面的顶部，则关键字分布值W(position)=50；而(er)权重标签 <b> 在突出关(guan)键字“搜索引擎优化”时出现了一次，则标签权重值W(tag)=10，即W(relevance)=10+20+50+10。

搜索引擎利用关键字匹配度、关键字密度、关键字分布及权重标签这四大要素相(xiang)互制约的作用，完(wan)善页面(mian)相(xiang)关性的计算(suan)。但是，本节所介绍的(de)都是一些网站内部可操控因素。为了提(ti)高排序中信息的质量，搜索引擎还引入了一些外部不可操控的因素对页面相关性进行综合评估，例如外(wai)部链接与用户行为等。

2.

链接权重

链接主要分内部链接及外部链接两(liang)种，是网页制作或者编缉者(zhe)在对(dui)页面内容进行规划(hua)或者编缉时(shi)加入到页面中的，加入(ru)的(de)理由可能是该链接所指向的页面非常重要或者是大部分用户所需(xu)要的。因此(ci)，某一页面得到的链接越多，从一定程度上反映了该页面(mian)越重要，链接权重值就越(yue)高。

如果把整个互联网看作是一个有向图，超链接为有向边(bian)，网页为节点(dian)，那么，绝大部分网页都会有一个“入度”与“出度”，根(gen)据网页的入度数量及(ji)提供入度的页面权重值来计算页面链接的权重是一个非常(chang)好的想法(fa)。

假设图 2-14 是页面之间的关系图，其中 V1、V2、V3 为网页；而箭头方向则代表页面贡献链接或从其他页面中得到的链接。以(yi)网页 V2 为例，V2 对 V1、V3 各贡献了一个链接(jie)，而得到了 V1 的(de)链接。

图 2-14 页面关(guan)系图

内(nei)部链接

内部链接是(shi)指网站内部页面(mian)之间的(de)链接关系，体现了网站内部对某个(ge)页面(mian)的认可程度。理论上，页面获得的(de)链接质量越高、数量越(yue)多，其重要性也(ye)相(xiang)对越大。

外部链接

外部链接指本站以外的页面之间的链接关系。由于外部链接(jie)的不可操控性，外部链接在整个链接关系中占着更大(da)的权重比例，是决定整(zheng)个页面权重(zhong)最重要的因素。

默认权重分配

网站页面数量是在不(bu)断变化(hua)的，但由于时(shi)间的关系，新增加的页面即使内容质量很高，得到的(de)链接数量也是有限的，因此链接权重值通常会很低。在(zai)这种情况下，搜索引擎就需(xu)要对这些新页面的链接权重值按照相应的方案进行补偿，使得新页面能(neng)够得到更合(he)理的(de)链接权重值。

在链接权重值补偿方面，搜索引擎把页面(mian)被抓取的日期作为一个参考因素。它认为(wei)页面在单位时间内获得链接的数量越多、质量越(yue)高，则(ze)该页面的质量也相对更高。

例如，页面 A 得(de)到 30 个链接，页面 B 也得到 30 个链接（假设这些链接的质量是相等(deng)）。但(dan)是，页面 A 花(hua)了 100 天(tian)时间，而页面 B 只花(hua)了 1 天时间。这从一定程度上反映页面 B 比页面 A 更重要。因此，就需要给(gei)页面 B 进行(xing)一定的(de)补偿，使得页面 B 所(suo)得链接权重值高于页面 A。

3.用户行为

搜索引擎在完成页面(mian)基本权重计算以后，就可以向用户展(zhan)示初步的排序结(jie)果。但这个排序结果不一定能让大部分用(yong)户满意，因(yin)此还要结合其(qi)他因素对(dui)该排序结果进行改进。例如，统计每条搜索结(jie)果的点(dian)击次数来推测用户对(dui)搜索结果的偏好。

用户对搜索结果的(de)点击行为是衡量(liang)页面相关性的因素之一，是完善排序结果、提高排序结(jie)果质量的重要补充，属于外部不可操控因素（详细请参考 2.3.4 节）。

综上所述，搜索引擎通过计算页面在页面相(xiang)关性、链接权重值及用户行为等方面的得分(fen)，得到页面(mian)的总权重值；然后，再按照页面的总权重值从(cong)高到低进行排序并把这(zhe)个经过排序的列(lie)表返回(hui)给用户。

即W(page)=W(relevance)+W(link)+W(user)

式中，W(page)是页面权重值，W(relevance)是页面相关性值(zhi)，W(link) 是链接权重值，W(user) 是用户行(xing)为得分。

2.3.4 关键字查询

在(zai)计算完所有页面的权重后，搜索引擎就可以向用户提(ti)供信息查询服务。搜索引擎查询功能的实现非常复杂，用户对返回结果的时间要求也(ye)非常高（通常是秒级），要在这么短的时间内完成(cheng)这么(me)复杂的计算是不现实的(de)。所(suo)以，搜索引擎需要通过一套高效的(de)机制处理(li)来自用户的查询。这主要应该包括：

在用(yong)户发出查询请求前就完成被查询关键(jian)字的反向索引、相关(guan)页面权重计算等工(gong)作。

为那些查询最频繁的关键字对(dui)应的(de)页面排序列表建(jian)立缓存机制。

其中，关键字重组、页面权重分配等工作(zuo)已(yi)经在前面进行了详细的说明。接下来，就介绍搜索引擎如何建立信息查询的缓存机制。

1.查询流程

首先，向(xiang)大家介绍搜索引擎处理用户查询的流程，如图 2-15 所示。

图 2-15 查询处理流程

1. 先对用户提(ti)供的查询条件进行切(qie)词，并删除查询条(tiao)件中没有意义的字或词，例如，“的”“得”等停用词。

2. 再以切词结果(guo)作(zuo)为条件在(zai)关键字反向索引列(lie)表中进行匹配。

3. 如果存在匹配结果(guo)，则(ze)把所有与关键(jian)字相匹配的页面的 URL 组成一个列表。

4. 最后，把匹配的页面按照权重(zhong)值从(cong)高到低进行排序，并返回给用(yong)户。

其中，3、4 两个步骤在用(yong)户查询之前已经完成。

例如，用户查询“手机图片”，搜索引擎对其进行切词后得到的查询条件是“手机 + 图(tu)片”；再把(ba)“手机 + 图片”在关键字反向索引列表中进(jin)行匹配；结果(guo)得到了 A、B、C 这(zhe)三个相关页面；再计算三个页面的权重值，如果这三个页面的权重值关系是 B>C>A，则这三个页面在搜索结果列表(biao)中的(de)排列顺序就是 B、C、A。

2.用户行为

用户在搜索引擎中的行为主要包括搜索及点击，搜索是用户获取信息的过程，点击是用户得到需要信息后的表现。

用户的搜索及点击行为中蕴含着非常丰富、重要的信息。例如，在用户搜索行为(wei)中包含了提交的关键字、提交时间、用户 IP 地址等信息，而在点击行为中则包含了每个结果的(de)点击次数等信息。

搜索引擎通过对用户行为的分(fen)析可以进一步发掘用户的需求，提高搜索结果的精准度。例如，从用户的(de)搜索行为中，搜索引擎还(hai)可以发现新词汇；而从用(yong)户对搜索结果(guo)的点击行为中(zhong)，可以(yi)分析出用户对每个搜索结果的(de)偏好等。

搜索

搜索是用(yong)户获取信息的途径，是搜索引擎最基本的功能。搜索引擎可以在用户的搜索行为(wei)中得知某一关键字被搜索的次数(shu)，通过对关键字被搜索的次数(shu)的分(fen)析，可以发现新词汇，进一步了(le)解用户搜索习惯。

由于(yu)语言是不断发展的，随着时间的推移会产生更多的新词汇。特别是在互联网环境中，某个热点的事件也有(you)可能成为一个新的词语，例如“艳照门”等。

对搜索引擎而言，新生词汇主要是(shi)指那些目前搜索引擎词典系统(tong)里不存在、但(dan)是又被频繁搜索的关键字。如果某一关键字在搜索引擎词典系统里不存在，则切词时就不(bu)会产生该关键字，这样用户在(zai)查询该关键字时就返回不了相关的信息，也就不能满足用户的需求。因此，搜索引擎对新(xin)词汇的学习能力从一定程度上反映了搜索引擎对(dui)语言的理解能力，是衡量搜索引擎好坏的重要指标之一。

结合(he)用户搜索习惯与页面内容去发(fa)掘新关键字是搜索引擎学(xue)习新词汇的主要方式之一，如图 2-16 所示。

图 2-16 新(xin)词汇识别流程

对用(yong)户查询日志进行分析，筛选出日志中查询相对频繁的词汇。

如果某个查询相对(dui)频繁的关键字不存在于词典系统中，就把这个关键字与部分页面的内容进行匹配；如果命中，则表明该关键字是存在的(de)，加入词典系统；否则，对下一个(ge)查询频繁词语进行匹配。

点击

点(dian)击是用户找到所需信息后的表(biao)现，反映了用户对信息的关(guan)注。因此，用(yong)户对链接的点击也是衡量页面相关性的一个(ge)因素，是衡量页面相关性的一个重要(yao)补充。

在同一个关键字的(de)搜索结果列表中，不同的用(yong)户会有不同的选择。但(dan)是，如(ru)果某一个结果的点(dian)击次数(shu)明显多(duo)于其他结果，则从一定程度上反映了该页面(mian)是(shi)大部分用(yong)户所需要的（特别是当该链接处在(zai)比较(jiao)靠后的(de)位置时）。

众所周知，搜索结果中越(yue)靠前的链接得到点击的几率就会越高。按照这(zhe)样的逻辑，那么在排在(zai)第二、第三甚至第四的页面(mian)被点(dian)击的机会就会变得越来越小，但这并不代表这些页面(mian)就不比排在前(qian)面的页面(mian)重要，只是在目前(qian)的排序结果(guo)中，用户还没机会发现(xian)它(ta)们而已。所以，对于不同位置上链接的点击，搜索引擎会对其权重值进行相应的补偿。假设排在第一位的结果每被点击一次(ci)会产生 1 分的补偿，而(er)排名在 100 名的结果被(bei)点击一次则会产生 10 分(fen)甚至更多的补偿。

3.

为了能在极短的(de)时间内响应用户的查询请求，搜索引擎除了在用户提交查询信息前(qian)就生(sheng)成关键字对应的页面排序列表以外，还需要为那些查询最频繁的关键字对应(ying)的页面排序列(lie)表建立缓存(cun)机制。

经过统计，搜索引擎发现关键字查询的集中(zhong)现象非常明显。查询次数最多的前 20%的关键字大约占了总查询次(ci)数的 80%（即著名的 80/20 法则）。因此(ci)，只要我们对这 20%左右的关(guan)键字建立缓存就可以满足 80%的查询需求。

由于用户查询时返回的(de)信息主要是与关键字相关的(de)页面排序列表(biao)，因(yin)此关键字缓存机制的建立主要是针对与关键字相关的页面排序列表。在对常用关键字的(de)页面排序列表建立(li)缓存后，搜索引擎就可(ke)以把缓存中的信息返回给用户，这样速度就会非常快，也就能满足绝大部分(fen)用户的需求。

由于互联网中的信息是时刻都(dou)在增长的，如(ru)果搜索引擎每次都向用户返回同样的信息，那么(me)不但用户得不到更高质量的信息，其他网站也不能向用户展示最新的高质(zhi)量信息，从而造成信息滞后。因此，搜索引擎还会对缓存(cun)中的内容进行定期更新。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作(zuo)者本人。本站仅提供信息存储空间服务，不(bu)拥有所有权，不(bu)承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的(de)内容， 请发送邮件至 1817475@qq.com 举报，一经查实，本站将立刻删除。