谷歌 SEO 入门指南 2018 年版（一）：Google 抓取

前言

如果您通过 Google 搜索运营、谷歌管理或(huo)推广在线内容，南(nan)年或通过在(zai)线内容获利，谷歌则本指南对您适用。南年如果您是谷歌业务快速发展的商家、拥有十几个网站的南年网站站长、网络代理方面的谷歌 SEO 专家，或者(zhe)是南(nan)年对搜索机制具有强烈兴趣的 DIY SEO 达人，则本指南也适用于您。谷歌如果您有兴趣根据我们的南年最(zui)佳做(zuo)法对 SEO 基础(chu)知识(shi)进行全(quan)面了解，那么本指南同样适用于您。谷歌本指南不会提供任何可让您的南年网站在 Google 中自动排位第一的秘诀(抱歉!)，但是谷歌如果您遵循下面列出的(de)最佳做法，则有望让搜索引擎更容易抓取、南年(nian)理(li)解(jie)您的谷歌内容并将其编入索引。

搜索引擎优化 (SEO) 通常是指对网站的各个部分进行细微的修改。单独来看，这些修改可能只是逐步细微的改进，但与其他优化(hua)结合起来后，则可能会对(dui)您的网站在(zai)自然(ran)搜索结果中的(de)用户体验和效果产生显著影(ying)响。您可能早已熟悉本指南中的许多主题，因为它们是任何网页的基本要素，但您可能并未充分利用它们。

您应该对网站进行优化，以满足用户需求。您的其中一个(ge)用户便是(shi)搜索引擎，它可以帮助其他用户发(fa)现您的内容。搜索引擎优化是指(zhi)帮助搜索引擎了(le)解和呈现内容。您的网站可能比我们的(de)示例网站更简单或更复杂，并且呈现的内容可能截然不同，但我们下面讨论的优化主题对于所有大小和类型的网站均适用。我们希望本指南在如何改进网站方(fang)面能够给您带来一些全新的理念，同时也希望您在 Google 网站站长帮助论坛1积极分(fen)享您的问题、反馈和成功案例。

相关术语

以下简要术语表包含了本指南(nan)中使用的(de)重(zhong)要术语：

索引 - Google 会将其知悉的(de)所有网页存储在其(qi)“索引”中。每个网页的索引条目描述了该网页的内容和(he)位置(网址)。编入索引是指当 Google 抓取、读取网页并将(jiang)其添加到索引的过程。例如：Google 今天已将我网站上的(de)几个网页编入索引。

抓取 - 寻找新增网页或已(yi)更新网页的过程。Google 会通过跟踪链接、读取站点地图或其他各种方式来发现网址。Google 通(tong)过抓取(qu)网页来寻找新增网页，然(ran)后(在适当的时(shi)候)将网页编入索引。

抓取工具 - 从网络中抓取(提取)网页并将网页编入索引的自动(dong)化软件。

Googlebot - Google 抓取工具的通用名称。Googlebot 会持续不断地抓取网页。

SEO - 搜索引擎优化：使您的(de)网站更易于(yu)搜索引擎抓取和编入索引的过程。也可指从(cong)事搜索引擎优化的人的职位名称，例如：我们刚刚聘请了新的 SEO 来提升我们在网络上的曝光度。

您的网站是否已被 Google 搜索引擎收录?

可在(zai) Google 搜索引擎中对您的网站的首页网址执行“site:”搜索。如果(guo)您能看到结果，则表明您的网站在索引中。如(ru)“site:*.org”。

虽然 Google 可抓取数十亿网页的内(nei)容，但遗漏部分网站也在所(suo)难免。所以如果你(ni)的网站未被收录，可能是以(yi)下原因导致的(de)：

网站未与网络上的其他网站紧密关联

您刚刚推出(chu)新的网站，Google 还没来得及抓取它

网站的设计致使 Google 很(hen)难有(you)效抓取其中的内容

Google 在尝试抓取网站时遇到问题

您的政策阻止 Google 抓取网站

如何让我的网站显示在(zai) Google 搜索结果中?

让网站纳入 Google 搜索结果完全免费，且操作(zuo)简单，甚至(zhi)不需要向 Google 提交网站。Google 是一个全自动搜索引擎，它使用网页抓取工具持续抓取网页，以便查找可(ke)添加到 Google 索引中的(de)网站。实际(ji)上，显示在 Google 搜索结果中(zhong)的大多数(shu)网站都不是手(shou)动提交供纳入索引的，而是 Google 在抓取网页时找到并自(zi)动添加的。了解 Google 如何发现、抓取和呈现网页。

Google Search Console 提供了一系列工具，以协助您向 Google 提交(jiao)内容，并监测您的网站/移动应(ying)用在 Google 搜索结果中的曝光度。如果您愿意，当 Google 在抓取您网站的过程中发现任何严重问题(ti)时，Search Console 甚至可以向您发(fa)送提醒。注册 Search Console5。

首先您需要问自己以下几个有关您的网站的基本问题。

我是否为用户提供了高品质的网站内容?

我的本地商家是(shi)否会显示在 Google 搜索结果中?

我的网站内容是否能让使用各种设备的用户轻松快速地找到?

我的网站是否安全?

您可以在 上找到其他入门信息

帮助 Google 发现您的内(nei)容

要让网站显示在 Google 搜索结果中，首要步骤便是确保 Google 能够找到它。最好的(de)办法是提交站点地图。站点地图是网站上的一种文(wen)件，可告知搜索引擎网站上新(xin)增了网页或有更新的网页。详细了解(jie)如何构建和提交站点地图。

让 Google 知道不应抓取哪些页面

最佳做(zuo)法

若为非敏感信息，则可以使用 robots.txt 阻止不必要的(de)抓取

“robots.txt”文件(jian)会告诉搜索引擎它们是否可以访问您网站的各个部分并执行抓取(qu)。此文件(jian)必须命名为“robots.txt”，且应位于网站的根目录下。被 robots.txt 阻止的网页也可能会被抓取，因此您应使用更安全的方法保护敏感网页。

您可能不希望网站的某些页面被抓取，因为这(zhe)些页面显示在搜索引擎的搜索结果中可能对用户无用。如果您希望阻止搜索引擎抓取您的(de)网页，Google Search Console 可提供便捷的 robots.txt 生成(cheng)器帮助您创建此文件。请注意，如果您的网站使用了子域名，并且您希望 Google 不要抓取特定子域名上的某些网页，那么您必须为该子域名单独创建一个 robots.txt 文件。

应避免的做法(fa)：

不要让 Google 抓取内部搜索结果页。用户不喜欢点击搜索引擎结(jie)果后却登录到您网站上(shang)的其他搜索结果页。

允许抓取由代理服务器(qi)创建的网址。

若为敏感信息，则(ze)请使用(yong)更安全的方法

在这些情况下，如(ru)果您只是希望网页不显示在 Google 中，则可使用 noindex 标(biao)记，无需担心任何用户会通过链接访问该网页。然(ran)而，为了做(zuo)到真正的安全，您应该使用合适的授权方法(例如需要用户密码才能访问)或将网页从网站上彻底移除。