地 址：上海市普陀66号
电 话：15344458925
网址：dsesh.com
邮 箱：31324261@qq.com
搜索引擎蜘蛛，引擎在搜索引擎系统中又被称之为“蜘蛛”或“机器人”，蜘蛛蛛抓主特征模是爬行用来爬行和访问页面的程序。
① 爬行原理(li)
搜索引擎蜘蛛访问(wen)网页的及抓过程，就好比用户使用的(de)取原浏览器。
搜索引擎蜘蛛向页面(mian)发出访问(wen)请求，理百该页面的度蜘服务器(qi)则返回该页面的HTML代码。
搜索引擎蜘蛛将收到的拟方HTML代码存入(ru)搜索引擎的原始页面数据库中。
② 如何爬行
为了提高搜索引擎蜘蛛的搜索算法工作效率，通(tong)常采用(yong)多个蜘蛛并发分布爬行。引擎
同时，蜘蛛蛛抓主特征模分布爬行还分为(wei)两种模式：深度优先和广度优先。爬行
深度优先(xian)：沿着发现的及抓链接一直爬行，直(zhi)到没(mei)有任何链接。取(qu)原
广度优先：先这一页面上的所有链接(jie)爬行完毕之后，才会沿着(zhe)第二层页面继续这样爬行。
③ 蜘蛛必遵守的协议
搜索引擎蜘蛛在访问网站之前，都会先访问网站根(gen)目录下(xia)的robots.txt文件。
搜索引擎蜘蛛不会去抓取robots.txt文件中禁止爬行的文件或目录。
④ 常见(jian)搜索引擎蜘蛛
谷歌蜘蛛：Googlebot
360蜘蛛：360Spider
有道蜘蛛：YoudaoBot，YodaoBot
搜狗蜘蛛：Sogou News Spider
必应蜘蛛：bingbot
Alexa蜘蛛：ia_archiver
二、SEO优化内链如何布局提升蜘蛛抓取(qu)
SEO优化中如何有效的布局内(nei)链,让蜘蛛抓取 SEO优化(hua)，那么网站优化时(shi)，我们要如何合理分析内(nei)外链呢?关于内链，我们需要检查的是seo：seo.ee ，可以检测看看：
1、内页多关键词指向首页
现在还有很(hen)多网站在内容(rong)页搞了好多关键词，但是指向的全都是(shi)首页，这个小技巧在前几(ji)年还是有些用的，但是现在算是作弊的(de)行为，切记。
2、是否有相关推荐
每个页面是否有(you)推荐跟内容相关的内部指(zhi)向(xiang)链接，这个很重要，对用户，对蜘蛛都是非常有帮助的。
内页要做相关的推荐，还有栏目页、专题页、首页都(dou)是(shi)一样(yang)的，只不过要从不同的定位角度来指向而已。
那么(me)如何检查外链呢?一般常(chang)用(yong)两种方法：
1、通过(guo)domain指(zhi)令
可以找出链接你的网站是哪些，检查一下是否有和不良的网站出现在一起，如果有要尽快处理(li)掉，不然也是会有影响的。
2、通过友情(qing)链接
查看友情链接是否正常，比如你链接了别人，别人却把(ba)你的链接给撤销了(le)，或(huo)者(zhe)别人的网站打不开了等等之类的情况，需要及时的处理。
三、手机网站图片如何抓取
总结出了以下六种方(fang)法，协助我们优化网站和手机端的图片，以达到优化友好，迅速被录入的作(zuo)用。
1、不要盗用图片尽量原创
尽量自己做图片，有很多免费的图片素材，我们可以通(tong)过(guo)拼接，做出我们需要的图片。
在平时工(gong)作的时候(hou)，发现和自己网站相关的(de)图片可以先保存下来，在本地做出分类(lei)和标记。
网站需要图片的时候，看看相关的图片，自己着手做一个图片。这是一个长期积累的过程，随之(zhi)时间的增加，自己的素材量也会越来越大。熟练了再做图片就得心应(ying)手了。
2、网站图片保(bao)存路径
这个问题很多(duo)站长(chang)都(dou)没有注意，图(tu)片(pian)在(zai)传到到网站的时候，尽量把图片保存在一个目录下面，
或(huo)者根据网站栏目做好相应的图(tu)片目录，上传的时候路径要相(xiang)对固定，方便蜘蛛抓取，蜘蛛在访问到这个目录的(de)时候就会“知道”这(zhe)个目录里面(mian)保存的是图片;
图片文(wen)件命名最好使用一些有规律的或者意义的方法，可以(yi)使用时间、栏目名称或者网站名称来命名。
例如：SEO优化下面的图片可以使用“SEOYH2018-6-23-36”这种命名，前面(mian)“SEOYH”是SEO优化(hua)的简拼，中间是时间，最后是图片的ID。
为什么要这么做呢?
其实这样是培养搜索引擎蜘蛛抓取习惯，方便将来更快的识别网站图片内容。让蜘蛛抓的顺心了，网站被收录的几率就增加了，何乐而不为呢!
3、图片周围要有相关文(wen)字
这些都是可以增加文(wen)章分数值的元素，其(qi)他的几个形式暂时不表，这里我们只(zhi)说说关于图片周围相关文字的介绍。
用户的(de)访问感会极差，搜索引擎通过相关算(suan)法识别这张(zhang)图片以后(hou)，也会(hui)觉得图文(wen)不符，给你差评哦。
所以，每篇文章最少(shao)要配一张相(xiang)应的图片，而且在图片的周围要出现和你网站标题相关的内容。不但能帮助搜索引擎理解图片，还(hai)可以增加文章的可读性、用户体验友好度以及相关(guan)性。
4、图片添加alt、title标签
许多站长在添加网站图片时可能没有留意这些细节，有的可能觉得(de)麻烦，希望大家千万别有这种想法，这是大错特错的。
搜索引擎抓取网站图片的时候，atl标签是(shi)它首先抓取的，也是识别图片内容最重要的(de)核心因素之一，图片的alt属性是直(zhi)接告诉搜索引擎这是啥网站图片，以及这张要表达什么意思;
title标签是用户指向这(zhe)张图片的时候，会显示的提示内容，这是增加用户体验(yan)度和(he)增加网站关键词的一个小技巧。
alt和title标签
还有就是这两个属性(xing)，会给有阅读障碍的访问(wen)者提供访问的便利，例如：有盲人在(zai)访问你网站的时候，他看不到屏幕上(shang)的内容，可能是(shi)通过读屏软件来阅读的，如果有alt属性，软件会直接读出alt属性里的文字，给他们的访问提供方便。
5、图片的大小和(he)分辨率
尽管两者看起来有些相同，但还是有很大的差别，相同大(da)小的图片(pian)，分辨率更高的话，网站最终体积也会越大。这一点大家要搞清楚。
网站的(de)上的图片(pian)，一直以来都提倡用尽量小的图片，去最大化呈现内容。为什么要这样呢?
因为小尺寸的图片会加(jia)载(zai)的更快，不会让访问者等待太久，特别是手机访问的时候，由于手机上网速度和流量的限制，用户更愿意(yi)访问能立即打开的页面，小尺寸图片就更有优势了。
在这里我们尽量(liang)做好(hao)平衡，在图(tu)片不失真的情况下，尺寸最好尽量的小。
现在有很多在线给图片瘦身的工具，各位站长(chang)可以(yi)去(qu)尝试一下(xia)，把网站的(de)图片适当的压缩一下，一方面可以减少你服务器带宽的压力，另外还能给(gei)用户有流畅的体验。
6、手机端自动适应
很多站长都遇到过网站在电脑访问图片显示很正常，可(ke)是从手机端就会出现错位等等情况，这就是大尺寸的图(tu)片给不同尺寸的终端造成错位和显示不全的情况。
其实这个问题很好解决，在(zai)添加图片的时候(hou)宽高最好不要使用绝对大小，使(shi)用百分(fen)比就解决了(le)。
具体说，CSS代码不能指定像素宽度：width:xxx px;只(zhi)能指定百分(fen)比(bi)宽度：width: xx%;或者(zhe)width:auto就可(ke)以了。
四、如(ru)何提高搜索引擎抓取频率？
搜索引擎抓取内容(rong)，只是针对个(ge)别页面，而不是全部的页面，这也是搜索引擎对网页的(de)快照更新时间变短的原因。
比如说经(jing)常更新的页面，快照也会经常对其进行爬取，从而可以(yi)及时发(fa)现新内容与链接，删除不存在的信息，所(suo)以(yi)站长(chang)一定要长期坚持更新(xin)网页，才能使搜索引擎爬虫稳定前来抓取。
2、网站框架设计
对于网站的内部框架的设计，是要从很多方面进行的，其中，代码需要尽量简明清晰，代码过多容易导致页面体积过大，影响网络爬虫的(de)抓取速度。
在抓取网站时，同时(shi)网页flash图片尽量少一些(xie)，flash格式的内容影响蜘蛛抓取，对于新网站来说，尽量选用伪静态形式的URL，这样可以让整个网站的页面都容易被抓取。
在设计时对于锚文本文(wen)字要分布合理，不能全写关键词，要适当的增加一些长尾词链接。对于内部链接设计(ji)也要通畅，方便权重传递。
3、网站导航设计
这(zhe)里顺便提及锚文本建设，站内锚文本有利于(yu)网络爬虫发现和抓取更多(duo)站内网页，但是如果锚文(wen)本太多又容易被(bei)看成是刻意的(de)调(diao)整，在设计时要把握锚文本的数量。
4、稳定更新频率
除了首页的设计之外(wai)，网站还有其他页面。爬虫抓取(qu)时不会对网站上的全(quan)部网页都建立索引，在它们找到重要的页面之前，可能(neng)已经抓取(qu)了足够多的网页离开了。
所以要保持保持一定的更新频率，更(geng)新频繁的(de)页面能轻易被抓取，因此能自(zi)动抓取数量很(hen)多的页面，同时我们要注意网站层级的(de)设计，不能太多，不然也不利于网站抓取。
北京耀途盛世多年(nian)致力于将SMO、SEO、SEM等互联网营销手段有机结合快速打造(zao)企业品牌在线声誉的外包服务(wu)领域。业务涵盖媒体报(bao)道，品牌策(ce)划，品牌建站，SEO,SEM等全(quan)面(mian)的互联网品牌运营推广。
版权声明：本文内容由互联网用(yong)户自发贡献，该文观点仅代表(biao)作者本人。本站仅提供信息存储空间服务(wu)，不拥有所有权，不(bu)承担相关法律责任(ren)。如发现本站有涉嫌抄袭侵权/违法违规的内(nei)容， 请发(fa)送邮件至 1817475@qq.com 举报，一经查实，本站将立刻删除。
