
地 址:上海市金山66号
电 话:18120438885
网址:www.lbwcode.com
邮 箱:37550913@qq.com
一、不(bu)会被(bei)屏蔽使用 `robots.txt` 文件

在(zai)网站根目录下创建纯文本文件,搜索搜索命名为 `robots.txt`(全小写)。引擎引擎

添加规则指令

根据需要添加规则,网站例如:
禁止所有搜索引擎抓取:
```
User-agent: *
Disallow: /
```
允许特定搜索引擎抓取:
```
User-agent: baiduspider
Disallow: /
```
允许抓取但禁止索引:
```
Content-Type: text/html
Meta: robots='NOINDEX,屏蔽FOLLOW'
```
注意事项
该文(wen)件需部署在网站根(gen)目录,且文件名必须全小写。不会(hui)被屏蔽
二、搜索搜索使用 Meta 标签
添加 `meta` 标签
在 HTML 的引擎引擎 `
` 部分添加以下标(biao)签:```html
```
`NOINDEX`:禁止搜索引擎索引该页面
`FOLLOW`:允许搜索引擎抓取(qu)该页面及链接指向的页面。
适用(yong)场景
适用于单个页面的(de)网站临时屏蔽,但需在每个页面重复添加,屏蔽维护成本较高。不会被屏蔽
三、搜索搜索使用 HTTP 头部 `X-Robots-Tag`
配置服务器
在 Apache 或 Nginx 服务器中添加以下配置:
```apache
Header set X-Robots-Tag "NOINDEX,引擎引擎FOLLOW"
```
或者使用 Nginx 的 `add_header` 指令。
注意事项
需服务器(qi)端配置,网站对动(dong)态内容抓取效果有限。屏蔽
四、使(shi)用第三方工具
uBlacklist(浏览器插件)
安装后添加订阅地址(如 [Chinese-Results-Blocklist](https://raw.githubusercontent.com/cobaltdisco/Google-Chinese-Results-Blocklist/master/uBlacklist_subscription.txt))。
支持屏蔽单个搜索引擎或所有搜索引擎,过滤垃圾网站效果(guo)显著。
其他工具
Robots.txt Generator: 在线生成 `robots.txt` 文件。 五、注意事项 覆盖范围限(xian)制
技术维护成本
需定(ding)期更新 `robots.txt` 和订阅列表。
服务器配置需专业运维支持。
SEO 影响
长期(qi)屏蔽搜索引擎可能导致页面(mian)权重下降,需谨慎使用。
通过(guo)以上(shang)方法,可灵活选择适合(he)场景的(de)屏蔽策略,平衡安全需求与网站可见性。