Robots是什么？在网站优化中的作用以及查看方法（图文）

一、Robots是什么

Robots及robots.txt是引擎爬虫的协议，全名叫：“网络爬虫排除标准”（Robots Exclusion Protocol）是一种引擎爬虫协议，网站通过robots.txt协议来制约搜索引擎爬虫的抓取权限，当搜索引擎来到网站的时候首先浏览网站的robots.txt文件协议来衡量自己的抓取权限。

二、如何查看Robots.txt

Robots文件的查看方法有两种：

1、在网址加上/robots.txt来查看.比如在www.tmall.com后面输入/robots.txr查看天猫的协议。

2、我们还可以利用百度站长平台来查看，不过这个只有通过站点验证后才能查看，查看方法点击robots——检测并更新。

三、Robots在网站中的作用

RObots协议可以用来制约引擎爬虫的抓取权限，比如我们网站内有不想被搜索引擎发现|”东西”，这个“东西”可能是一篇文章，一张图片或者一个具体的网页，如我们的后台登陆，数据库，以及伪静态设置的动态元素不希望被引擎蜘蛛抓取，我们就可以通过robots的书写来控制。

对于SEO网站优化来说，通过rbots协议屏蔽做了伪静态处理后的动态路径，避免搜索蜘蛛抓取困难（动态元素超过5个就就造成对蜘蛛爬取不利），屏蔽死链增加蜘蛛对网站的友好度；还可以进行权重的集中，屏蔽不相关的页面，集中权重利于排名。

延伸内容： robots的写作方法与运用