Robots.txt的组成与写法运用

Robots.txt的组成与写法运用

一、Robots.txt的组成：

Robots.txt协议是由三个命令值，四个通配符组成的。

1、三个命令值

• User-agent：用户代理,利用该命令来区分各大搜索引擎爬虫。
• Disallow：不容许，禁止。
• Allow:  允许。

2、两个通配符

• “*” 匹配多个任意字符。
• “$” 匹配行结束符。

二、Robots.txt的写法运用

• User-agent: Baiduspider  （指百度引擎爬虫,当然也可以是Googlebot谷歌爬虫）
• User-agent: *    （加通配符*泛指的是所有的搜索引擎）

2、Disallow

Disallow的意思是禁止不允许搜索引擎爬虫抓取。网站有不想被引擎抓取的内容，如后台隐私、动态地址、死链等等，都可以利用Disallow进行屏蔽：

Disallow的写法是：

• Disallow: /   （单独的”/”指全站都不允许被引擎榨取）
• Disallow: /admin/ （不允许抓取admin文件夹中的所以文件，这里的”/xxx /”是指完全匹配及精确的意思）
• Disallow: /a  （/a是指以a开头的路径的都不允许抓取）
• Disallow: /xxx.html （指的屏蔽xxx.html这个网页）
• Disallow: /*.gif$   （指引擎不允许抓取”gif“格式的图片，*匹配任意字符,不论.gif前面的是什么字符主要包含，$匹配url结束）
• Disallow: /*?xxx* （？xxx指动态参数的规律，表示包含“?xxx”的路径都不允许抓取，一般用来屏蔽动态路径)

3、Allow的写法和运用：

Allow是允许被抓取，和Disallow配合使用

• 如Disallow: /am，Allow: /am5/：那么这段指令的意思是，不允许抓取以已am开始的文件，但是允许抓取am5这个文件。

4、

4、Robots的操作规范和注意要点：

• 新建txt文档并以robots命名（一行只能写一个指令）。 
• 注意要点：User-agent: / ；Disallow: /；  Allow: /所有的指令开头字母必须是大写,且有:号后面加上空格。
• 主要屏蔽图片时，前应在图片格式前加上点“.”。
• 进行robots操作时一定要区分大小写，并确保需要操作的目标，与源文件的名称一样。
• 上线后切勿进行伪静态屏蔽！否则会造成大量死链产生，对网站优化造成不利。
• 写好的robots文件上传到网站根目录。
• 
• 检测robots.txt是否成功，输入“网站/robots.txt”看是否能打开，显示的内容是否符合。。
• 使用百度站长工具robots，检查网站robots.txt是否生效。

推荐内容：ots在网站优化中的作用以及查看方法