robots爬虫协议,相信很多seoer或个人站长都不会感到陌生,即使刚入行的seo小白也略有耳闻。对于seo小白来说,只是听过robots爬虫协议并不了解robots协议真正意义和用法。今天北京seo就来带大家一探究竟,并教你玩转robots协议。

robots文件


什么是robots协议
robots(中文翻译为机器人),robots协议即搜索引擎爬虫协议,它是搜索引擎爬虫与网站站点沟通的“桥梁”。网站站点通过robots文件中的声明规则明确告知搜索引擎爬虫哪些文件/目录可以抓取,哪些文件/目录不可以抓取。
注意:如果网站站点存在不希望搜索引擎爬虫抓取收录的内容是,才有必要创建robots.txt文件;如果您希望搜索引擎收录网站上所有内容,则无需建立robots.txt文件。
robots.txt文件的存放位置
  通常,网站的robots.txt文件放置在网站根目录下,便于搜索引擎爬虫第一时间抓取该文件。
robots.txt文件格式
1、robots文件通常包含以一条或多条user-agent开始,后面加上若干条disallow或allow。
2、user-agent:用来描述搜索引擎robot的名字。
3、如果存在多条user-agent记录说明有多个robot会受到"robots.txt"的限制,至少要有一条user-agent记录。
4、如果user-agent的值设为*,则对任何robot均有效,且"user-agent:*"这样的记录只能有一条。
5、如果有"user-agent:somebot"和若干disallow、allow行,那么搜索引擎爬虫名为"somebot"只受到"user-agent:somebot"后面的 disallow和allow行的限制。
6、disallow:用来描述不希望被访问的一组url。
7、这个值可以是一条完整的路径,也可以是路径的非空前缀,以disallow项的值开头的url不会被 robot访问。
8、比如:"disallow:/help"这条规则表示的是禁止robot访问/help.html、/helpabc.html、/help/index.html等。
9、比如:"disallow:/help/"这条规则表示的是允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。
10、"disallow:"说明允许robot访问该网站的所有url,robots.txt文件中,至少要有一条disallow记录。
11、如果网站根目录下robots.txt不存在或者为空文件,则对于所有的搜索引擎爬虫来说,该网站都是开放的。
12、allow:用来描述希望被访问的一组url。
13、与disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以allow项的值开头的url 是允许robot访问的。
14、比如:"allow:/hibaidu"这条规则表示的是允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有url默认是allow的,所以allow通常与disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有url的功能。
15、使用"*"and"$":baiduspider支持使用通配符"*"和"$"来模糊匹配。
北京seo如何玩转robots协议
1、禁止所有搜索引擎爬虫访问网站的任何内容
  user-agent: *
  disallow: /

2、允许所有搜索引擎爬虫访问网站的任何内容
  user-agent: *
  allow: /
3、仅禁止baidu搜索引擎爬虫访问网站的任何内容
  user-agent: baiduspider
  disallow: /
  user-agent: *
  allow: /
4、仅允许baidu搜索引擎爬虫访问网站的任何内容
  user-agent: baiduspider
  allow: /
  user-agent: *
  disallow: /
5、仅允许baidu及google爬虫访问网站的任何内容
  user-agent: baiduspider
  allow: /
  user-agent: googlebot
  allow: /
  user-agent: *
  disallow: /
6、仅允许baidu及360搜索引擎爬虫访问网站内容,并且禁止抓取所有图片和php网页内容
  user-agent: baiduspider
  allow: /
  disallow: /*.jpg$
  disallow: /*.jpeg$
  disallow: /*.png$
  disallow: /*.gif$
  disallow: /*.bmp$
  disallow: /*.php$
  user-agent: 360spider
  allow: /
  disallow: /*.jpg$
  disallow: /*.jpeg$
  disallow: /*.png$
  disallow: /*.gif$
  disallow: /*.bmp$
  disallow: /*.php$
  user-agent: *
  disallow: /
  其他的robots爬虫协议规则,北京seo就不在这里给大家一一举例了。大家可以自己去练习并理解,robots爬虫协议也是很重要的。