robots.txt是什么 robots.txt协议有什么用-手机电子游戏网址

行业资讯

2021-09-03

  作为网站优化人员,可能都知道robots.txt协议,在我们站点优化的过程中,起到非常大的作用,但是因为网站的管理者不太重视,所以导致网站刚创建的时候,并没有robots.txt协议文件,那么robots.txt是什么呢,robots.txt有什么用,今天厦门在乎科技为大家robots.txt文件介绍,一起来了解一下吧。

robots.txt是什么 robots.txt协议有什么用


  robots.txt是什么:

  1.robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。

  2.当一个搜索引擎(又称搜索机器人或蜘蛛程序)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

  robots.txt协议有什么用:

  1、引导搜索引擎蜘蛛抓取指定栏目或内容

  2、网站改版或者url重写优化时候屏蔽对搜索引擎不友好的链接

  3、屏蔽死链接、404错误页面

  4、屏蔽无内容、无价值页面

  5、屏蔽重复页面,如评论页、搜索结果页

  6、屏蔽任何不想被收录的页面

  7、引导蜘蛛抓取网站地图

robots.txt是什么 robots.txt协议有什么用


  robots.txt协议的用法:

  1、user-agent:(定义搜索引擎)

  示例:

  user-agent: *(定义所有搜索引擎)

  user-agent: googlebot (定义谷歌,只允许谷歌蜘蛛爬取)

  user-agent: baiduspider (定义百度,只允许百度蜘蛛爬取)

  不同的搜索引擎的搜索机器人有不同的名称,谷歌:googlebot、百度:baiduspider、msn:msnbot、yahoo:slurp。

  2、disallow:(用来定义禁止蜘蛛爬取的页面或目录)

  示例:

  disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)

  disallow: /admin (禁止蜘蛛爬取admin目录)

  disallow: /abc.html (禁止蜘蛛爬去abc.html页面)

  disallow: /help.html (禁止蜘蛛爬去help.html页面)

  3、allow:(用来定义允许蜘蛛爬取的页面或子目录)

  示例:

  allow: /admin/test/(允许蜘蛛爬取admin下的test目录)

  allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

  两个通配符如下:

  4、匹配符 “$”

  $ 通配符:匹配url结尾的字符

  5、通配符 “*”

  * 通配符:匹配0个或多个任意字符

robots.txt是什么 robots.txt协议有什么用


  以上就是今天为大家带来的关于“robots.txt是什么 robots.txt协议有什么用”全部内容,想要了解更多关于网站优化的内容,欢迎关注厦门在乎科技-专注小程序开发、app开发、厦门网站开发

即刻联系「在乎科技」专业项目经理为您提供产品咨询和项目报价!

contact us

联系手机电子游戏网址

联系电话:

131-6399-9993

电子邮箱:

公司地址:

厦门市思明区湖滨南路388号国贸大厦34d单元

公司地址