1. 首页
  2. SEO基础

网站robos协议如何写?robos文件制作的注意事项!

摘要:robots文件的优化是SEO优化中比较重要的一步,很多的SEO新手们在做网站SEO优化时对robots协议的写法并不了解,甚至robots是什么都不一定知道,其实做网站SEO优化一切都是取决于细节,细节决定你的网站关键词排名的稳定性,下面小编简单的为大家分享下robots协议的写法以及注意事项!

robots文件的优化是SEO优化中比较重要的一步,很多的SEO新手们在做网站SEO优化时对robots协议的写法并不了解,甚至robots是什么都不一定知道,其实做网站SEO优化一切都是取决于细节,细节决定你的网站关键词排名的稳定性,下面小编简单的为大家分享下robots协议的写法以及注意事项!
网站robos协议如何写?robos文件制作的注意事项!
一、什么是robots

robots是一个协议,给搜索引擎蜘蛛看的,告诉搜索引擎那些文件不准抓取,那些文件可以抓取,相当于学校里的保安,如果是社会上的人保安则禁止进入,如果是学校学生则允许进入,其实就是这个道理,因此,网站页面需不需要搜索引擎蜘蛛抓取可以写如robots协议当中,搜索引擎蜘蛛通过robots文件来识别是否要抓取,robots文件是放在根目录里面的,格式为《robots.txt》

二、robots协议的写法是什么?

1、 robots文件解读

User-agent: *

User-agent指的是针对谁,允许谁的意思,*指的匹配所有的意思,整句话可以理解为允许所有的意思

User-agent: Baiduspider指的是允许百度蜘蛛抓取

Allow指的是允许

/指的是目录下面的层几,路径层次

Allow:/ 指的是允许抓取整个网站的目录

Disallow指的是不允许

Disallow:/ 指的是不允许抓取整个网站的目录

Disallow:/data/指的是不允许抓取data/下面的文件

$:美元符号指的是匹配文件类型的意思,比如:jpg,png,txt,html等文件格式

2、 robots文件需要屏蔽的内容

Disallow: /api/

Disallow: /data/

Disallow: /sourcel/

Disallow: /install/

Disallow: /template/

3、 网站地图可以写入robots文件里吗

网站地图有两种,一种是html的,另一种是xml的,蜘蛛di一时间访问的是robots,所以我们把网站的地图也放在这里,更容易让蜘蛛知道我们网站的文件有什么,两种文件地图都可以写入robots里面!

4、 如何写一个简单的robots文件

User-agent: *

Disallow: /api/

Disallow: /data/

Disallow: /sourcel/

Disallow: /install/

Disallow: /template/

三、robots文件应注意哪些问题?

1、一定不要写对路径,就是不要带我们网站域名。用/代替就可以。

2、注意robots文件中的所有符号都是在英文状态下写的,比如:Disallow:/wp-admin/ 中的“:”是英文状态下的。

3、注意空格;例如:Disallow: /wp-admin/ 中的”:”后面紧跟着是一个空格;

4、注意大小写;例如:Disallow: /wp-admin/zhongDisallow的“D”是大写的。

5、robots是有生效时间的,是由百度决定的,几天或者两个月以内,所以,一定不要随便屏蔽整站。

6、还有一点要弄清楚的就是:

Disallow: /help 意思是禁止蜘蛛访问/help.html、/helpabc.html、/help/index.html所有的带help的文件及文件夹。

Disallow: /help/则是禁止蜘蛛访问/help/index.html这种形式的路径,允许访问/help.html、/helpabc.html,这两个是不一样的,大家要记清楚。

以上是关于“robots协议写法以及注意事项”的全部内容,看完此分享你知道如何去做好robots文件吗?相比大家看完此分析定能感受到robots协议在网站SEO优化中的重要性,希望以上分享能够给你提供帮助!

原创文章:《网站robos协议如何写?robos文件制作的注意事项!》,作者:典创SEO顾问,不经允许,请勿转载,如若转载,请注明出处:https://www.dcseo.cn/730.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

在线咨询:点击这里给我发消息

邮件:911477630@qq.com

QR code