1. 首页
  2. SEO基础

「九江seo」robos是什么 制作robos文件的注意事项!

robots文件和Sitemap文件是网站seo优化的重要组成部分,robots文件主要是告诉搜索引擎哪些页面需要抓取哪些页面不许抓取,而Sitemap文件是聚集需要搜索引擎去抓取的页面的URL链接,作为seo人员来讲,在网站制作完之后准备上线需要做好的工作。下面九江seo就来给大家讲讲robots文件!
「九江seo」robos是什么  制作robos文件的注意事项!
一、robots是什么

Robots(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”,网站通过robots告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。简单的来说,网站上有一部分内容允许搜索引擎收录,又有一部分内容不允许搜索引擎收录,于是需要做一个许可文件放入到robots文件,搜索引擎需要通过robots文件才知道哪些页面允许抓取,哪些页面不允许抓取。robots文件具体怎么制作可以去百度资源平台详细的了解下。

二、制作robots文件的注意事项

1.针对所有搜索引擎则用星号(*)表示,比如:User-agent: *;

2.Allow和Disallow优先级,Allow优先于Disallow

3.至少屏蔽一个,可以屏蔽:搜索结果页面/404页面

3.记得放入Sitemap文件(主要是让搜索引擎更好的抓取网站Sitemap文件)

4.可以陆续放入更多,而不是一次性决定所有

5.网站后台地址/图片地址/下载文件地址/错误链接(发现这些链接记得放入robots文件并做好禁止搜索引擎抓取)

6.一个月生效

以上是至少制作robots文件需要注意的相关事项,robots文件具体怎么制作可以查看百度资源官方平台,也可以去参考一下一些大型的网站是如何制作robots文件。比如:淘宝、京东等大型内的网站。

原创文章:《「九江seo」robos是什么 制作robos文件的注意事项!》,作者:典创SEO顾问,不经允许,请勿转载,如若转载,请注明出处:https://www.dcseo.cn/265.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

在线咨询:点击这里给我发消息

邮件:911477630@qq.com

QR code