百度seo公司教您用robts.txt 文件控制搜索引擎蜘蛛?

为了您网站能够让用户搜索到,于是百度有搜索引擎爬虫,同时也称为搜索机器人(bots)或是搜索蜘蛛(spiders),会爬取你的网站,搜索有变动的内容并且重新更新搜索引擎的搜索检索。下面百度seo公司简单的为大家介绍下robots.txt 文件的作用!百度seo公司教您用robts.txt 文件控制搜索引擎蜘蛛?

如何用robts.txt 这个文件去控制搜索引擎蜘蛛

SEO站长们可以使用robots.txt这个文件,来指导搜索引擎蜘蛛应该如何爬取这个网站,当搜索引擎蜘蛛爬取网站时,会先读取robots文件,并且依照规则爬取网站。

※ robots.txt规则虽然是重要的,但是搜索机器人不一定会遵守robot.txt规则,它只是一个执行方针。

※以Google而言,要设定Crawl-delay,是必须在Google管理工具里设定。

※对于浮滥爬取你的网站的劣质搜索蜘蛛,应该研究如何凭借.htaccess里的User-agent去阻挡不好的搜索蜘蛛。

编辑与创建robots.txt 文件

Robots.txt 文件是必须放在网站根目录里,如果你的网址是www.dcseo.cn 是可以读取到的。

网址位置:

https://www.dcseo.cn/robots.txt

同时可以根据不同的后台内容cms管理系统来创建该文件

如果没有这个文件的话,你可以使用txt文本来创建一个新的robots.txt文件,创建好了可以上传到网站地根目录即可。

搜索引擎蜘蛛是会以robots.txt文件规则来抓取网站

robots.txt 文件有许多的规则,可以控制搜索蜘蛛如何爬取你得网站。

User-agent:可以具体指定哪一个User-agent是适用的,如*是万用搭配于全部的User-agent。

Disallow:设定档案或是资料夹,不允许被搜索蜘蛛爬取。

设定全部搜索引擎延迟爬取

如果你的网站有1000页,搜索蜘蛛可能在几分钟内检索全部的网站,然而这有可能导致系统资源使用过度,在短时间内让全部的网页超过负荷,导致网页无法浏览。

延迟30秒的时间,将允许搜索蜘蛛在8.3小时内检索1000张网页。

延迟500秒的时间,将允许搜索蜘蛛在5.8天内检索1000张网页。

你也可以设定Crawl-delay:所有的搜索蜘蛛立即搜索。

User-agent: *

Crawl-delay: 30百度seo公司教您用robts.txt 文件控制搜索引擎蜘蛛?

关于robot.txt 文件的写法

允许搜索蜘蛛爬取全部网站

在预设空白情况下,搜索引擎蜘蛛还是会爬取你的网站,不过你还是可以指定它是允许的。

User-agent: *

Disallow:

不允许搜索蜘蛛爬取全部网站

User-agent: *

Disallow: /

不允许搜索蜘蛛爬取特定一个网站

你可以运用这些规则,不允许特定的搜索引擎蜘蛛爬取你的网站。

User-agent: Baiduspider

Disallow: /

不允许全部搜索蜘蛛爬取特定的文件

如果有些目录如wp-login.php, index.php, 或是后台地址wp-admin我们不想要搜索蜘蛛爬取,我可以使用:

User-agent: *

Disallow: /wp-login.php

Disallow: /index.php

Disallow: /wp-admin/

除了指定的以外,不允许全部搜索蜘蛛爬取

如果我们只想让Googlebot爬取我们的/gybz/目录,但是不允许其他搜索蜘蛛爬取,我们可以这样使用:

User-agent: *

Disallow: /

User-agent: Googlebot

Disallow: /gybz/

当Googlebot读取我的robots.txt文件时,会去理解文件内容,不会禁止全部目录的爬取。

如果想只想要一网页部被抓取检索请参考(江西seo:如何使用<META>标签来限制搜索引擎检索网页)

版权声明:《百度seo公司教您用robts.txt 文件控制搜索引擎蜘蛛?》文章主要来源于网络,不代表本网站立场,不承担相关法律责任,如涉及版权问题,请发送邮件至[dcseo8@163 。com]举报,我们会在第一时间进行处理。本文文章链接:https://www.dcseo.cn/1121.html
(0)

相关推荐

  • seo外链怎么发才能快速提升收录?

    seo外链怎么发才能快速提升收录?想必这个问题对于很多的SEO站长们都有去思考过,随着百度算法的不断更新升级,现如今百度把外链的占比率降低了,但不意味着seo外链建设就没有效果了。…

    2019年7月30日
    1.4K
  • 「赣州seo」定向锚文本是什么,定向锚文本有哪些作用

    锚文本指的是带着关键词的一个链接。比如关键词:SEO。在网站的各个页面出现SEO这个关键词,然后给这个关键词加一个链接,这个就叫做锚文本。那么什么是定向锚文本呢?定向锚文本又有哪些…

    2019年4月22日
    1.4K
  • 石榴算法是什么,如何规避石榴算法

    石榴算法是百度早些年推出的一个算法,那个时候网站很多,广告泛滥,而且不少网站都有弹窗的广告,这样就极大地影响了网站的用户体验,影响了百度整个搜索生态的用户体验。另外就是有不少的网站…

    2019年4月6日
    1.2K
  • 什么叫锚文本?为什么锚文本在SEO中至关重要?

    锚文本对于每个网站seo优化技术人员都会经常使用到,因为他在SEO中起到至关重要的作用,由于现在很多外链都不能做锚文本了,故很多SEO优化人员只能从站内锚文本开始入手,站外锚文本的…

    2019年4月8日
    1.5K
  • 「赣州seo」如何制作Sitemap?制作Siemap需要注意哪些

    Sitemap网站地图,相信对于SEO技术人员来说并不陌生,他是学习SEO基础知识的重要组成部分,但是还是有很多SEO初学者却不知道网站地图是什么,具体有哪些有作用以及如何制作网站…

    2019年4月20日
    1.5K
  • 网站被降权如何快速恢复权重,有哪些补救措施?

    网站降权是每一个站长都会经历的,网站降权也是已经令人头疼的事,网站一夜之间回到解放前,这时你看到这种情况你会很失望的。随着百度算法的不断更新升级,每一次的算法更新升级都会有大批网站…

    2019年7月11日
    1.7K
  • 域是什么,如何确定网站域?

    想必有很多SEO初学者有听过域,但是不知道他有哪些实际意义,随着我们在SEO领域里不断的积累,不断的学习,终会发现SEO优化过程中大多数问题跟域有所关联,想必大家知道域对SEO的影…

    2019年4月8日
    1.3K
  • 江西seo:如何使用标签来限制搜索引擎检索网页

    上一篇文章为大家分享了(百度seo公司教您用robts.txt 文件控制搜索引擎蜘蛛?),这篇文章主要针对的是如何去阻挡网页蜘蛛检索你全部的网站,而今天江西seo小编要为大家分享下…

    2020年10月14日
    1.7K
  • 百度烽火算法升级,持续打击网络劫持问题

    网站劫持对用户伤害极大,严重危害搜索用户的网络安全。一直以来,网站劫持问题都是百度搜索重点关注和严厉打击的问题之一。 百度搜索中的网站劫持有以下两种表现形式: 跳转劫持:用户点击目…

    2019年5月7日
    1.1K
  • 九江seo:新站上线如何快速让百度收录?

    新站上线如何快速被百度收录,相信这个话题是很多SEOer关心的了,之前碰到过一个客户,自己有点SEO基础,他自己公司的网站运营了将近有三个月了,没有一点成效,于是也就到处去咨询一些…

    2019年5月27日
    1.3K