「北京SEO」蜘蛛页面抓取异常应如何处理?

导读:网站收录是很多SEO优化从业人员比较关注的,因此了解页面是如何被搜索引擎收录的,了解搜索引擎的收录原理,都是极有好处的,能帮助你在进行网站SEO的时候尽量遵循收录的规律,提高网站被收录的比例。下面就来和小编一起来了解下蜘蛛页面抓取异常应如何处理?

网站收录是很多SEO优化从业人员比较关注的,因此了解页面是如何被搜索引擎收录的,了解搜索引擎的收录原理,都是极有好处的,能帮助你在进行网站SEO的时候尽量遵循收录的规律,提高网站被收录的比例。下面就来和小编一起来了解下蜘蛛页面抓取异常应如何处理?
「北京SEO」蜘蛛页面抓取异常应如何处理?  1、各类返回码代表什么?

搜索引擎在抓取网页的时候,可能会遇到各种情况,有的页面抓取成功,有的抓取失败。怎么显示一个页面的实际抓取结果呢?主要是通过返回码进行示意,代表抓取成功与否和遇到的问题。

比如我们常见的,有时候打开一个页面,页面一片空白,上面只显示404。这里的404就是一种返回码,代表当前抓取的页面已经失效,遇到显示404的页面,如果短期内搜索,蜘蛛再发现这个URL,也不会对其进行抓取。

有时候,会返回503,503返回码代表网站临时无法访问。可能是网站服务器关闭或者其他临时措施造成的网页无法访问,一般来说,蜘蛛还会继续抓取几次。如果网站恢复正常,URL仍然被当作正常URI处理。如果服务器一直处于不可访问状态,那么搜索引擎就会将这些URL彻底从库中删除。这就要求我们必须维护网站的稳定性,尽量避免临时关闭的情况发生。

返回码403是禁止访问状态,一般来说,如同503一样,如被多次访问仍处于禁止访问状态,就会被搜索引擎从库里面删除。

在返回码中,有一类需要格外注意的就是301。301代表性移除,当前URL被性重定向到另外的URL。一般来说,因为改版等原因,部分URL需要被替换为新URL,就必须使用返回码301进行处理,这样能把权重等一并带过去,避免网站的流量损失。

返回码301的优化写法如下:

(1)创建一个htaccess.txt文件。

(2)在htaccess.txt里写好返回码30l的跳转信息。

假设旧的URL为abc.com,需要重定向到www.abc.com,需在文件里写如下信息:

RewriteEngine on

RewriteCond%{http_host}abc.com[NC]

RewriteRule^(.*)$ http://www.abc.com/$1[L,R=301]

(3)将htaccess.txt上传到FTP,然后将htaccess.txt修改为.htaccess。

需要提醒的是:目前htaccess只适用于Linux系统,并需要虚拟主机支持,因此在考虑htaccess文件处理返回码301的时候,需要查看虚拟主机是否完全支持。

2、信息无法被抓取到如何解决?

(1)采用搜索引擎提供的开发等数据上传通道,可以针对数据进行独立的提交。

(2)采用Sitemap提交方式。大型网站或者结构比较特殊的网站,沉淀了大量的历史页面,这些历史页面很多具有SEO的价值,但是蜘蛛无法通过正常的爬行抓取到,针对这些页面,建立Sitemap文件并提交给百度等搜索引擎是非常必要的。

蜘蛛在爬行网站的时候,会遵循网站的协议进行抓取,比如哪些网页可以给搜索引擎抓取,哪些不允许搜索引擎抓取。常见的协议有HTTP协议、HTTPS协议、Robots协议等。

HTTP协议规范了客户端和服务器端请求和应答的标准。客户端一般是指终端用户,服务器端指网站。终端用户通过浏览器、蜘蛛等向服务器指定端口发送HTTP请求。发送HTTP请求会返回对应的HTTP Header信息,我们可以看到包括是否成功、服务器类型、网页近更新时间等内容。

HTTPS协议是一种加密协议,一般用户安全数据的传输。HTTPS是在HTTP下增加了SSL层,这类页面应用比较多的是和支付相关或者内部保密信息相关的网页。蜘蛛不会自动爬行该类网页。因此,从SEO角度考虑,在建站的时候尽量对页面的性质进行区分,对非保密页面进行HTTP处理,才能实现网页的抓取和收录。

版权声明:《「北京SEO」蜘蛛页面抓取异常应如何处理?》文章主要来源于网络,不代表本网站立场,不承担相关法律责任,如涉及版权问题,请发送邮件至[dcseo8@163 。com]举报,我们会在第一时间进行处理。本文文章链接:https://www.dcseo.cn/704.html
(0)

相关推荐

  • 域是什么,如何确定网站域?

    想必有很多SEO初学者有听过域,但是不知道他有哪些实际意义,随着我们在SEO领域里不断的积累,不断的学习,终会发现SEO优化过程中大多数问题跟域有所关联,想必大家知道域对SEO的影…

    2019年4月8日
    1.3K
  • 「苏州SEO顾问」百度站长工具抓取异常的原因有哪些?

    作为一个合格的SEO站长,抓取异常工具是我们在工作当中经常会使用到的工具,不管你会不会去使用这个工具,今天苏州SEO顾问简单的为大家分享下“百度站长抓取异常工具能给站长们带来哪些好…

    2019年8月6日
    3.4K
  • 「广州SEO」网站优化推广主要有哪些具体步骤?

    随着网络行业的不断发展,由于百度算法的不断更新,现如今做SEO优化是从混乱到有秩序,因此,如何进行网站优化推广操作或者说怎样避免触碰百度算法,这已成了众多朋友的烦恼与问题,下面广州…

    2019年10月22日
    2.3K
  • 苏州SEO:SEO网站流量的来源有哪些?

    SEO网站流量的主要来源有哪些?做seo网站优化的目的无非就是提升用户的访问量(也就是流量),为用户提供有价值的信息,从而通过有价值的信息实现转化,若网站长期未有流量,那么做网站就…

    2019年10月22日
    1.8K
  • TAG标签如何优化,TAG标签页面与分类页面的区别

    摘要:现在很多的开源CMS系统基本上都能做TAG标签优化,而TAG标签页面也是在网站SEO优化中经常会用到的,TAG标签用得好的话SEO效果不错,于是众多的SEOer拼命的去使用TAG标签来做百度关键词排名,却没有合理的使用TAG标签,导致网站出现负面的影响…

    2019年9月22日
    3.4K
  • [聚合营销]聚合页面怎么做有利于网站SEO优化?

    网站聚合页面是一种常用的SEO技术手段,主要是为了在搜索引擎中快速获取流量,合理的使用聚合页面可以提升网站关键词排名,当然不合理的使用聚合页面也是会受到搜索引擎打击的,因此聚合页面的合理制作对于SEO优化也是非常重要的,下面典创SEO顾问简单的为大家介绍聚合页面怎么做有利于网站SEO优化?

    2019年8月21日
    1.5K
  • 「无锡SEO」单页面网站如何做好SEO优化?

    单页面网站其实就一个首页页面,没有栏目页、内容页等其它页面,而很多的SEOer接触的大多数都是多页面网站的优化,因此对单页面优化一无所知,为什么很多的单页面网站排名会很好,其实他只…

    2019年10月23日
    2.7K
  • robos文件未做好导致网站数据出问题应如何解决?

    很多的新手初学者在做网站SEO优化时经常会忽视一个细节,那就是robots文件的合理制作,有些站长们可能认为网站不错robots文件貌似也没很大影响,但是如果不做好的这个文件,有些…

    2019年10月14日
    1.5K
  • nofollow标签在seo网站优化中起到哪些作用?

    nofollow标签是网站优化中非常重要的一个标签,但很多新手站长确还不知道如何正确使用nofollow标签,其实SEO是一个精细活,我们要仔细分析排除任何有可能影响网站排名的因素…

    2020年7月25日
    2.0K
  • 高质量外链如何挖掘,看完你就知道了

    摘要:随着百度算法的不断更新,现如今外链的占比率不如从前,但高质量外链对于网站SEO优化还是存在效果的,因此,很多的SEO站长们都在拼命的寻找高质量外链平台,那么高质量外链平台如何挖掘呢?下面小编就来详细的为大家介绍下!

    2019年9月19日
    2.6K