不要让你的网站Sitemap误导了Google蜘蛛打赏

最近众所周知的因素,博客除了固有的几个访客外,基本没有来自百度的访客了,索性趁势修改博客关键字等信息了(因为之前也有大动的想法一直没有实施),也因此导致Google过来的流量也下降了,虽然前几天Google抽的收录直接三万以上,好在现在恢复到了3000左右,但是收录再多,被索引到还是没有一点用,可谓收录不在于多,而在于精啊。

查看Google的收录信息,很大一部分是标签、分类、归档之类的。最近闲来无聊就在robots.txt里面限制了标签、分类、归档之类没必要收录的内容,但是一直没有效果,今天登陆Google的“网站管理员工具”,才恍然大悟,原来是我自己让Google纠结了。大家在发布一个新网站的时候,一般会配合一个最基本的XML Sitemap以更好的被搜索引擎索引,我的博客也不例外的从建立初期就安装了一个名为“XML地图生成器”的插件,主要用于生成Google可以认识的XML形式站点地图,这里我默认设置了标签、分类、归档、页面、文章和首页都包含,这样生成的站点地图就会包含博客所有全部的符合条件的内容了,并且之前我也在Google的“网站管理员工具”中提交过Sitemap了,Google的爬虫自然优先去爬Sitemap包含的内容了(个人认为)。

直至今天登陆工具,我才发现,原来robots.txt里面限制了标签、归档等不能收录,但是在Sitemap里面有这些内容,这样以来就让Google纠结了,到底是收录好呢?还是不收录好呢?于是,在网站管理员工具的站点地图详情中便看到了警告,就是Sitemap contains urls which are blocked by robots.txt.很明显,警告就是因为你的设置让爬虫不知所措,找到原因赶紧下手了,把Sitemap更新下,现在等待Google反应中。

其实Sitemap对于小网站来说没啥必要,Google的John Mueller在Google Webmaster Help里也回答了大家的疑虑:
1、要看网站的规模大小,你不是非要有一个Sitemap文件,我们也会自己索引到所有的内容。
2、当然,如果有一个Sitemap文件的话,你可以随时查看独立的URL地址是否已经正确被索引了。

也就是说对于小站来说,Google完全有能力在没有Sitemap的情况下索引到整个网站。如果你只是想查看URL地址是否被正确索引了的话,Sitemap当然可以做到,但对于小网站来说这样有点多此一举,因为你完全可以将自己的地址输入到Google去搜索来看看被收录的情况,因为你的网站压根也没几页嘛。

相反,不合理的Sitemap则会让Google收录不正常,小子认为,即使你设置robots.txt限制了某些目录等,Google还是会优先根据Sitemap爬网页的,不然网站管理员工具里面也不会出现警告Sitemap里的内容被robots.txt禁止的警告了。

不要让你的网站Sitemap误导了Google蜘蛛
文章《不要让你的网站Sitemap误导了Google蜘蛛》二维码
  • 微信打赏
  • 支付宝打赏

已有62条评论

  1. 刘金平网赚博客

    问个小白问题撒 谷歌都退出中国市场了要是流量都在国内还用得着谷歌SITEMAP么

    2013-01-04 10:13 回复
  2. 网络茶馆-IT起步者博客

    说了这么多还是没有解决办法吗?

    2012-12-21 13:24 回复
  3. HuLi.IT

    右边栏的自动跟随很好

    2012-12-15 13:51 回复
  4. 中国统计年鉴网

    我用点点轻博客,怎么弄sitemap呢?貌似没wp舒服

    2012-09-26 15:57 回复
    • 朴人博客

      这个不清楚,貌似没有吧。你可以自己找找看有没有类似的模板

      2012-09-26 20:18 回复
  5. Surpet

    你博客的AD设置的真巧妙

    2012-07-31 16:50 回复
  6. Surpet

    你博客的AD设置的真巧妙

    2012-07-31 16:50 回复
  7. 数学学习

    这样看来,SITEMAP用不用也就无所谓了,不知对于百度又会是怎样?

    2012-07-30 12:06 回复
    • 朴人博客

      对百度还不知道,这几天折腾太多,百度流量几乎没了,也不见有什么起色

      2012-07-30 14:03 回复
  8. 数学学习

    这样看来,SITEMAP用不用也就无所谓了,不知对于百度又会是怎样?

    2012-07-30 12:06 回复
    • 朴人博客

      对百度还不知道,这几天折腾太多,百度流量几乎没了,也不见有什么起色

      2012-07-30 14:03 回复
  9. 搜趣软件

    用robots.txt禁止收录一些重复页面还是很有用处的。

    2012-07-29 11:38 回复
  10. 搜趣软件

    用robots.txt禁止收录一些重复页面还是很有用处的。

    2012-07-29 11:38 回复
  11. 深蓝

    这一说倒是提醒了我,果断试下!!!谢谢博主!

    2012-07-23 12:12 回复
  12. 深蓝

    这一说倒是提醒了我,果断试下!!!谢谢博主!

    2012-07-23 12:12 回复
  13. CocoVPN

    你好博主,请您帮忙写一篇CocoVPN评测文章,我们会给你20%销售提成,并提供一枚终身9折优惠码。客服QQ:877529212

    2012-07-22 16:35 回复
    • 朴人博客

      不好意思,对这个不大感兴趣,如果有ssh还可以考虑。

      2012-07-22 18:59 回复
  14. CocoVPN

    你好博主,请您帮忙写一篇CocoVPN评测文章,我们会给你20%销售提成,并提供一枚终身9折优惠码。客服QQ:877529212

    2012-07-22 16:35 回复
    • 朴人博客

      不好意思,对这个不大感兴趣,如果有ssh还可以考虑。

      2012-07-22 18:59 回复
  15. 死亡之鹰

    我也是,基本木有百度来的,只有谷歌和搜狗……

    2012-07-22 09:20 回复
    • 穷小子

      我最近更新了sitemap和robots。现在google的来路也少得可怜了。

      2012-07-22 17:03 回复
  16. 死亡之鹰

    我也是,基本木有百度来的,只有谷歌和搜狗……

    2012-07-22 09:20 回复
    • 穷小子

      我最近更新了sitemap和robots。现在google的来路也少得可怜了。

      2012-07-22 17:03 回复
  17. 易优资源

    google现在基本上处于瘫痪状态,经常无法访问

    2012-07-21 20:47 回复
    • 穷小子

      dns换换吧。我一般不会出现不能访问哦。

      2012-07-22 06:17 回复
      • 易优资源

        没用,我们这的DNS就是时好时坏,电信就这样

        2012-07-24 10:15 回复
        • 朴人博客

          貌似我最近也出现这样的情况,有时候ip通,就是解析不上

          2012-07-24 14:05 回复
  18. 易优资源

    google现在基本上处于瘫痪状态,经常无法访问

    2012-07-21 20:47 回复
    • 穷小子

      dns换换吧。我一般不会出现不能访问哦。

      2012-07-22 06:17 回复
      • 易优资源

        没用,我们这的DNS就是时好时坏,电信就这样

        2012-07-24 10:15 回复
        • 朴人博客

          貌似我最近也出现这样的情况,有时候ip通,就是解析不上

          2012-07-24 14:05 回复
  19. ShelWee

    我很纳闷,以前从搜索引擎来的流量基本靠谷歌,现在基本靠度娘了,从谷歌来的越来越少了,不知道怎么搞的。

    2012-07-21 12:38 回复
    • 穷小子

      网站改版了么?

      2012-07-21 15:39 回复
      • ShelWee

        没改,而且最近收录也有点不正常。

        2012-07-21 16:34 回复
        • 穷小子

          我的也是不正常,前几天飙到3万多,现在robots限制了下,貌似正在下降。收录刚好是我文章数目的话最好了。不必那么多,呵呵

          2012-07-21 16:58 回复
    • 周良

      google对大陆用户不是很好,经常链接重置。比如你到google搜索周良博客,直接就链接重置了,有的时候在谷歌里面搜索,出现了内容,点击进入,很多都打不开,因为跳转链接也被墙了

      2012-07-21 18:58 回复
  20. ShelWee

    我很纳闷,以前从搜索引擎来的流量基本靠谷歌,现在基本靠度娘了,从谷歌来的越来越少了,不知道怎么搞的。

    2012-07-21 12:38 回复
    • 穷小子

      网站改版了么?

      2012-07-21 15:39 回复
      • ShelWee

        没改,而且最近收录也有点不正常。

        2012-07-21 16:34 回复
        • 穷小子

          我的也是不正常,前几天飙到3万多,现在robots限制了下,貌似正在下降。收录刚好是我文章数目的话最好了。不必那么多,呵呵

          2012-07-21 16:58 回复
    • 周良

      google对大陆用户不是很好,经常链接重置。比如你到google搜索周良博客,直接就链接重置了,有的时候在谷歌里面搜索,出现了内容,点击进入,很多都打不开,因为跳转链接也被墙了

      2012-07-21 18:58 回复
      • 朴人博客

        嗯。确实啊。没办法,身在天朝不得已了

        2012-07-22 19:15 回复
  21. 篮球比分

    原来还那么多讲究啊

    2012-07-21 10:40 回复
  22. 篮球比分

    原来还那么多讲究啊

    2012-07-21 10:40 回复
  23. 穷小子

    手机评论测试

    2012-07-21 04:29 回复
  24. 穷小子

    手机评论测试

    2012-07-21 04:29 回复

(必填)

(必填)

(可选)