屏蔽Google蜘蛛还需留意meta形式的noindex打赏

之前一直使用All in one SEO pack,也一直知道这个插件的优缺点,这段时间在家没事,就索性卸载了插件,不但效率高起来了,后台主题列表也一下子清爽了许多,之后通过修改代码处理了title、description等,将近半个月时间过去了,Google、百度的收录还算稳定,但是在Google、百度的搜索结果中就是不出现关于、链接等页面的收录。

开始一直以为是因为最近设置了robots.txt屏蔽tag和归档页的收录,屏蔽了相关的收录,使用Google的在线管理平台测试也是通过的,没有任何问题,设置了robots.txt屏蔽后也确实不少不希望收录的页面收录受到影响,但在Sitemap.xml里面出现的网址很多是robots.txt里面所不允许的,这样就出现了Google站长平台的警告,详见《不要让你的网站Sitemap误导了Google蜘蛛》。

修改了Sitemap.xml的相关生成选项,警告是没有了,但还是迟迟不见关于页等出现在搜索结果中,今天细条相关参数,终于发现了问题,原来在关掉All in one SEO pack之后,曾尝试性的在模板的meta里面添加了<meta name="Googlebot" content="noindex,follow"/>项,为了避免首页和文章也收录受影响,通过php判断语句根据不同条件选择是否打印此meta值,而条件只有!is_single()和!is_home(),这样以来,我希望收录的分类目录页和关于页等页面都会出现<meta name="Googlebot" content="noindex,follow"/>,对于百度,可能是反应慢的结果,但对于Google,这却是条严格的限制。

查了资料,好像现在完美支持meta的抓取限制的搜索引擎没几个,而Google就是其中之一,虽然没有了Sitemap.xml与robots.txt的冲突,但却出现页面meta不允许抓取,这样,还是不会出现在搜索结果中的,所以说,屏蔽Google蜘蛛还需留意meta形式的noindex,如果你设置了meta来屏蔽,就要保证你的判断全面一点,这样才能够保证需要收录的页面都能够收录。

对于修改meta后的生效时间,暂时未知,小子也是刚刚修正过来,等待生效中,不过,在没有必要的情况下,如果设置了robots.txt,把相关的meta取消也是一样的。毕竟实现的都是一个效果而已,何必多此一举呢?当然,这里小子只是为了测试,所以另当别论了。

屏蔽Google蜘蛛还需留意meta形式的noindex
文章《屏蔽Google蜘蛛还需留意meta形式的noindex》二维码
  • 微信打赏
  • 支付宝打赏

已有38条评论

  1. 土木坛子

    这些东西我是不管的,聪明的搜索引擎会知道如何处理。

    2012-08-04 22:42 回复
    • 朴人博客

      我也有打算不做限制了,限制搞的google收录降了很多

      2012-08-04 22:45 回复
  2. 搜趣软件

    我就没用这插件,好像现在就算写了keywords,description也没什么用。

    2012-08-02 11:51 回复
    • 朴人博客

      现在百度貌似反应很慢,收录还是不见提高,估计我更换几次cdn,加上博客被攻击,导致现在的情况了

      2012-08-02 14:17 回复
  3. 搜趣软件

    我就没用这插件,好像现在就算写了keywords,description也没什么用。

    2012-08-02 11:51 回复
    • 朴人博客

      现在百度貌似反应很慢,收录还是不见提高,估计我更换几次cdn,加上博客被攻击,导致现在的情况了

      2012-08-02 14:17 回复
  4. 大葱

    没用过这插件,全是手动修改滴。

    2012-08-01 20:44 回复
  5. 大葱

    [吃惊] 没用过这插件,全是手动修改滴。

    2012-08-01 20:44 回复
  6. 夜央

    。。。这种东西有那么复杂么。什么都没搞,本来用all in one的,后来发现主题自带 seo功能了。两者会重复。索性就写在了。收录什么的,百度貌似刚开始一个星期突然不收录了。不过现在恢复了

    2012-08-01 15:49 回复
    • 朴人博客

      都一样额。主题自己做了seo优化就省事多了。修改主题加代码效率就是比插件高点。

      2012-08-01 17:49 回复
      • 夜央

        额。我用了一个月是ALL IN ONE 某天发现我的任何页面都有相同的两个…

        2012-08-01 20:13 回复
        • 朴人博客

          重复了吧。呵呵

          2012-08-01 21:09 回复
          • 夜央

            向百度学习~!重复~

            2012-08-01 21:39 回复
            • 朴人博客

              百度怎么了,重复?

              2012-08-01 23:44 回复
              • 夜央

                百度最爱重复收录了。管你写不写robots.txt

                2012-08-01 23:46 回复
                • 朴人博客

                  这样额,还真不清楚。

                  2012-08-01 23:48 回复
                  • 夜央

                    我一个月前改了robots.txt写了disallow: replytocom 的语句,到现在照收不误。烦死了。不过貌似收的少了

                    2012-08-01 23:59 回复
                    • 朴人博客

                      呵呵。有人直接disallow:/据说可以限制收录

                      2012-08-02 00:02
                    • 夜央

                      这个是真的

                      2012-08-02 00:59
  7. 夜央

    。。。
    这种东西有那么复杂么。
    什么都没搞,本来用all in one的,后来发现主题自带 seo功能了。两者会重复。索性就写在了。收录什么的,百度貌似刚开始一个星期突然不收录了。不过现在恢复了

    2012-08-01 15:49 回复
    • 朴人博客

      都一样额。主题自己做了seo优化就省事多了。修改主题加代码效率就是比插件高点。

      2012-08-01 17:49 回复
      • 夜央

        额。我用了一个月是ALL IN ONE 某天发现我的任何页面都有相同的两个…

        2012-08-01 20:13 回复
        • 朴人博客

          重复了吧。呵呵

          2012-08-01 21:09 回复
          • 夜央

            向百度学习~!重复~

            2012-08-01 21:39 回复
            • 朴人博客

              百度怎么了,重复?

              2012-08-01 23:44 回复
              • 夜央

                百度最爱重复收录了。管你写不写robots.txt

                2012-08-01 23:46 回复
                • 朴人博客

                  这样额,还真不清楚。

                  2012-08-01 23:48 回复
                  • 夜央

                    我一个月前改了robots.txt写了disallow: replytocom 的语句,到现在照收不误。烦死了。不过貌似收的少了

                    2012-08-01 23:59 回复
                    • 朴人博客

                      呵呵。有人直接disallow:/据说可以限制收录

                      2012-08-02 00:02
                    • 夜央

                      这个是真的

                      2012-08-02 00:59
  8. 即时比分

    貌似在哪看过这篇文章

    2012-08-01 13:13 回复
  9. 即时比分

    貌似在哪看过这篇文章

    2012-08-01 13:13 回复

(必填)

(必填)

(可选)