标签‘爬虫’

不要让你的网站Sitemap误导了Google蜘蛛

最近众所周知的因素,博客除了固有的几个访客外,基本没有来自百度的访客了,索性趁势修改博客关键字等信息了(因为之前也有大动的想法一直没有实施),也因此导致Google过来的流量也下降了,虽然前几天Google抽的收录直接三万以上,好在现在恢复到了3000左右,但是收录再多,被索引到还是没有一点用,可谓收录不在于多,而在于精啊。

查看Google的收录信息,很大一部分是标签、分类、归档之类的。最近闲来无聊就在robots.txt里面限制了标签、分类、归档之类没必要收录的内容,但是一直没有效果,今天登陆Google的“网站管理员工具”,才恍然大悟,原来是我自己让Google纠结了。 查看更多...