电脑技术学习

google不收录网站的解决方法

dn001

  本人2个小站分别是2月底和3月初上线,其中一个站在上线第2天百度就成功收录,另一个大约在第3天百度也收录进去了,此时google还完全没动静。新站考察期,收录得慢点还是可以理解的,这是我当时的想法。

  一直到3月中旬,百度也就收录了2个站的首页,yahoo勤快点,收了大约100个页面。这时候我就有点迷糊了,在我印象中,百度是个难伺候的主,一般我的网站,百度Vs谷歌的收录数量大约在1:3左右,感觉百度的要求比google要严格得多。为啥这次对我的新站考察期这么长?于是用同样的网站程序,重新申请域名在另外的空间上架站,3天后百度google均正常收录,看来google不收录我的站是有原因的。

  打开IIS日志检查googlebot的爬行记录,看到googlebot只有访问网站首页的记录,完全没访问其他页面的记录。并且日志如下反映:

  2009-03-01 00:07:10 W3SVC9361715 192.168.0.3 GET /index.html - 80 - 222.73.247.122 Googlebot/2.1+(+http://www.google.com/bot.html) 200 0 0 1236

  基本上googlebot每天从00:07左右开始到我的站爬行。但是全部的爬行记录都是针对首页的,在爬行记录的最后返回代码均为200 0 1236。

  在这里,200 0 1236代表的是什么?我查遍了google yahoo baidu ,谈论200 0 64的很多,可就是没有1236的解释。这段时间人真的是要抓狂!后来终于发现了一篇文章谈到了1236的含义。他是这样解释的:

  Google降权与200 0 1236蜘蛛状态码 前几天以为自己服务器上的站点所有在Google降权,在Google的Site结果里出现几种奇怪现象;

  1.收录大减。

  2.所有网站首页Google捉取不完整(这是第一见到的奇怪现象)。

  3.网站IIS日志分析看到(200 0 1236 蜘蛛状态码)这也是第一次见到这。

  从以后分析网站所有给Google降权,由于群站引起,都是猜想起,开始自己测试找到原因,三天后更换了服务器ISP商也换了IP,最后的测试结果是更换了IP后问题依然,肯定了这情况与IP无关,之后再测试是否与自己网站有关,之后把自己的某一些网站转到了外省的空间里,网站又变得了收录正常,在此也肯定了不是自己网站的问题,之后觉得就是自己服务器可能设置了什么或ISP商哪里设置的问题。

  一般正常的蜘蛛状态码200 0 0或 200 0 64为正常的,出现了200 0 1236这情况在论坛里有人说是"1236 本地系统已经终止网络连接"我也查了相关资料原来是指Win系统网站错误提示的意思,那自己就肯定了是这么回事,当Google蜘蛛访问网站首页时,当他只访问了网站的几K后,网络就终止了他的访问。就出现了这一种情况。结果发现不是网站给Google集体降权,200 0 1236 蜘蛛状态码也显示了不是自己网站问题,而是ISP商的硬件防火墙所引起的。

  既然有可能是防火墙,而且极可能是防火墙造孽,那就验证一下防火墙是否对googlebot的正常抓取进行了拦截。但是又不能把服务器直接放置在公网上进行测试,那会成肉鸡的。最后我用的www.myip.cn读取网站的head和body记录。在google不收录期间,在myip查询我的网站,head和body全部查询不出来,总是显示error ,当我把服务器直接接入到公网上,再去myip查询我的网站,head和body数据读取正常!看来确实是防火墙的问题。

  接下来的任务就简单了,4月2号上去升级防火墙软件,然后再反复用myip查询网站测试,直到当你修改网站的关键字或者网站描述后,在myip能正常显示你网站的数据为止。防火墙搞定后,继续观察IIS日志,200 0 1236已经完全消失,取代的全部是200 0 0 的正常访问记录。3号去google查了下,没收录,4号去查,还是没,要崩溃了。难道是windows server的问题?5号早上起床后,下定决心准备去重装服务器系统,在下手前我去google上site了一下,www.189book.com收录了3页。www.cn-vogue.com收录了17页。额滴神呐,终于收录了。yahoo都收了1000+了,建站也超过1个月了,google的大更新也错过了,他终于收录了。我不知道应该是种什么样的心情。

  在解决google不收录网站的问题期间,查阅了大量的资料,比如IIS日志里win32代码(Windows网络消息号码)详细列表,还有一些其他的资料,我放在自己的小论坛里了,大家要是有兴趣,可以去查一下,在这里就不多说了。

  最后给我可怜的2个站做点小宣传吧,希望大大别K我。

  风尚中国

  189小说搜索网

  有同类站的,一起做个链接吧,在没被google收录期间,出去找友情链接碰了好多钉子。不是google瞧不起我的站。确实是有原因的。