测试了下蜘蛛,发现点东西,共享下 (非官方测试)
测试者:toking (QQ:275144)
测试对象:Baiduspider
测试历时:1天 (2004-10-27 00:00:00~ 2004-10-27 17:30:00)
测试目的:观察baidu蜘蛛收录方向和顺序
测试方法:×××略
测试结果:首页直接链接的200个链接98%命中,命中时间00:00~11:30
次页链接的2000个链接60%命中,命中时间09:00~19:30
结论:baidu蜘蛛对首页链接敢兴趣,先爬首页的链接,次页的链接会在大部分次页收录完后才去爬
说明:这个只是一天的测试,时间比较短,还没有采取多次测量取平均值的方法,所以存在偶然情况。所以只提供参考,请勿商用!