让你google广告更多一些，Mediapartners-Google/2.1 爬虫对Adsense的分析
在线广告的系统需求最主要有一点：
1] 能够快速识别新网页的类别。
如何针对网页分类一直是一个困惑搜索引擎的问题，即便现有的方法有很多，例如：
LR，NNet(Neural network), Knn K-nearest neighbor, SVM 。
前面我讲述信息的分类的方法基本上按照线性的SVM方法进行分类，但是信息空间一旦加大到几十万维，要计算一个网页的类别是很困难的。
针对在线广告google的Mediapartners爬虫有一些比较好的特征，能够满足在线广告的需要。这里阐述一下Mediapartners的工作原理：
1] 当我们打开一个网页的时候，这个网页：
＜1＞ 已经被Mediapartners 爬过并分类处理了，那么广告的相关性就有了。
＜2＞是一个新网页，我们主要讲述新网页。
2] Mediapartners 爬虫在这个网页被load的同时发现了这是一个新网页，那么
进行最简单的判断：
＜1＞ Url 的标记是否有关键词，例如：
http://www.wespoke.com/football.html
这里的football 马上就作为一个临时的分类的类别。
＜2＞ 如果没有的话这个网页上一级的分类继承为这个网页的临时分类。
如果以上＜1＞ ＜2＞ 都没有，那么刊登公益广告。
3] 然后Mediapartners 进行离线的分析，这里就没有太多的悬念了。Booso.com 最近也做了可以对网页进行分类的计算，例如Mediapartners-Google/2.1 爬虫对Adsense的分析可以在Booso.com 里计算各种类别的权重。
4] 然后下次当网页被浏览时就可以根据权重随机的抽取适合的广告了。
5] 改进
针对更加准确的离线分类，除了Hilltop的方法外，可以增加以下的规则：
＜1＞ 根据网页被搜索到的关键词分类，在线，超强，超准确。
＜2＞ 根据网页的 http_referral 的上一个网页的分类的继承到这个网页。
＜3＞ 根据这个网页里联接出去的 link out 的网页的分类进行反向推导。
