搜狗网页搜索3.0于2007年1月1日正式上线，号称首个百亿规模的中文搜索引擎，收录100亿网页。
打开SOGOU首页，“3.0”，“100亿”两组数字尤为显眼，看来SOGOU在拿抓取100亿页面来做文章，吸引众人眼光。但其所称的100亿数字，令远方质疑，抓取的100亿页面质量怎么样，如果将一堆垃圾网站的页面抓来，不如不统计。
根据搜索研究2年的经验，远方试用以前研究搜索的方法前去搜索了某些关键字，得到的结果令人惊讶。首先拿“搜索 %D0%A1%CB%B5”(注意:%D0%A1%CB%B5 实际是搜索引擎中UTF-8中文字"小说"的编码)当做关键字去搜索，得到了“1,463,786”个结果，根据前几十页显示，SOGOU抓取的几乎是互联网某些网站搜索结果的页面。比如第一名，抓的是百度相关搜索的文章。如下:
============================================================================= 百度相关搜索
词,可查看搜索结果): 关键字 被搜索次数 1 (C)2006 Baidu 此内容系百度根据您的指令自动搜索的结果,不代表百度赞成被搜索网站的内容或立场 少妇白洁 绿帽风云2 少妇白洁 张敏 全集 少妇白洁 全集 下载
d.baidu.com/...少妇小说阅读&tn=baidu - 29k - 2006-12-30 - 网页快照 - 类似网页
d.baidu.com站内的其它相关信息
============================================================================
SOGOU本身是做搜索的，又去抓其他站的站内搜索，这样做是为了什么呢？原因之一，就是为了增加收录量，因为一个网站，站内搜索关键字可以去换，比如远方在百度搜索音乐，SOGOU抓一次，远方在百度搜索影视，SOGOU再抓一次，这样的话，搜索的次数越多，SOGOU抓的可能性越大，这种方法是SOGOU号称抓取百亿网页的其中之一。这种作法不会影响SOGOU的搜索质量，又同时给SOGOU增加了数据量，SOGOU在这点很聪明。
针对做弊网站，SOGOU也是照抓不误，百度针对做弊网站的作法是封杀，然而SOGOU几乎不封的，只是降权，这一点又为SOGOU在数据量上做了贡献。像GOOGLE上的做弊网站也很多，多数虽然不封杀，但不会拿抓取网页数作为搜索宣传的手段。
远方又想到了个方法测试SOGOU抓取百亿页面的方法，就是利用几乎每篇文章中几乎出现的“com”，“的”等前去搜索，结果也令人失望，“com”词在SOGOU搜索中只找到“1,428,761,785”个结果。百度搜索“com”的结果个数为“100,000,000”，GOOGLE搜索“com”的结果个数为“628,000,000”，YAHOO中文搜索“com”的结果个数为“1,570,000,000”。在这个特别关键字上，百度，GOOGLE，YAHOO已经将此关键字的搜索结果个数处理了，SOGOU的数据应该是未处理的，其结果只有14亿多。很明显的看出，SOGOU网页抓取数据之多，但供检索的数量远没有100亿那么庞大。
远方利用SOGOU的“比比看”试着搜索了一些热门关键字，发现SOGOU的技术的确大有进步，好些词的结果满意度已经超过了baidu与GOOGLE。网页搜索质量上去了，但也不能撒谎称自己拥有百亿搜索结果，用户关心的是搜索质量，不是搜索数量。搜索行业，2007又是残酷竞争的一年，SOGOU要想一统天下，下面就要看怎么从百度，GOOGLE中抢用户了。
备注:为了解答自己心中搜索3.0的疑团,远方再次对比了baidu和sogou对同一站点,收录和排名情况.
1:排名机制很大部分相同,同一网站,同一关键字,在两个站之间的位置几乎雷同.既然用户体验baidu的搜索结果不错,那sogou也相差不远了.
2:收录情况,针对上面提到的几点，sogou数据大于baidu 数据.
3:爬虫活跃情况:以www.xunlu.net/yp 为例, sogou爬虫活跃程度比baidu 多了近两倍.
大家可以去网站查看访问记录.本人把数据公开了一下.
得出的结论是:sogou很有可能赶上baidu....
现在结论下得尚早,让朋友们自己去判断吧.当然，答案六个月就能见分晓.
|
