说说Google的挑战者Cuil 挑战者联盟第一季

2008年7月28日,对于IT业界来说,或许是一个划时代的日子。Google的挑战者,Cuil(音Cool)上线了。

想挑战Google的公司很多,为什么Cuil 这么受人关注?

[1] 原因一,人

Cuil之所以可怕,最主要的是因为它的几个核心人物,掌握了Google的核心机密。

其中Anna Patterson和Russell Power是Google的前雇员,直接负责Google的索引和PageRanking工作。

LouisMonier是最早的搜索引擎,AltaVista的创始人之一,后来加入eBay,负责搜索引擎工作。再后来,也加入Google,主管一个垂直搜索产品。

Cuil 的CEO,Tom Costello,虽然不是Google出身,但是在搜索引擎领域,也经营已久。他是Stanford计算机系的博士,毕业后留校任教,直到2000年,入职IBM,负责WebFountain的研发工作。WebFountain区别于其它搜索引擎的特点,是给文章分类。同时,Tom是Anna的丈夫,从某种意义上说,Cuil是一家夫妻店。

[2] 原因二,规模

在Cuil的主界面里,有这么一行小字,“Search 121,617,892,992 webpages”。而且,这个数字将会不断增大。

讨论Cuil的文章陆续出现,有不少论者认为,Cuil的索引规模大,甚至超过了Google的索引的规模。索引大的好处是,用Cuil可以找到在Google搜索不到的网页。

果真如此吗?

2008年7月25日,Google官方博客中有这么几个数字。1998年,Google刚上线的时候,它的索引涵盖了大约26,000,000个网页。到了2000年, Google的索引增加到了大约1,000,000,000个网页。而目前,Google的索引进一步增加到了大约1,000,000,000,000个网页。

如果Google和Cuil都没有说谎,那么Cuil的涵盖量非但不比Google的大,反而要小8倍。

尽管可能不比Google的大,Cuil的索引不小,这是不争的事实。所以,从网页的涵盖规模来讲,Cuil有实力与Google一拼。

[3] 原因三,信息分类

Google之所以成功,很大程度上取决于它能找到用户想要找的网页。从技术上讲,PageRanking被证明是一个行之有效的,对结果排序的算法。

Cuil不仅对搜索结果排序,而且对结果分类。譬如你搜索“Olympicgames”,Cuil把搜索到的结果分为几类,包括夏季奥运会,冬季奥运会,古代奥运会等等。

不仅对搜索结果分类,而且把每一个类,再进一步细分为若干子类,依此类推,形成一个树状结构。

Cuil的界面设计,反映了分类的树状结构的顶部三层节点的内容。

如果把所有搜索结果看成是一棵树的根节点,那么Cuil界面上半部的横向的Tab,枚举的是根节点以下第一层的节点。

而Cuil界面右边的纵向的Drilldown,枚举的是第二层和第三层节点。当用户点击不同的Tab,Drilldown里的内容也相应变换。

反映三层分类的界面设计,用户体验是否好?

我把自己当着实验室的白老鼠,亲自体验了几天,感觉是,1. 层次不是关键问题,三层可以,两层其实也不错。2.不满意的是分类不准确。明明已经进入“夏季奥运会”子类,偏偏还是看到冬运会的网页。

[4] 分类是否有意义

譬如你想搜索诺贝尔经济学奖得主,科斯在2008年7月14日,在“中国经济改革”学术研讨会的开幕致词,你不需要分类,只需要排序。

如果搜索的目标明确,只需要排序,不需要分类。

如果搜索的目标不明确,走马观花,分类是一个友好的提示,它帮助你把模糊的期望,转变成明确的目标。

[5] 是分类,还是聚类,这是一个问题

从Tom以往的论文猜测,Cuil实现搜索结果分类的办法,是根据网页内容,把网页聚类(clustering)。

Cuil表面上看是分类(classification),而暗地里是聚类(clustering),岂不是自相矛盾?个人认为,这个问题无妨大雅。不管是什么实现手段,对于用户而已,只要分类做得正确即可。Clustering也好,classification也好,甚至人工分类也好,可以兼容并蓄,相辅相成。

Cuil目前偏重于clustering,大概是因为clustering更好操作。

据说常用的英文单词只有两万多个。如果把每一个单词作为一个坐标轴,轴上的刻度是对应单词出现的频率,那么每篇网页都是这个两万多维的空间中的一个点。

如果把所有网页都作为一个点,投射到这个两万多维空间里去,会发现这些点的分布不是均匀分布的,它们像云朵一样围绕着几个中心。聚类算法的目标,就是发现这些云朵的中心,以及云朵的边缘。

[6] 聚类面临的难题,主题的缺失

当用户搜索“Olympicgames”的时候,Cuil搜索到了很多相关网页,这些网页三三两两聚集成几朵云。如何给着几朵云取名是一个问题。Cuil把它们命名为“夏季奥运会”,“冬季奥运会”,以及“古代奥运会”。问题是,这些名字是怎么来的?

解决方案1,根据每朵云的中心所对应的词命名,尤其是那些高频出现的词。但是高频词和主题词并不总是一致的,主题词是概括。一篇主题是冬季奥运会的文章中,高频词很可能是“滑雪”和“滑冰”,而不是“冬季奥运会”。所以,这个方案不太可行。

解决方案 2,预先构建一个语义网(semanticnetwork),罗列出所有的常见词,以及词与词之间的关系。词与词的关系包括从属,同类,同义,反义等等。然后根据每朵云的中心所对应的词,找到他们共同的,而且是最小的属类。

譬如,“滑雪”和“滑冰”的最小属类是“冬季运动”,而不是泛泛的“运动”。又譬如,如果在文章中,不仅高频出现“滑雪”,“滑冰”这两个词,而且也出现“奥运”这个词,那么“冬季运动”这个属类的范围太小,需要进一步扩大,于是“冬季奥运会”成为一个合适的概括。

构建语义网(semanticnetwork)可不是一件容易的工作。Princeton大学的研究者们制作了一个wordnet。但是用户们对wordnet不满意,原因,1.涵盖范围不广,2. 实用性还有待提高。

譬如,假设我们想做一个生活搜索引擎,当用户输入“牙膏”,期待搜索引擎返回日用百货品商店。但是如果依赖wordnet,搜索引擎找到的,不是百货品店,而是牙科诊所。

解 决方案3,预先构建一个分类树(taxonomy)。譬如,音乐可以分为古典,爵士,摇滚等等。而古典又可以进一步细分为协奏曲(concerto),奏鸣曲(sonata)和交响乐(symphony)等等。然后找到和每朵云最相关的分类树的节点。所谓“找到”,实际上就是分类(classification)的工作。

分类树和语义网不同,它的目标不是涵盖所有词,以及所有词与词的关系。它关注的,是如何用一颗最小树,把所有内容分类。所以,比较分类数和语义网,最明显的区别是分类树比语义网,在尺寸方面要小的多。

分类树比语义网要容易构建,事实上,任何门户网站,如新浪和Yahoo!的主版面,都隐含着分类树。譬如,新浪新闻的主版面,把新闻分为政治,财经,军事,社会,体育,娱乐等等。而体育新闻又被细分为奥运,足球,篮球,田径,甚至体育彩票等等。

分类树的方案最容易操作。但是缺点是现有的分类树涵盖范围有限,需要进一步扩大。以往分类树的构建,都是人工完成,如果要进一步扩大树的规模,有没有办法让机器自动完成,或者机器和人工协作完成呢?

[7] 人立方启示录

2008年8月1日,就在北京奥运会即将开幕前夕,设在北京的微软亚洲研究院,公布了一条具有轰动性的科研成果,他们把这个成果命名为"人立方"。我们知道奥运游泳场馆的名字叫“水立方”,水立方这个名字比较贴切,因为场馆外形是一个四四方方的盒子,而盒子里面主要是水池。但是人立方是什么呢?

我们不妨亲自体验一下,http://renlifang.msra.cn。

譬如,你可以去查查周杰伦的人际关系。你会发现,他与萧邦的关系是偶像,与蔡依林的关系是女友,而与李宇春的关系是新欢。你也可以用它来查查你自己的人际关系图。

通常来讲,你的媒体曝光度越高,人立方的准确性就越高。反过来,如果你发现人立方对你的关系网描述极其不准,在责备人立方的质量之前,可能你应该先认识到,做人低调,是美德,但是同时也给人立方制造了难题。

既然我们有能力来发现人与人的关系网,我们也可以研究词与词,词组与词组的关系。不妨给这个技术取个名,“词立方”。或许你会问,词立方和wordnet不是一回事吗?有两个区别。

区别 1. Wordnet涵盖所有单词,而词立方不追求涵盖所有单词,它只关注用户经常搜索的那些词,还有词组。

区别 2.Wordnet的构建,主要依赖于语言学专家们人工定义每个词的含义,以词与词的相互关系。而词立方的构建依赖于统计。

通过统计,我们知道“滑雪”和“冬奥会”这两个词之间存在很强的统计相关性,但是我们并不清楚它们之间是从属关系。

我们需要不需要知道词与词的关系?换句话说,是不是知道词与词的统计相关性就足够了?

[8] 人有交际花,词有。。。?

1998年,美国圣母大学的物理学教授Albert-LaszloBarabasi写了一本书,书名叫“链接,网络的新科学(Linked,new science ofnetworks)”。

我们通常以为,大多数人的平时交往的人数应该在20-30人之间。有些人特别热衷社交,他们交往的人数会多一些。还有一些人习惯于离群索居,他们交往的人数低于20人。所以,人的社交范围应当服从正态分布。

但 是Barabasi的研究结果表明,人的社交范围服从正态分布这个设想是不成立的,正确的分布是幂次分布(Power lawdistribution)。通俗一点讲,20%的人的交友面非常广泛,譬如公众人物,他们是人际关系网的中枢(hub)。而80%的芸芸众生,他们的交友面十分有限。

我们可以沿用人立方的做法,分析一下词与词的相关性。词与词的相关性的分布,是服从正态分布还是幂次分布?这将是一个有趣的问题。

Barabasi的猜测是服从幂次分布。如果他的预言是正确的,那么对于网页聚类(clustering)而言,这是一个非常好的消息。

我们前面提到,据说常用的英文单词只有两万多个。如果把每一个单词作为一个坐标轴,轴上的刻度是对应单词出现的频率,那么每篇网页都是这个两万多维的空间中的一个点。

如果把所有网页都作为一个点,投射到这个两万多维空间里去,会发现这些点的分布不是均匀分布的,它们像云朵一样围绕着几个中心。聚类算法的目标,就是发现这些云朵的中心,以及云朵的边缘。

问题是,在两万多维的空间里,网页对应的点的分布,会非常分散。分散到很难确定云朵的中心和边缘。

如果词与词的关系是服从幂次分布的,我们就可以用那些少量的中枢词(hubwords)去替代两万多个常用词,这样我们就不必在两万多维的空间里,分析云的中心和边缘,而是在低度空间里去做同样的事情。这样,聚类的难度将会大大降低。

[9] 关于“理论的终结(The End of Theory)”

Chris Anderson,是美国著名IT杂志,连线(Wired)的主编,他因为写作“长尾(The Long Tail)”一书而名声大噪。Chris早年是学物理的,毕业后曾经去美国Los Alamos国立实验室任职。Los Alamoslab,于二战后期成立,最初的目标是研制原子弹,即使到了今天,它仍然是从事核物理研究的重镇。被诬陷向中国泄露核机密的李文和,就是在这个实验室工作。但是Chris并没有埋头于物理方面的研究,他花了很多时间给杂志写稿,后来,干脆入职“经济学家(Economist)”杂志,成了专职作家。

2008年6月23日,Chris发表了一篇题为“理论的终结”的文章。对于一个曾经的物理学家而言,这篇文章非常离经叛道。物理学家的理想,是把现实世界观察到的现象,简练地概括成一个模型。譬如,牛顿第二定律F=aM就是一个光辉的典范。

听听Chris怎么说,http://www.wired.com/science/discoveries/magazine/16-07/pb_theory

“从宇宙运动的等式到人类行为的理论,模型似乎能够圆满地解释我们周围的发生的一切,即便不能说完美。但是,这一切到今天该结束了。今天,像Google这样的公司,他们从海量数据的时代崛起,他们不需要甄别什么模型是错误的,其实,他们根本不需要模型。”

“忘却分类树(taxonomy),语义网以及心理学吧。谁知道人们为什么去做他们做的事,关键是,他们做了。而我们,可以跟踪,可以测量,我们拥有史无前例的跟踪和测量的精度。如果有了足够的数据,让数字自己发言。”

“科学家们都接受过训练,如何正确识别什么是相关性,什么是因果关系。如果仅仅观察到X和Y之间存在某种相关性,这种相关性或许不过是一个巧合,它不能说明任何问题。正确的做法是,你必须理解联系X和Y之间的隐含的机制。一旦你有了描述这个机制的模型,那么你就会对数据有信心。离开了模型,数据不过是噪音。但是面对海量数据,传统的科学方法,假设--模型--证实,过时了。”

“现在有一个更好的办法。海量数据让我们有底气说,‘有相关性就够了’。我们不必苦苦追寻模型,不做假设,我们照样可以分析数据,分析数据呈现的模式。我们可以把数据扔进史无前例的最大规模的计算机集群,让统计学算法去发现数据呈现的模式,对于传统的设定模型的办法而言,这个任务是无法做到的。”

“时机非常好,我们有海量的数据,我们有统计学工具去消化这些数据,有了这两条,我们就可以用一种新的方式去理解世界。相关性超越了因果关系。即便离开了自洽的模型,统一的理论等等机制,科学照样可以前进。”

“没有理由念念不忘旧的科学方法。我们现在该问的问题是,科学应该从Google得到什么启示?”

[10] 理论终结了吗?

Chris的文章非常精彩。但是心平气和地想一想,基于统计手段对海量数据的处理能力,是不是宣告了模型的终结?我个人的看法是,Chris的看法似乎有点偏激。两个原因。

1.统计依赖于概率分布的设定,譬如在做聚类的时候,对每朵云的分布做不同的假设,例如是正态分布还是幂次分布,计算出的云中心会大相径庭。统计和模型不冲突。

2.相关性不能完全取代因果关系。譬如一个用户搜索“恶心,乏力,低烧”,他实际上是在询问他得了什么病。搜索引擎理想的结果,应当是有关疾病的症状,进一步诊断的手段如验血,CT拍片等等,以及治疗的方法,如药物,手术等等。

类似的问题,不仅包括疾病诊治,还包括车辆维修,家电维修,甚至企业经营健康状态诊断等等诸多问题。在处理这些诊断类型的搜索问题时,贝叶斯因果关系模型(Bayesianinference network)或许会是一个非常有效的解决办法。

[11] Cuil,突破搜索引擎的传统定义

以Google为代表的传统搜索引擎,它的任务是查询与用户输入的关键词相关的网页。Cuil比Google前进了一步,它对查询到的网页,做了分类。分类的意义有两条。

1. 与用户的对话,帮助他明确真正的搜索目标。

2. 整理知识,而不是单纯地罗列网页。

但是与用户的对话,以及知识的整理,解决的办法不仅仅限于分类,贝叶斯因果模型,Wikipedia,都给了我们重要的启示。

Cuil的可贵在于,它突破了Google设定的搜索引擎的传统定义。

说说Google的挑战者Cuil 挑战者联盟第一季

  

爱华网本文地址 » http://www.413yy.cn/a/25101010/42761.html

更多阅读

糜烂的上海一个由美女统治的欲望都市 欲望都市第一季

提起上海,自然便想到了南京路。过去的南京路不仅可以领导服装新潮流,也可以领导美女潮流。上个世纪二三十年代南京路就是中国阔太太们的天堂,无数的红男绿女在这条马路上穿梭,这里是中国的香榭丽舍,在这里扮靓的人可以毫不夸张地说是中国

为什么《爱情公寓2》没有第一季好看 爱情公寓第一季下载

《爱情公寓》作为一匹收视黑马,在网上大热,同学间常常谈论里面的笑点,有些台词还成为流行词。昨天,备受期待的第二季开播,但是身边的朋友普遍表示没有第一季好看,这与第二季更换演员增加角色后,人物性格重叠有关。首先,我们来分析第一季的

我眼中的CM:犯罪心理第一季第一集

犯罪心理第一季第一集Criminal minds Season 1 episode1所有的都只代表本人的观感。如要转载,请注明出处。每一集基本上都看了多遍,似乎在看书,写字做翻译之时,耳边响着熟悉的声音才能让我定下心。所以CM一直被我以这样的形式复习。

声明:《说说Google的挑战者Cuil 挑战者联盟第一季》为网友像風在扌裏分享!如侵犯到您的合法权益请联系我们删除