语义检索?才刚刚起步呢

摘要

最近,有不少国内外公司推出了打上“语义检索”标签的产品,希望这个在极客、学术圈里活跃的词语,更多地出现在普通的互联网产品中。然而说到语义检索,我们才刚刚起步。

大约在 20 年前,凯文·凯利就在《失控》中,对智能房屋有一番描述:当你走进一个房间,房间的灯会自动打开,供暖系统会根据你的反应调整室内温度,当你坐下想开始阅读书籍,灯光会根据你的需要调整亮度和角度,而你觉得有点疲劳想站起来活动一下,走出了房间,房间开启的电器都会自动关闭。到了今天,普适计算越来越吸引人们的视线,也出现了不少智能房屋的雏形和实验品,而我们普通人,却仍然没有体验到20年前就初步设想的智能房屋。类似 SOHO 智能大厦系统,智能的作用似乎更多只能完成节能的目标,而像比尔·盖茨巨资兴建的智能庄园,更多的像是一个噱头而已。

正如智能房屋一样,最近火热的“语义搜索”,实际上,仍然没能满足我们真的需求——当希望在互联网上搜索结果时,不管结果列表如何呈现和组织,我仍然需要自己挑选——面对我的电脑仍然是个冷冰冰的机器,没有办法理解我的意图。距离真正的智能,我们还差得很远。

为了说明这个事实,我们举个例子:两年前,IBM 造出了“沃森”,这台几乎代表学术和工程的最高水平的超级电脑,在一档问答类竞赛节目《危险边缘》中击败了3个人类达人,继深蓝击败卡斯帕罗夫后再一次吸引了人们的注目。然而,具有如此能力的沃森,仍然是一台在图灵测试里撑不了几轮的电脑,回答问题仅仅是将目前QA技术进行了深度集成后的效果而已。电脑,仍然无法理解人类,这也决定了基于目前技术开发的语义检索产品,仅仅是个开头——毕竟,没有理解,就谈不上语义。

走进人群的语义检索

最近一段时间,科技博客们报道了不少语义检索的产品,其中最具有代表性的是,上个月搜狗高调发布的新版搜索引擎,宣称这是国内语义搜索的一个新开端,对特定检索词提供了非常不同的检索结果,包括页面形式、内容组织等等方面做了新的尝试。在一定程度上,这些尝试的确给用户以“理解”之感,例如检索“周润发电影”,就会在页面顶端直接列出了电影集合,同时在页面右方放上了发哥的个人信息等等;而检索“周润发”,则只会在右方出现了发哥的信息。

 

然而,对产品进一步体验之后,暂且不论如此设计页面,是否能够真的让用户喜欢,而不是分散了用户的注意力,我们只要稍微细心一点就会发现,实际上目前的语义检索是如此的苍白,除了少部分能够用结构化信息覆盖的内容,大部分的检索需求仍然只能获得原先的排序结果。

再说说别的产品,Evernote 在月初宣布获得了新一轮 8500 万美元的融资,也开始了新的一轮业务,其中包括了企业级应用 Evernote Business,以及语义检索的新功能“相关笔记”,能够在用户每次创建、浏览或者搜索笔记的时候,为用户推荐相似的笔记——这似乎是采用了传统的相关度方法进行推荐,说是真的语义似乎有些牵强。而来自 Google 前员工刘骏带领的团队,开发了新搜索引擎云云网,从用户的角度入手,希望将社交信息引入到检索当中,也在语义检索的领域做了不同的尝试,然而效果似乎仍然没有被人们所认可。

 

实际上,语义检索的概念很早就被提出,Google 在08年就推出了语义检索插件 SemantiFind,而 10 年更是有报道称有语义检索的产品将替代Google——当时可是提出了7款产品哦。

语义检索走入人群,仅仅到此了,改变人类生活?恩,同志们仍需努力。

当前语义检索产品的囿限

针对语义检索,无论是产业界还是学术界,已经有了相当多的研究。然而,目前的方法仍然大部分集中于对于模式识别的、聚类的研究,希望通过算法改进提升机器“猜测”人类意图的目标,而我们都知道,目前再好的算法,对于机器理解人,几乎丝毫没有帮助。

张钹院士是一名作者非常尊敬的老师,这里引用他的比喻来说明目前语义检索发展的现状:人类的技术发展正如同开门,当我们找不到这扇门的钥匙时,如果能够有一块砖头,我们多半会抄起砖头将门砸开。语义检索正是如此,尽管我们在很多实际场合能够享受到目前服务带来的好处,然而这些好处仍然是“砸门”的来的,人们还并没有找到语义检索的“钥匙”。

让我们回到产品,目前的语义检索,在技术层面和需求层面都存在着没有解决的问题,导致语义检索目前难以成为划时代的产品,也无法深入到人群,改变人类的生活。

从技术层面上讲,目前学术界仍然没有研究明白如何理解人类的情感和语言。随着脑科学的发展,人类逐渐发现大脑和计算机工作是运作在不同的机制上——大脑存储、处理速度远远赶不上计算机,但是在模糊查询、理解、推理等方面的效率却远高于计算机。所以要想语义检索能够真的神奇地准确摸清人们的意思,似乎前提是需要理解人类(即计算机通过图灵测试),这在目前人们几乎连曙光都没有看到。

从需求层面上讲,我们仍然不清楚什么样的检索结果就是“语义检索的结果”。一部分人说语义检索就是不要受关键词的局限,能够通过实际语境找到字面完全无关,但意思相关的结果;一部分人说,语义检索的结果就是能够猜测用户的真实意思,辅助日常生活,例如在母亲节前一段时间,上网检索“母亲”,结果就能给出所有的送礼方案,并包含了购买的链接等等,一键完成……然而,拍着良心问,你真的认为当语义检索提升一点结果的准确度、提供一些相关联的结果类别就能提升你的生活么?当然不是!然而我们更不知道什么样的语义检索才能真正深入到改变生活,这才是问题的所在。

什么是语义检索?

目前对于语义检索,实际上并没有公认的靠谱解释,相关的定义也只是在研究界有一定的共识。文章写到这里,我才真正开始想到要解释什么是语义检索,也是出于这个原因。

维基百科和百度百科中,“语义检索”都仅仅有寥寥几行字:“语义检索,是为了生成更相关的结果,使用语义网络中的数据来帮助区分(disambiguation)查询和网页的内容,所进行的在线检索过程。”

仅就个人观点,作者更倾向于将维基百科这个定义归类为语义检索的狭义定义,因为从广义上来讲,语义检索应该就是能够根据语义,给人类提供任何相关结果的检索过程。

为了让读者跳出对于冗长文字的纠结,这里引用科幻小说家刘慈欣在《诗云》中的描述,来进一步解释我所谓的广义的语义检索。(技术高明的外星人说:)“借助伟大的技术,我写出了诗词的巅峰之作,却不可能把他们从诗云中检索出来。”故事中,外星人用高超的存储技术将汉字符合诗词格式的所有排列组合存到了“诗云”当中,并断言其中有远超李白的诗,然而,他们却不能将这些诗在超级海量的数据中检索出来。而广义的“语义检索”,就应该无论数据量如何庞大,都能检索出那些满足需求的结果,例如“超出李白诗作的诗”。

而要满足这个要求,语义检索就并不仅仅是检索,更是理解。不难想象,这项工作的复杂度,与造出一台自己会做超过李白诗作的诗的电脑,是一样的。

语义检索的展望

如果读到了这里,无论是做产品还是做技术,可能你都会略感气沮,难道说,我们就没法做出又炫又酷又实用的语义检索产品了吗?或许短期内是的,然而,科技和产业,将会轰轰而来,以迅雷之势(加这种无厘头的链接……是作者个人偏好,与极客公园无关哦),改变我们的生活。

10 月 9 日,新一届诺贝尔物理学奖评出结果,获奖人 Serge Haroche 和 David Wineland,以他们的发现“为实现量子计算机奠定了基础”。而如果量子计算机能够颠覆传统的电子计算机,计算机的计算能力将得到指数级的提升。而这意味着,之前限于计算能力而无法解决的问题将得到解决,对于理解人类,这或许还是一块“砖”,却是一款更酷的“砖”。

同时,国内外的研究界,也开始不断研究人脑的运行方式,希望找到人脑是如何运转易产生“理解力”的,如果这方面有所成就,那么真正的智能,也许并不需要超强的计算能力也可以实现。虽然这方面的技术仍然遥遥无期,同时也不是所有人都喜欢计算机能够像人一样思考,但是考虑到人类能够模拟各种各样的动物造出了潜水艇、飞机,仿造人脑也并非不可能。

此外,随着互联网的不断发展,各种针对需求的尝试不断涌现出来,虽然目前暂时没有真正让人满意的语义检索产品,然而,没准明天就有了也说不定。Google、Facebook都是突然就来到你身边的,准备好迎接就行了。

最后,还是回到凯文·凯利的预言上:大规模、具有连接性的网络,在将来一定会从中“涌现”出类似生物的属性,不管我们喜不喜欢。刚刚起步的语义检索,如同一个蹒跚学步的孩子,现在边走边摔,却终将长成稳健的成人。

我们要做的,不是在终结者、黑客帝国的预言中惶惶不可终日,而是打开自己,接受机器。这样,计算机才真的能理解人类,人类也才真的能够拥有一个新的朋友。

 

又是谁说,机器人不能跳舞呢?

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。