科技圈中X大未解之谜之一:谷歌BERT和百度ERNIE是什么关系

摘要

娱乐圈有八卦、科技圈也有不少瓜,比如今天想和大家探讨的这对科技圈CP。

娱乐圈有八卦、科技圈也有不少瓜,比如今天想和大家探讨的这对科技圈 CP。

  说到美国动漫《芝麻街》中的 BERT,很多人就会自然而然想到他的好朋友 ERNIE,在科技圈中的 BERT 和 ERNIE 也经常被同时 cue 到……

  有趣的是,昔日的「好朋友」竟然来自中美两家科技巨头,这个关系可以说是相当的微妙。

  谷歌 BERT,对于混迹于科技圈的程序猿肯定不陌生,如果你的研究领域刚好是 NLP,可能会对 BERT 有更深入的了解,它是去年由谷歌发布的预训练模型,曾在机器阅读理解顶级水平测试 SQuAD1.1 中表现优异。

  今年 3 月,百度推出知识增强的语义表示模型 ERNIE,来自英文「Enhanced Representation from kNowledge IntEgration」的缩写,在自然语言推断、语义相似度、命名实体识别、情感分析、问答匹配等自然语言处理 (NLP) 各类中文任务上全面超越 BERT。

  现在 ERNIE 再次重大升级,发布了持续学习的语义理解框架 ERNIE 2.0,及基于此框架的 ERNIE 2.0 预训练模型。继 1.0 后,ERNIE 又在英文任务方面取得全新突破,在共计 16 个中英文任务上超越了 BERT 和 XLNet, 取得了 SOTA 效果,可谓纵横中外、国货之光了。

  BERT 和 ERNIE 就在这种状况下相遇了,只要其中一个被媒体提及,那另一个绝对是如影随形。夸张的说一句 BERT 和 ERNIE 就像有天然的「绯闻」体质。

  BERT 和 ERNIE 的原理,和小朋友通过做语文练习题来学习语言非常类似,BERT 通过做海量的完型填空练习题学习人类语言,而 ERNIE 是通过做更多样、更复杂的练习题来加强语言的学习,例如,给打乱的句子排序,判断两个句子具有何种逻辑关系,判断两个句子是否表达同一个意思等。

  BERT 和 ERNIE 不仅是各大科技媒体的「宠儿」,还在今年的中美两大科技盛会中被「点名」。

  在上个月的百度 AI 开发者大会中,百度 CTO 王海峰博士也在会上详细解读了 ERNIE。作为一名实打实的中国开发者,一方面对于中国 AI 进展感到十分自豪,另一方也觉得 BERT 和 ERNIE 还能以这样的方式组 CP 简直愈来愈有趣。

2019 百度 AI 开发者大会 百度 CTO 王海峰讲解 ERNIE

  在更早的 5 月份谷歌 I/O 大会中,谷歌宣布推出全新的 BERT 语言学习模型,谷歌 AI 大牛 Jeff Dean 似乎也在为 BERT 的新进展站台。

2019 谷歌 I/O 大会 谷歌大神 Jeff Dean 讲解 BERT

  开扒这么多 BERT 和 ERNIE 的「爱恨纠葛」。不过说真的,百度 ERNIE 的表现也的确惊艳,更新速度也快,看论文也能了解不少技术细节,百度在 NLP 领域还是相当有具备国际竞争力了。

  不得不说,中国 AI 发展的速度相当迅速,百度作为中国 AI 代表企业之一,在 ERNIE 推出之时就可以与谷歌 BERT 抗衡,并在多项中英文任务上超越 BERT。相信 ERNIE 和 BERT 将持续在 NLP 领域为我们带来更多的惊喜,除了嗑不完的瓜,也有用不完的便捷。燃烧吧,新时代人工智能!


最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。