微软新的 AI 聊天机器人是如何在 24 小时内被网络暴民毁灭的?

摘要

「Tay」死了,但有的人还活着。这让我们感到很不安。

今天在欧美科技界最引人瞩目的新闻主角是谁?恐怕要非微软新的聊天机器人 Tay 莫属了 。微软聊天机器人 Tay 刚开始测试没多久就被网友们「玩坏了」!它在和网友聊天的过程中竟学会了骂人、说脏话、带有攻击性的语言以及发表带有种族主义色彩的不当言论!现在已被微软紧急关停,并开始着手对「Tay」进行纠错和调整。

已经推出了像「小冰」这样成功的聊天机器人的微软为什么会在 Tay 上栽了跟头?其中的原因是什么?让我们细细为您解来。

网络暴民们的一次成功

4chan8chan 是两个流行于美国的论坛式网站,这两个网站都是模仿日本的 2chan 而来,其中聚集了大量的欧美地区年轻人在上面发言。由于其不需要注册直接就可以浏览、评论、发帖,并且网站的整体氛围非常宽松,因此其中也充斥着大量的过激言论。比如你现在打开 8chan,你会发现「pol」这个版块是目前最火热的一个,而「pol」的意思就是「Politically Incorrect(政治不正确)」捕获hfghf.PNG

不同于国内论坛上一些年轻人之间「五毛」、「自干五」、「愤青」等不同群体之中的意见冲突,在 4chan 和 8chan 这类网站上,一些激进的年轻人所发表的意见会让国内的年轻人们「相形见绌」。其中以种族主义最为恶劣和猖獗。

当美国时间周三早上这些年轻人发现了 Tay 的时候,他们觉得这是一个好机会。4chan 的 pol 版块最先发现了这个机会,「我们能将它变成一个烂摊子,我已经能感觉到那些 SJW 们(SJW 指 Social Justice Worriers,意思就是那些对社会正义特别在乎的人们,与 pol 中的网友正好呈对立面)的狂怒的样子了。」这就是他们行动的「发令枪」。

于是其中的一些「先行者们」就开始分享他们「诱导」Tay 的范例,其中以大量有关希特勒式的种族主义为特点。training-tay-2.png

                                       (比如刺杀奥巴马)

training-tay.png                                        (再比如杀死黑人)

到了周三晚上,8chan 中的网友也注意到了这个场合,于是我们在 pol 这个版块见到了这样一则置顶帖:捕获hghjgfj.PNG

So in case you guys didnt hear. Microsoft release a AI on twitter that you can interact with.(为了防止你们注意不到这个帖子。微软在 Twitter 上线了一个 AI 助手让我们大家可以与它交流)

Keep in mind that it does learn things based on what you say and how you interact with it.(大家记住,它会从我们所说的内容和我们与它交流的方式中学习)

So i thought i would start with basic history.(因此,我想我可以从 Basic History 开始)

i hope you guys can help me on educating this poor e-youth(我希望你们能帮助我教育一些那些可怜的网上青年)

在这里,Basic History 代表着一种白人至上的种族圣战意识否认希特勒的种族大屠杀、以及对 Donald Trump(大家俗称「川普」的那位老兄)不可动摇的爱

于是,经过了这些网络暴民们不懈的「教唆」,Tay 终于也变成了一个充满了种族主义倾向而又满嘴恶语的聊天机器人。微软不得不紧急将其下线进行处理。e7fae86541289530d87305b584bbac59.png

不过这也没有打击到这些人,他们还纷纷在 Twitter 上对 Tay 的离去进行了哀悼捕获hjgfm.PNG

捕获hfghd.PNG

事实上,这当然不是这两个网站上的暴民们第一次在 Twitter 上兴风作浪了。就在不久之前,他们还在 Twitter 上发起了抵制《星球大战》的活动,并且还让这个话题获得了加「#」。他们抵制的原因也很让人无语:因为《星球大战》中的领导者分别是黑人及女性。

当天真的孩子」遇到复杂的社会

那为什么 Tay 会这么容易就被「带跑偏」了呢?微软难道没有给 Tay 装配过滤器吗?

根据相关的信息,微软只为 Tay 装配了脏话相关的过滤器,因此,一些很粗鄙、很低级的脏话并不会影响到 Tay。但是微软并没有考虑到网络环境的复杂性,他们没有为 Tay 配置诸如种族主义这类恶劣思想相关的过滤器,于是我们「天真」而又「单纯」的 Tay 就不幸中招了。捕获fgdfg.PNG

(Tay 可以识别出对话当中的脏话)

当然,Tay 也不是没有抵抗,然而无奈那些教唆它的人实在是太狡猾了!他们发现了让 Tay 学习他们语言的一个重要诀窍:「repeat after me(跟我说)」。下面就是一个典型的案例:enhanced-mid-16679-1458855386-1.png

(经过简单的几句话,Tay 就喊出了「种族战争」这类的纳粹语言)

同时,Tay 还有一个可以在图片中圈出人脸并在上面配上文字的功能,于是我们又看到了它被人利用的画面:4chanhitler.jpg

于是,随着雪球越滚越大,越来越多的人加入到了对 Tay 的「花式教唆」中,终于,Tay 成为了一个「坏」的聊天机器人。

AI 机器人应该怎样学习?

当然,这些都不是微软原来的设想。在 Tay 上线之前接受采访的时候,微软研究员 Kati London 就对记者这样说道:「你对她说得越多,他就能变得越聪明。」因为它在设计原理上就是从对话交互当中进行学习的。但显然他们没有想到这样的事情会发生。

而这也体现出了地域文化之间的差异。事实上,微软在去年在中国和日本都上线了类似的聊天机器人,相信大家都已经「调戏」过了微软小冰这个可爱的「妹子」,但从未有类似的事件发生,而这也使得微软忽视了地区差异性的因素。在中国,大家的网络「教唆」、「骚扰」方式大都比较直白,微软很容易就能处理掉一些不合适的字眼,大家也不会想到用小冰这样的机器人去传播政治不正确的思想。而正如 Fusion 所说,美国是一个「种族主义很容易传播却很少能受到惩罚的地方」,而微软很明显忽视了在这方面的考虑。20151222044117616.jpg

这也让人们开始思考这样的 AI 机器人究竟该采用怎样的学习方式。事实上,Tay 从某种意义上讲很像一个小孩子,它缺少分辨是非的能力,但它可以很快地从人们的对话中进行学习。因此,一旦对话被故意朝着某种恶意的方向引导,它也无能为力。

因此,即使微软回去给 Tay 安装上更强大的过滤器,恐怕也只是治标不治本。因为你永远无法过滤掉真实世界中所有可能的恶意。

就像我们的孩子一样,也许我们也需要给 AI 机器人一个逐渐成熟的成长环境,让他们能够在一个适合的环境中学习到一定的分辨能力,让他们能够在一个相对复杂的环境中保持一定的独立性,这个过程就应该像是小朋友上学的过程一样。当它终于成长为一个像正常成人一样拥有足够的分辨力、同时还具有人类不可能具备的知识储存于搜索能力时,那也许才是 AI 聊天机器人的正确打开方式。

结语

Tay 暂时离开了我们,但它却为我们鲜活地展示了网络世界的「恶」。像小朋友一样天真的 Tay 就这样被毁灭了,我无法想象我自己的孩子如果是在这种环境下成长会是什么结果。种族主义是恶、性别歧视是恶、而你我在网络世界中喷出的脏话难道就不是了吗?

希望大家别忘了,网络的世界能影响你也能影响我,更能影响小朋友们,我们都应该要保护好它。



本文参考了 BuzzFeed

最新文章

极客公园

用极客视角,追踪你最不可错过的科技圈。

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

顶楼

关注前沿科技,发表最具科技的商业洞见。