美东时间 2023 年 7 月 8 日晚上 19:00 World Science Hill 独家专访了人工智能及强化学习领域著名科学家田渊栋博士。
本期人物专栏
前文介绍
美东时间 2023 年 7 月 8 日晚上 19:00 World Science Hill 独家专访了人工智能及强化学习领域著名科学家田渊栋博士。
World Science Hill 创始人 Mia 王璟晗独家专访田渊栋博士现场照片
嘉宾:田渊栋
田渊栋博士担任 Meta AI Research (FAIR) 的研究科学家与高级经理, 研究方向涉及强化学习、表示学习和优化。田博士以一作的身份获得了 ICML2021 优秀论文奖荣誉提名和 ICCV2013 Marr 奖荣誉提名, 还担任了 OpenGo 项目的首席科学家和工程师。在此之前, 他于 2013-2014 年在谷歌自动驾驶汽车团队工作, 并于 2013 年获得卡内基梅隆大学 (Carnegie Mellon University) 机器人研究所博士学位。
1. 可以用一句话对行业外的人简单介绍一下自己的领域吗?
对于人工智能 AI 这个领域, 简单概括一下, 就是怎样用大量数据学出一个具有智能的工具或者智能体, 从而做一些人类能做的事情。这里面包括了很多东西, 例如计算机的视觉识别能力、自然语言理解能力、复杂环境下的决策能力等等。
2. 对于您所在的整个领域来说, 终极目标是什么?(例如想要理解什么东西, 还是想要解决什么东西)
我个人研究的具体方向有两个, 其一是希望 AI 面对复杂问题有很强的决策能力, 甚至强于人类, 其二是理解现在 AI 的底层机制并且改进它。
3. 我通过您的一些文章理解到, 您的研究兴趣相当广泛, 涵盖了强化学习, 自监督学习等等, 想请您讲一讲这些机器学习概念之间的联系和区别, 各自在落地应用上有什么相似点和不同点?
这些方向看似不同, 但其实都是为了同一个目标服务的, 即创造超越人类现有智慧的智能。
为此, 我们需要理解现在 SoTA 的神经网络架构及想办法做出改进, 需要想办法获取更强的决策能力, 等等。像强化学习或者自监督学习仅仅只是一些具体手段。
例如强化学习, 它除了智能决策的长远目标之外, 同时还是一套严格的数学框架, 这里面有值函数、策略函数等等, 通过这些函数我们可以来优化我们的目标。但我们不应该被数学所束缚住, 要有更长远的眼光, 这一套数学框架也并不一定是通向最终智能的唯一道路。
比如说我们也可以用优化的方法, 因为优化也是一种能让智能体的决策变得更聪明的一种方法。而且在一定程度上说, 优化方法其实跳过了强化学习先要定义 MDP(马尔可夫决策过程) 的人工步骤, 适用范围要比强化学习所倚仗的贝尔曼方程或是值函数等等更广, 也可以充分利用现有的求解器。
通过优化, 我们也可以让一个智能体获得更好更优的决策。2016-18 年我们做了 DarkForest,ELF 和 OpenGo, 还是遵从强化学习的这一套来做大规模深度学习决策系统, 应用在围棋这样的游戏上。
从 2020 年起, 我们做了一些新的工作, 不仅将强化学习应用在一些系统设计的实际问题之中, 如 AlphaX/Few-shotNAS 用于网络架构搜索,NeuroPlan 用于网络规划,DreamShard 和 NeuroShard 用于 Table Sharding,CompilerGym/CompilerOpt 用于编译器优化,AutoCAT 及 MACTA 用于 cache-timing attack,CZP 用于天线设计, 也找到办法突破了已有的 MDP 框架, 设计了一些全新的算法, 如自动学习行动空间的 LaMCTS,LaP3,LaMOO 系列, 利用已有求解器来解线性及非线性组合优化问题的 SurCo 及 LANCER, 等等。
另一方面, 从理论高度理解模型的行为, 也是非常重要的。我从 2017 年开始, 就坚持对已有的深度学习模型及其损失函数进行各种理论分析, 比如说 2020-2022 年对比 (contrastive) 和非对比 (non-contrastive) 自监督学习的分析 (DirectPred,DirectSet,DirectCLR,alphaCL 及其在非线性时的分析), 最新的 23 年对一层 Transformer 的自注意机制的分析 (scan and snap) 等。在这个方向, 我的目标是打开神经网络的黑箱 (Open the black box of Neural Networks)。
最近随着大语言模型 (LLMs) 的兴起, 我们渐渐能看到理解, 决策及系统三者结合的可能性。如何用对于 Transformer 及 LLMs 的运行过程的理解来提高其推理系统的速度 (Déjà vu,H2O), 如何拓展 LLMs 可处理的 tokens 数目 (Positional Interpolation), 如何给 LLM 训练一个不需要大量人工数据的奖励模型 (RLCD) 来进行强化学习微调, 如何用 LLM 做一个小说生成系统 (Re3,DOC), 等等。之后如何将这三者结合得更加紧密, 是我目前的目标。
4. 我们总是听到类似于「通用智能」这样的庞大叙事, 您认为目前的技术离这个终极目标还有多远, 大模型拟合天量数据的模式真的可以达到人类的认识水平吗?
我个人的观点是:可以达到 90%, 但是最后的 10% 是极难攻克的。现在大家对大模型特别乐观, 认为给一个大模型通过大量的数据来训练就能解决最终的问题。但我认为, 这要取决于你的数据本身, 数据很多的话大模型可能确实能训练得很好, 但是在数据不够多或者数据特别专业化的情况下, 人的学习效率是远远高于 AI 算法的。因此, 它所带来的结果就是 90% 的问题大模型可以解决, 剩下 10% 的问题就需要专家来解决。
我之前经常给别人打一个比方, 不同的学科就像是大海里的一座座大山, 海水让它们形成了一个个孤岛, 海平面以下就是 AI 大模型可以解决的部分, 而海平面上的这些孤岛则是需要专家来解决的, 让 AI 去攻克这些孤岛需要大量的数据, 而获得大量的这些数据往往是不现实的, 是目前还没有办法做到的。所以我认为可能还需要一到两次 AI 领域的大突破才能彻底解决这些问题。
5. 目前的 AI 所有的机器学习, 只是在做模型的拟合, 还是真的能理解问题的本质, 进行深度的思考? 大模型真的是一条正确的走向通用智能的路线吗?
我觉得首先「理解」这件事情具体应该怎么定义是很难讲的。目前的一些结果已经开始倾向于大模型能够理解一些比较日常、相对简单的逻辑分析。所谓的理解, 其实有很多层次, 比较简单的日常理解能力, 其实大模型也已经有了, 通过这些理解能力, 大模型也能够解决一些推理的逻辑问题, 但是对于更高级、更复杂的一些逻辑问题, 可能目前的大模型还不会完全理解, 甚至可能会胡言乱语, 所以其实也是一个很大的局限。
比如说, 你如果用 transformer 去学习多位数相乘的有关算法, 那么它能够学会, 可是一旦乘数的位数变长了之后, 大模型就很难做到举一反三。这其中的一些简单的逻辑链条, 例如乘法口诀, 大模型可以很顺利地学到。但如果这个逻辑链条本身也有自己的高层结构或者性质, 那么大模型就不一定能学会。但是对于人类而言, 乘法就是一个非常普遍的规则, 一旦学会了方法, 只要给足够的草稿纸, 再高的位数也都能乘出来, 但是 AI 算法在这方面就有缺陷, 它无法学到高层的逻辑, 或者说容易被一些看起来相关但并不本质的统计规律所迷惑, 并且得出错误的答案。
这个就是理解的另一个层次, 就像我前面说的, 也许 90% 的任务都只需要比较基础的逻辑理解, 这也就是为什么目前大模型可以解决很多问题, 但还有一些难题解决不了的原因。
6. 能不能谈一谈对目前目前大热的 ChatGPT 的看法?
我觉得他们现在大热主要是因为他们的这些模型确实超过了之前人类对于 AI 的认知, 所以很多时候人们会觉得 AI 特别厉害, 比以前厉害多了, 这已经是一个不争的事实。但另一方面就是大家的期望会随着与 ChatGPT 和 GPT4 的互动而越来越高, 所以慢慢大家可能也会意识到这些新模型的局限, 如果要想再往上发展可能就需要有更多的数据和更好的算法来解决这个问题。
所以也许火热到一定程度之后就会有一个稳定期, 甚至大家可能还会觉得, 这个大模型也许并不像自己想象的那样厉害, 这是有可能发生的, 对于整个 AI 的发展也是良性的。
7. 对 AI 相关领域的学生们有没有什么话要说?
我们知道目前大模型的发展速度是非常快的, 我觉得他们现在整个领域的迭代过程是远远快于我当年读博士时候的速度, 可能每天都会有一些大新闻, 比如推出了什么新的大模型或者做出了什么新的工作, 整个方向的节奏非常快, 所以其实我也是挺同情现在做人工智能的学生的, 非常辛苦, 要看文章然后很快地做实验。
但同时, 它也是一个非常好的机会, 因为从来没有任何一个领域像现在 AI 一样发展如此之快, 所以长远来说,AI 还是能够很大程度上造福人类、造福世界的, 我认为将来的 AI 就会像空气和水一样, 渗透进每个人的日常生活中。
就像 ChatGPT 这次之所以这么火, 就是因为它第一次让平民大众直接通过对话聊天窗口直观感受到现在 AI 的那种强度和能力。这就意味着, 其实 AI 已经不是一项高不可攀的技术了, 它慢慢会进入每个人的生活中, 并且彻底改变每个人日常的工作流程, 这个我觉得是非常有可能的。虽然说 AI 目前还是没有那么强, 但是已经足以改变很多工作的流程。所以对于学生来说, 其实有很多的机会和可能性, 这对于那些有动力的学生来说, 会是一个非常好的历史性机遇。
嘉宾:田渊栋
主持:Mia 王璟晗
作者:Mia 王璟晗
来源：互联网
