智源研究院理事长张宏江介绍了「悟道」模型研发的背景。他认为，目前，「大模型+大算力」是迈向通用人工智能的一条可行路径。大模型对于人工智能发展具有重大意义，未来将基于大模型形成类似电网的变革性 AI产业基础设施。AI 大模型相当于「发电厂」，将数据，也就是「燃料」，转换为智能能力，驱动各种 AI 应用。
6 月 1 日，由北京智源人工智能研究院（以下简称智源研究院）主办的 2021 北京智源大会在北京中关村国家自主创新示范区会议中心成功开幕。
北京智源大会是智源研究院主办的年度国际性人工智能高端学术交流活动，定位于「AI 内行顶级盛会」，2019 年举办了首届大会，今年为第三届，6 月 1 日至 3 日线上线下同步召开，超过 3 万多名人工智能领域专业人士注册参会。
大会开幕式上，北京市副市长靳伟、科技部战略规划司司长许倞出席并致辞。靳伟副市长在致辞中指出，近年来，北京市大力推动人工智能的加速发展，在前沿研究、人才发展、应用示范、资金支持等方面出台了一系列有力举措，加快建设首个国家新一代人工智能创新发展试验区，持续推动智源研究院等新型研发机构发展。目前已拥有人工智能相关企业 1500 余家，拥有人工智能学者超过四千人，产业人才超过四万人，论文的发表和专利的申请量均居全国第一，形成了人工智能人才、成果、企业集聚的强磁场。
（北京市副市长靳伟）
靳伟副市长同时指出，当前，超大规模的预训练模型成为全球人工智能技术研发的热点和竞争的焦点，有望引领未来五至十年的技术跃迁，并带来全新的产业模式。为了迎接「大模型+大算力」时代的到来，北京市支持智源研究院牵头建设「超大规模人工智能模型训练平台」，打造「悟道」系列模型。希望国内外的广大高校、科研机构和创新企业积极参与到大模型的研发和应用生态中，基于该平台不断产出具有国际领先水平的标志性技术和应用成果。
科技部战略规划司司长许倞在致辞中指出，为贯彻落实中央关于人工智能发展的部署要求，目前科技部正在加快推进新一代人工智能规划有关任务落实，实施重大项目，支持北京等 15 个地方建设国家新一代人工智能创新发展试验区，依托领军企业建设自动驾驶、智能供应链、图像感知等 15 个国家新一代人工智能开放创新平台，加快人工智能在疫情防控中的广泛应用，推动人工智能治理，发布实施新一代人工智能治理原则，建设包括政策法规、伦理规范、技术标准等在内的人工智能治理体系。
（科技部战略规划司司长许倞）
许倞司长同时指出，当前科技部正在全力支持北京市建设国际科技创新中心，与北京市共同实施支持北京加快建设具有全球影响力的人工智能创新策源地行动计划, 希望北京市在加强原创性科技攻关、强化战略科技力量、塑造良好创新生态、激发人才创新活力、推进开放合作等方面持续发力，加强能力和生态构建，构筑人工智能等重点领域技术的优势，在国际科技创新中心建设方面走出一条新路子。同时希望智源研究院加大超大规模智能模型的持续研发及产业生态建设，早日建成我国人工智能研发应用的重要基础设施。
在大会开幕式上，智源研究院发布了全球最大的超大规模智能模型「悟道 2.0」。在为期三天的会议中，智源研究院还将发布支持 AI 创业的「源创计划」，以及为海内外青年 AI 科研人员提供学术交流平台的「青源会」等工作计划或建设成果。
一、200 余位 AI 顶尖专家，29 个专题论坛，打造最综合、最前沿的 AI 盛会
本次大会邀请到 200 余位国内外人工智能领域的顶尖专家参会，包括 2018 年图灵奖得主 Yoshua Bengio（约书亚·本吉奥），2017 年图灵奖得主 David Patterson（大卫·帕特森），2017 年欧洲大脑奖得主 Peter Dayan（彼得·达扬），清华大学国家金融研究院院长朱民博士，北京大学鄂维南院士，加州大学伯克利分校人工智能统计中心创始人 Stuart Russell（斯图尔特·罗素），自动驾驶之父 Sebastian Thrun（塞巴斯蒂安·特龙），计算可持续性领域开创者 Carla Gomes（卡拉·戈梅斯），艾伦人工智能研究所（AI2）首席执行官 Oren Etzioni（欧伦·艾佐奥尼），微软亚洲研究院副院长刘铁岩，清华智能产业研究院首席科学家马维英等。参会专家将围绕人工智能领域的前沿研究进展及趋势开展深入研讨。
（2018 年图灵奖得主 Yoshua Bengio）
大会围绕国际人工智能学术前沿和产业热点设置了「预训练模型」「机器学习」「群体智能」「人工智能的数理基础」「智能体系架构与芯片」「精准智能」「智能信息检索与挖掘」「青源学术年会」「AI 创业」「AI 制药」「AI 系统」「AI 开放与共享」「AI 科技女性」等 29 个专题论坛。议题范围非常丰富，从 AI 基础研究、跨界融合到产业应用，给学者、工程师、技术人员提供了一个交换和活跃想法的平台。
在 6 月 1 日的开幕式上，图灵奖得主 Yoshua Bengio、清华大学国家金融研究院院长朱民博士，北京大学鄂维南院士分别围绕逻辑分析系统 System2、数据资产、科学与智能做主旨报告。
（清华大学国家金融研究院院长朱民博士）
（北京大学鄂维南院士）
二、发布全球最大的超大规模智能模型「悟道 2.0」，打造我国人工智能战略基础设施
构建自主技术创新体系，打造大模型时代的智力源
开幕式上，智源研究院理事长张宏江介绍了「悟道」模型研发的背景。他认为，目前，「大模型+大算力」是迈向通用人工智能的一条可行路径。大模型对于人工智能发展具有重大意义，未来将基于大模型形成类似电网的变革性 AI产业基础设施。AI 大模型相当于「发电厂」，将数据，也就是「燃料」，转换为智能能力，驱动各种 AI 应用。如果将大模型和所有的 AI 应用相连接，为用户提供统一的智能能力，全社会将形成一个智能能力生产和使用的网络，即「智网」。大模型就是下一个 AI 的基础平台，是未来 AI 发展的战略基础设施。
（智源研究院理事长张宏江）
目前，国际主流的大模型主要基于英文语料研发，智源研究院作为 AI 基础建设的先行者，成立了由智源研究院学术副院长唐杰教授领衔，100 多位科研骨干共同参与的「悟道」团队，启动面向中文的大规模智能模型研发工作。「悟道」模型系统将构建「大模型、大平台、大生态」，持续研发超大规模智能模型，围绕大模型研发，构建大规模算力平台，同时对外开放模型能力，「赋智」各行业发展，构建大模型生态。今年 3 月 20 日，智源研究院发布了中国首个超大规模智能模型「悟道 1.0」，训练出中文、多模态、认知、蛋白质预测等系列模型。经过不到 3 个月的持续更新迭代，「悟道 2.0」实现了更高层面的跨越。
开幕式上，智源研究院学术副院长唐杰教授介绍了「悟道 2.0」模型的具体情况。他提到，「悟道」超大模型智能模型旨在打造数据和知识双轮驱动的认知智能，让机器能够像人一样思考，实现超越图灵测试的机器认知能力。「悟道」团队在大规模预训练模型研发上做了很多基础性工作，形成了自主的超大规模智能模型技术创新体系，拥有从预训练理论技术到预训练工具，再到预训练模型构建和最终模型测评的完整链条，从技术上是完整成熟的。通过一系列原始创新和技术突破，本次发布的「悟道 2.0」实现了「大而聪明」，具备大规模、高精度、高效率的特点。
（智源研究院学术副院长唐杰）
全球最大万亿参数，新一代 FastMoE 补齐万亿模型最后一块短板
「悟道 2.0」模型的参数规模达到 1.75 万亿，是 GPT-3 的 10 倍，打破了之前由 Googl Switch Transformer 预训练模型创造的 1.6 万亿参数记录，是目前中国首个、全球最大的万亿级模型。
开创性的研发 FastMoE 技术，是打破国外技术瓶颈，实现「万亿模型」基石的关键。以往，由于 Google 万亿模型的核⼼技术 MoE（Mixture of Experts）与其分布式训练框架和其定制硬件强绑定，绝大多数人无法得到使用与研究的机会。「悟道」团队研究并开源的 FastMoE 是首个支持 PyTorch 框架的 MoE 系统，具有简单易用、灵活、高性能等特点，并且支持大规模并行训练。新一代 FastMoE，支持 Switch、GShard 等复杂均衡策略，支持不同专家不同模型，为万亿模型实现方案补上了最后⼀块短板，让梦想终成现实。
「悟道 2.0」模型在中英双语共 4.9T 的高质量大规模清洗数据上进行的训练。训练数据包含 WuDaoCorpora 中的 1.2TB 中文文本数据、2.5TB 中文图文数据，以及 Pile 数据集的 1.2TB 英文文本数据。
另外，「悟道 2.0」模型一统文本与视觉两大阵地，支撑更多任务，更加通用化。
9 项顶尖智能能力，创新性的通用精准智能
「悟道 2.0」在世界公认的 9 项 Benchmark 基准测试任务上取得优异成绩，达到了精准智能。
1) ImageNet zero-shot SOTA 在 200 类超过 OpenAI CLIP；
2) LAMA 知识探测：超过 AutoPrompt；
3) LAMBADA 完形填空：能力超过 1.7 倍参数微软 Turing NLG；
4) SuperGLUE few-shot FewGLUE：超越 GPT-3，取得当前最佳少样本学习结果；
5) UC Merced Land-Use zero-shot SOTA，超过 OpenAI CLIP；
6) MS COCO 文生成图：超越 OpenAI 的 DALL·E；
7) MS COCO 英文图文检索：超过 OpenAI CLIP 和 Google ALIGN；
8) MS COCO 多语言图文检索：超过目前最好的多语言多模态预训练模型 UC2,M3P；
9) Multi 30K 多语言图文检索：超过目前最好的多语言多模态预训练模型 UC2,M3P。
「悟道 2.0」的高精度来自于一系列核心技术创新。例如：
GLM 2.0：是模型架构创新的典范，更通用的预训练模型。此前，它首次打破 BERT 和 GPT 壁垒，开创性地以单一模型兼容所有主流架构，新一代版本更是以少胜多的高性能人工智能典范，以 100 亿参数量，足以匹敌微软 170 亿参数的 Turing-NLG 模型，取得多项任务的更优成绩。
P-tuning 2.0 算法：极大拉近少样本学习和全监督学习的差距，少样本学习能力遥遥领先。
CogView：文本生成图像的新框架，克服「上下溢收敛」文图模型关键难题，将 VQ-VAE 和 Transformer 进行结合，表现 SOTA（当前算法性能最优的模型）！在 MS COCO FID 指标上性能优于 DALL·E 等模型。模型可直接实现类似 OpenAI CLIP 模型的自评分功能，生成国画、油画、卡通画、轮廓画等多元画风。
目前，「悟道」模型的多项应用，在诗词创作、做对联、文本摘要、人设问答、绘画等方面，都已接近突破图灵测试，与人类一较高下！
高效易用，全链路的效率提升，增强大规模智能模型产业普适性
大规模预训练模型的参数规模通常远超传统的专用人工智能模型，在算力资源、训练时间等方面消耗巨大。为了提升大规模预训练模型的产业普适性和易用性，悟道团队搭建高效预训练框架，在高效编码、高效模型、高效训练、高效微调和高效推理等方面进行全链路的原创突破或迭代优化，实现效率的大幅提升。
高效编码：研发了最高效、最抗噪的中文预训练语言模型编码，解决生僻字等问题；
高效模型：构建了世界首个纯非欧空间模型，只需要一半的参数量即可达到近似欧式模型的效果；
高效训练：世界首创大规模预训练模型融合框架，形成高效训练新模式，训练时间缩短 27.3%，速度提升 37.5%；
高效微调：世界首创多类别 Prompt 微调，只需训练 0.001% 参数即可实现下游任务适配；
高效推理：世界首创低资源大模型推理系统，单机单卡 GPU 即可以进行千亿参数规模的模型推理。
行业贡献，建设全球最大的语料数据库 WuDaoCorpora 2.0，提出自然语言评测新标准「智源指数」
「悟道」模型研发过程中，智源研究院建设了全球最大的语料数据库 WuDaoCorpora2.0，包含全球最大的中文文本数据集、全球最大的多模态数据集、全球最大的对话数据集，为行业内大规模智能模型的研发提供了丰富的数据支撑。
另外，智源研究院提出「智源指数」，构建以人类语言能力为参照、全面系统的针对机器语言能力进行评测的体系。「智源指数」首次提出了基于「能力-任务-数据集」层次结构的机器语言评测体系及评测方案，包含 6 种主要语言能力，30 余项主流任务与相关数据集，同时也是首次基于信度、难度、效度等指标进行评价的高质量评测数据集合，形成了大模型「权威考卷」。
三、「悟道」模型生态合作机构签约，基于超大规模智能模型的产业生态建设加速
智源研究院推动开展「悟道」超大规模智能模型产业生态建设，将面向个人开发者、中小创新企业、行业应用企业、IT 领军企业等不同主体，分别提供模型开源、API 调用、「专业版」大模型开发、大模型开发许可授权等多种形态的模型能力服务，赋能 AI 技术研发。
本次大会开幕式上，智源研究院与新华社、美团、小米、快手、搜狗、360、寒武纪、第四范式、好未来、智谱华章等 22 家「悟道」大模型产业生态战略合作企业进行了签约，签约企业涵盖行业应用企业、IT 龙头企业、中小创新企业等。同时发出组建「悟道」大模型技术创新生态联盟的倡议，吸引更多企业加入，将以联盟为枢纽，以企业需求为导向推动模型研发，共同开发基于「悟道」大模型的智能应用，以模型研发和应用促进产业集聚。
另外，智源研究院还启动了「悟道之巅」模型应用大赛，鼓励各类创新机构及技术人员基于「悟道」大模型开发新颖实用的智能应用，赋智更行业发展，同时不断发掘和培育基于超大规模智能模型的创新企业，推动本市人工智能产业可持续发展。
四、推动发展最优 AI 生态，支撑北京加快建设具有全球影响力的人工智能创新策源地
开幕式上，智源研究院院长黄铁军教授从创新研究、学术生态、产业发展与 AI 治理四个方面介绍了智源研究院的工作规划和建设进展
（智源研究院院长黄铁军）
创新研究：三大智能模型+一个智算平台
据黄院长介绍，智源研究院已经确定将打造智能模型作为源头创新的核心任务，在组织架构、资源保障和机制体制上进行了系统部署，全力构建信息模型、生命模型和物理模型「智能三剑客」。
首先是「悟道」信息模型，数据是智能的素材，通过「大数据+大算力+强算法」，训练超大规模信息模型，为各行各业智能化提供切实可用的共性基础智能模型，是当前及未来一段时间人工智能全面赋智经济社会发展的中心任务。然后是「天演」生命模型：生命是智能的第一载体，模拟仿真亿万年进化而成的生物神经系统和身体，构建生命智能模型，挖掘生物智能机制机理，是发展新一代人工智能的不竭源泉。最后是「天道」物理模型：自然是生命的摇篮，地球是人类的摇篮，构建地球环境物理模型，是实现类人智能和人机共处共融的必要条件。建立宇宙物理模型，推动智能走出地球、穿越时空。
构建信息模型、物理模型和生命模型，共同需求是算力。目前北京市已支持建设超大规模智算平台，构建体系架构先进、高速互联互通、可扩展高效并行的软硬件系统。
学术生态：持续实施「智源学者计划」，成立面向海内外AI 青年科研人员开展学术交流的「青源会」
「智源学者计划」自 2019 年 4 月开始实施，目标是遴选最优秀的科学家，勇闯人工智能科技前沿「无人区」，挑战最基础的问题和最关键的难题。截至目前，已在人工智能的数理基础、人工智能的认知神经基础、机器学习、自然语言处理、智能信息检索与挖掘、智能系统架构与芯片等六大研究方向，遴选智源学者 94 人，分别来自北大、清华、中科院等高校院所与旷视、京东等优势企业。
智源研究院持续推动智源社区建设，着力构建人工智能学者社交网络。今年智源社区将紧密联系 3000 名以上的人工智能顶尖学者，辐射 10 万以上人工智能科研和技术人员。
特别面向青年科研人员，智源研究院今年成立了 AI 青年科学家学术组织「青源会」，为海内外的 AI 青年科学家和技术人员建立的宽松、活跃的学术交流平台，促进学科交叉，支持青年科学家提出具有引领作用的原创思想，开创新的科学前沿，建立活跃的人工智能学术和技术创新生态。
产业发展：发力智能医疗，实施「源创计划」支持 AI 创业
智源研究院加快推进人工智能深度应用，孵化 AI 创新企业，推动人工智能产业发展。当前，健康医疗已成为人工智能最热门的研究和应用领域之一，北京在发展智能医疗方面，有着得天独厚的优势。为推进 AI 原创成果在医疗行业落地，智源研究院成立了「健康医疗研究中心」，构建医疗大数据和高质量小数据等基础数据，支持智能医疗核心技术突破，加快人工智能在健康医疗领域的深度应用。智源研究院与清华智能产业研究院（AIR）开展深度合作，推动以「个人」为核心的、AI 驱动的主动健康管理。
为推动 AI 原创成果转化落地，智源研究院去年启动建设了创新中心，加速 AI 原创成果熟化及工程化，目前已建立了智能信息处理、认知知识图谱、安全人工智能等多个创新中心。今年，智源研究院按照国家和北京市促进科技成果转化的最新部署，积极整合技术、场景、人才、资金等资源，推出支持 AI 创业的「源创计划」，为 AI 创业团队开放大模型、数据集等生态资源，为来自学术界的 AI 科学家创业团队对接应用场景，为来自产业界的创业团队对接业界领先的 AI 技术，加快形成可落地应用的 AI 产品。另外，还将通过设立创业基金等方式，加快孵化一批具有国际领先技术能力的 AI 创新企业，为北京 AI 产业的持续发展储备力量。
AI 治理：推动北京共识落地，推进面向可持续发展的人工智能
当前，AI 伦理和治理成全球共识，国际社会正探索建立广泛认可的 AI 伦理原则，推进敏捷灵活的 AI 治理。智源研究院在 2019 年成立人工智能伦理与可持续发展研究中心，率先在国内开展 AI 伦理安全研究，并积极参与国际 AI 治理。AI 伦理规范方面，2019 年 5 月，发布了我国首个 AI 发展与治理准则——《人工智能北京共识》。去年 9 月，又发布了我国首个《面向儿童的人工智能北京共识》。另外，智源研究院建设了我国首个「人工智能治理公共服务平台」，针对人工智能技术研发及应用中存在的潜在伦理问题提供检测服务，帮助 AI 研发机构研发更符合 AI 伦理规范的技术和产品。
联合国在 2015 年正式通过了可持续发展目标，共 17 大项，涉及社会、经济和环境三方面的发展问题。为推动 AI 技术服务于可持续发展目标的实现，智源研究院发起成立了「面向可持续发展的人工智能国际协作网络与智库」，目前已汇聚了来自 15 个国家的专家学者。同时，智源研究院也联合百度、小米、旷视、滴滴等企业发起了「面向可持续发展的公益计划」，目前已围绕城市治理、自动驾驶、劳动者就业影响、青少年心理影响等方面发布了首批 4 个研究题目，并已启动研究工作。后续，完成后的研究成果将会面向全球公开，服务于人类命运共同体的构建与实现。
