近日, 由中国信息通信研究院、深度学习技术及应用国家工程研究中心、人工智能关键技术和应用评测工信部重点实验室共同发起的 2022 可信 AI 峰会圆满落下帷幕, 峰会发布了大规模预训练模型技术与应用评测标准体系, 并公布了 2022 大模型优秀应用案例名单。
近日, 由中国信息通信研究院、深度学习技术及应用国家工程研究中心、人工智能关键技术和应用评测工信部重点实验室共同发起的 2022 可信 AI 峰会圆满落下帷幕, 峰会发布了大规模预训练模型技术与应用评测标准体系, 并公布了 2022 大模型优秀应用案例名单。
作为 OPPOAI 技术落地的关键承载,OPPO 小布助手与其他大模型头部企业、高校院所、互联网企业、电信运营商及金融机构等组织合作, 共同参与大模型开发、模型能力等标准的制定, 加速技术应用落地。在大规模技术的应用实践中, 小布助手团队凭借 NLP 大模型的应用实践入选「2022 大规模预训练模型优秀应用案例」, 技术创新与应用实践再获行业认可。
大规模预训练模型是当前人工智能发展的重点, 通过提升技术能力加速 AI 工程化落地进程。然而, 如何在利用大模型加速技术创新与应用实践之余, 充分提升计算资源的利用效率, 仍是大模型技术在工业化落地中面临的关键挑战。
具体地说, 大模型的使用能够有效降低语义理解模型在新业务冷启动场景中的数据需求量, 适用更多的智能交互场景, 并大大提升语义理解能力。但在工程部署上, 由于语音助手的多个独立 NLU 服务分开部署分别推理, 面临着巨大的 GPU 计算压力的挑战。
自 2020 年起, 小布助手团队便从「可大规模工业化」的角度出发, 着力探索预训练大模型的技术创新和应用落地。小布助手团队通过引入统一表征方案, 在在线推理时拆解为 2 个网络, 即统一表征的骨干网络 (12 层 transformer) 和任务相关的下游微调网络 (层数往往小于 3 的 transformer), 从而解决了多 NLU 的 GPU 计算资源问题。相比传统深度学习模型效果提升 2% 以上, 相比单独 Fine-Tuning 在全局计算量上减少了 2/3, 为 NLP 大模型技术在行业其他领域的拓展及未来工业化应用奠定了坚实基础。
基于对 NLP 技术的深刻洞察与持续投入, 小布助手在 NLP 技术领域达到了行业领先水平, 并在多个权威榜单中获得了亮眼的成绩。今年 7 月, 小布助手十亿参数模型「OBERT」跃居中文语言理解测评基准 CLUE1.1 总榜第五名、大规模知识图谱问答 KgCLUE1.0 排行榜第一名、命名实体任务 CLUE-NER 排行榜第一名, 在十亿级模型上进入第一梯队。
未来, 小布助手团队将结合智能助手场景特点持续优化预训练技术, 基于小布助手已有的海量数据, 以开放的成长型心态深耕 NLP 技术领域, 包括利用检索增强范式优化短文本表征、挖掘和利用反馈信息构建无监督预训练任务以及探索模型轻量化技术加速大模型的落地等, 重点聚焦模型优化与工程性能, 深化预训练模型计算资源与算法效果平衡的落地实践, 致力于在万物互融时代为用户提供更友好自然的人机交互体验。
在专注技术创新的同时, 小布助手还将积极参与大模型技术产业生态合作交流, 紧跟学术前沿成果, 把握业界向预训练模型迁移的工程化趋势, 拥抱端云协同发展的大模型生态, 合力与更多业界伙伴一同突破大模型实践的应用障碍, 助力大模型技术在行业应用中实现落地赋能与商业变现的双赢。
来源：互联网
