在近日举办的「可信 AI·南京人工智能产业发展论坛」上, 中国信息通信研究院 (中国信通院) 正式揭晓了「可信 AI」大模型评测结果
在近日举办的「可信 AI·南京人工智能产业发展论坛」上, 中国信息通信研究院 (中国信通院) 正式揭晓了「可信 AI」大模型评测结果, 快手「快意大模型」(KwaiYii-175B) 在其组织的可信 AI 大模型评测中荣获最高等级——5 级评估, 这也是国内首个获得「大语言模型专项」5 级评估的大语言模型, 彰显了其在人工智能领域的技术创新实力与行业领先地位。
「快意」是快手大模型团队自主研发的大语言模型, 能够实现高效的自然语言理解和文本生成, 为复杂的知识问答、文案创作、实时翻译、逻辑推理, 以及代码编写与分析等任务提供强大支持。
自去年 8 月份快手发布自研大语言模型「快意」(KwaiYii)-13B 版本以来, 半年内快手又相继研发了 66B、175B 版本的大模型, 用以适配不同的业务场景的需求。经过数万亿 Tokens 训练的快意大模型在 MMLU、C-Eval 等中英文权威榜单上均取得了行业领先的成绩, 在实际用户体验和反馈中可以看到, 快意 175B 的模型效果已显著超越了 ChatGPT-3.5, 并达到了接近 GPT-4 的水平。
据介绍,「快意」模型通过硬件优化与混合并行算法的结合, 实现了 GPU 集群算力利用效率超 50% 的提升, 同时将推理成本有效控制在开源方案的十分之一, 极大地推动了 AI 应用的经济性和实用性。
在数据处理层面,「快意」模型成功将 PB 级别的原始数据精炼为 TB 级高质量训练集, 不仅大幅度降低了数据处理的负担, 还通过课程学习式的组织方式, 确保了模型训练的高效与平稳。此外, 该模型覆盖了广泛的领域知识, 进一步强化了其在多元化应用场景中的适应能力。
算法创新是快手此次获奖的关键。据悉, 快手与国内外顶尖学术机构携手, 共同提出了 Temporal Scaling Law 理论, 为超参数优化提供了新的理论支撑。同时, 通过创新集成 Scaffold-BPE、MiLe Loss 等务实高效的前沿算法, 快手在提升模型预训练效率和效果上取得了重大进展。
在对齐技术上, 快手采用 Rejection Sampling 等技术显著改善了数据质量, 并通过多样本 Packing、Iterative DPO/PPO、细粒度 Loss 等策略, 有效提高了训练的稳定性和模型性能。在解码策略上, 提出了创新性的并行解码预测策略, 大幅提升了推理速度。
接下来, 快手还将在即将召开的 2024 世界人工智能大会 (WAIC) 上, 举办以「新 AI·新应用·新生态」为主题的大模型技术生态论坛。届时, 快手将发布最新的大模型技术与应用战略, 包括快手大模型技术矩阵全景、基座模型技术创新、应用和落地情况等。
来源：互联网
