就算 2023 年已经进入倒计时, 我们也仍在见证着 AI 大模型行业的瞬息万变。
就算 2023 年已经进入倒计时, 我们也仍在见证着 AI 大模型行业的瞬息万变。一个不断孕育大模型全新生机的生态土壤正在加速到来。
别让技术的星火等候, 一次掷地有声的官宣
11 月 16 日,2023OPPO 开发者大会在上海世博中心举行, 会上 OPPO 正式发布了自主训练的个性专属大模型与智能体——安第斯大模型 (AndesGPT)。
AndesGPT 以「端云协同」为基础架构设计思路, 推出从十亿至千亿以上多种不同参数规模的模型规格, 能够基于「端云分工、端云互补、端云协作」等方式, 灵活支撑多元化的应用场景。AndesGPT 着重强调了「对话增强、个性专属、端云协同」三个层面的技术特性。可见,OPPO 在大模型赛道上已有一些自己的思路。
发布会上,OPPO 提出如今是「技术驱动体验的时代」, 认为大模型将全面革新智能终端交互体验, 并朝这个方向不断为用户带来优质的体验。同时, 在技术能力的加强方面,OPPO 将布局大模型前瞻技术, 联合中国科技大学成立的智能计算联合实验室, 已将大模型作为核心技术研究方向。同时,OPPO 还将开源智能体 (Agent) 框架, 支持智能体的高效孵化、托管与应用。
AI赛道进入全面竞争,AndesGPT会为每个人坚定而来
这一系列的大动作的宣布, 也再次印证了当下大模型的全面竞争时代。
发布会先从「智能体验」切入, 强调「更有用、更专业、更专属」。比如, 跟随 ColorOS 14 一起发布的全新小布, 就内置了丰富的智能体, 不同的智能体为用户提供不同的场景体验。
这个思路下,OPPO 给出了 AndesGPT 的目标:为每个人打造有用的大模型及智能体, 并且也将开源智能体框架, 打造一站式的「智能体开发平台」。
据介绍,AndesGPT 有三大类规格:AndesGPT-Tiny、AndesGPT-Turbo 和 AndesGPT-Titan, 可涵盖十亿至千亿以上多种不同参数规模的模型规格, 并根据不同场景智能调度。在 AndesGPT 的网络架构中,OPPO 也提出了两个组合创新:「RoPE 位置编码探索 base 最优值」——来极⼤提升上下⽂扩展能⼒, 还有「GQA 结合复杂移动窗⼝加速训练和推理」——来实现 O(Nd) 的线性复杂度。
四大核心能力凸显,AndesGPT赋能多个大模型应用场景
AndesGPT 将核心能力聚焦在知识、记忆、工具和创作四大方向。
在知识能力上,AndesGPT 提供了「融合知识库、知识图谱及通用搜索, 提供更专业的问答」的能力, 同时也通过「⾃动识别知识依赖模块、准确判别引⼊外部知识实际、引⼊精准召回机制」来将外部知识与模型融合⽣成结果, 降低「幻觉」的产生。
在记忆能力上,AndesGPT 具备了⻓时记忆机制, 可以⽀持⽆限⻓度的上下⽂。长时记忆主要包括用户交互过程中产生的交互历史、个人数据, 以及从中提取的结构化信息等。为了解决长时记忆引入的首字推理时长的问题,OPPO⾃研了名为 SwappedAttention 的机制。
这个机制有一定的领先性和原创性, 相对 PagedAttention, 在 PagedAttention 基础上做了技术的演进和扩展。
比如在首字生成场景, 需要对历史序列进行编码计算, 当历史序列较长时, 容易出现计算瓶颈, 表现为首字计算耗时长, 并发度低。SwappedAttention 可缓存历史 KV 值, 大幅降低首字计算量。并使用 GPU 显存、主机内存、GDS 连接外部存储等多层级缓存方式, 根据缓存时长、对话频率等策略进行分级存储与交换。
在实际应用中, 如常见的「多轮对话场景「中, 随着聊天轮次累积,Prompt 越来越长, 每个 Query 的首字时耗越来越长。SwappedAttention 可以缓存历史 KV 值至多级缓存中, 有效减少对话时首字推理时间, 使得用户获得更快的系统响应。
在「FileChat 文档对话场景」中,SwappedAttention 可以读取历史计算好的 KV 值信息, 避免长文本的 KV 值重计算, 大量减少计算开销, 缩短首字推理时间, 并且可以提升首字计算的并发度;在非首字的推理过程中,SwappedAttention 可以动态压缩 KV 值, 进一步降低显存占用, 提升整体吞吐。
在工具使用上,AndesGPT 在训练阶段引⼊代码和⻓⽂本进⾏强化训练, 并通过指令构建和微调, 提升模型遵循指令的效果。同时还⽀持「系统设置、⼀⽅应⽤、三⽅服务、代码解释器」等各类⼯具。
在创作能力上,除了不断提升的「对话」能力,AndesGPT 还具备「文生图、图生图、中国风、高清壁纸」等能力, 并且已经全流程支持音乐生成。此前小布刚发布的单曲《专属于你:小布永相伴》, 其歌词、旋律、音色等元素均由 AndesGPT 生成。
笃定端与云的协同,AndesGPT有条不紊地展开大模型未来之路
AndesGPT 通过端云协同的设计, 来为用户提供智能化服务:端侧解决方案的优势非常明显, 能够提升针对任务执⾏、降级应答等场景, 提升极端场景下的可⽤性;同时在云端,OPPO 同样提供可信的大模型服务, 会结合机密计算技术, 构建加密、可信通道, 充分保障用户隐私。
不久前,OPPO 也与联发科宣布「共建轻量化⼤模型端侧部署⽅案」, 能够看到 OPPO 从底层来构建「端云协同、全栈优化」的充分思考和周到考虑, 正不断为未来技术发展做好扎实铺垫。
联想到刚刚过去的 OPPO Find N3 新机发布, 几个「天花板」级别的「安全隐私」设计确实让人心动, 可见 OPPO 一直在安全领域下功夫, 想必大模型领域的安全可信也会有自己独特的技术积累, 为⽤户的数据保驾护航。
不畏蜀道难,「闪着中国AI生态希望之火」的官宣发布
从这次干货满满的发布会可以看出,OPPO 做大模型有自己的思考, 期望将大模型落到实处、并搭建一个人人可参与的大模型应用生态。大模型之难不仅在「算力、数据、算法」等, 搭起来只是完成了一部分, 更在如何落地于每个人的「个性化需求」和「便捷可用、可定制」, 而智能体的开源便是 OPPO 找到的关键一环。
也许,OPPO 早早地看到了大模型应用生态不可替代的重要作用, 才会以全局化的努力在 AndesGPT 正式发布的当下就明确提出这样一个长期主义的思路。这也将持续成为未来 OPPO 在大模型发展之路上的底层思考。
与本次一起发布的 ColorOS14 联系起来看, 就会发现,AndesGPT 赋能整体 ColorOS⽣态, 为 OPPO 的整体科技化与智能化助力, 也已是必然的路径选择。AndesGPT 作为驱动 OPPO 公司 AI 战略的核⼼引擎, 全⾯赋能 OPPO 智慧终端只是时间问题。
技术之火会因为众人的加入而勃发。也许不远的未来, 就能看到一个欣欣向荣的,OPPO 与⼴⼤开发者⼀起打造的大模型应⽤⽣态。
来源：互联网
